录音与参与者
来电方使用合成语音,不是真人。新鲜助手录音来自 2026-10-23 的 5 次约 85 秒研究通话。来电方复用 2026-10-22 测试语料,不是真人录音:Gemini TTS gemini-3.8-flash-tts,Leda / Kore 等预置声音;24 kHz 合成,活跃语音 −20 dBFS RMS,ffmpeg 重采样为 48 kHz 单声道。情境为下班闲聊、旅行好消息、长回答、明确插话与简短附和。
实际配置与音频处理
- 报告标识
- duplex-audio-20261023-67f1ba8-corrected-tap-final
- Fish 路径
- gemini-3.5-flash-lite → s2-pro;Rin,voice fb43143e46f44cc6ad7d06230215bab6
- 全双工路径
- gpt-live-1,原声 echo → MeanVC2;同一 Rin Fish voice 作为目标参考。
- MeanVC2 版本
- 13acf84c1bf135ea5edad9c245b345289b06b33e;zero-shot 120ms; 160ms step; per-card CPU sidecar
- 推理代码来源
- 67f1ba8d49a99d2bd87051ed36b870ecbc115576(fresh main archive)。仅附加录音探针;运行时 git_sha=null,非运行时 Git 签名证明。
- 参考音色边界
- 日志确认 Fish voice 参考已 enrollment;参考 PCM 没有单独发布,不把相同 voice ID 当作相似度测量。
- 原件与高亮
- 通话原件 48 kHz / 16-bit / stereo;精确配对原声 24 kHz,变声 16 kHz。短片按时间截取并匹配至约 −20 LUFS;原件独立保留。
- 接收端延迟定义
- 来电者语音结束 → 首个符合规则的可闻回复,−45 dBFS 阈值并应用已有 filler 排除规则。不同于 worker e2e;每格一次通话,不能推断显著差异。
- 插话与间隙
- 插话到静音:英文 Fish 835 ms / VC 937 ms;普通话补录 Fish 577 ms / VC 959 ms。worker ≥20 ms 未覆盖队列诊断:VC 英文 6 次(最大 129 ms)、中文 7 次(最大 288 ms),不是人工听见卡顿的计数。
- 冷启动
- 首次 enrollment 5151 ms,连接起算 6927 ms ready;首句未变声。下一场中文调用 8 ms ready。
- 时间轴恢复
- 使用公开 LiveKit rtc.AudioStream;按接收顺序保留帧,>30 ms 接收不连续恢复为静音,来电方 anchor 保留空档。未将发言顺序拼接成对话。
- 研究条件
- 隔离测试池,us-east / RTX PRO 6000;emotion bank 已启用,不是生产 Fish 延迟基线。无真人参与、无生产调用、无生产配置修改。
不能从这份试听推断什么
- 这是研究样本,不是盲测、用户偏好统计或产品上线验收。
- 不同回复文本、表演与说话时长会影响主观判断;共享来电脚本不代表模型逐字回复相同。
- 单次录音不代表所有语言、角色或网络条件;没有独立测量的数据不填为零。
- Fish 与全双工独立生成不同文字;只在转换前后 PCM 配对处比较严格同输入。没有独立 GPT-Live 原声整场通话,不伪造三路完整对话对照。
- 普通话 Fish 补录改变了角色指令语言;原始中文输入 / 英文输出失败在页面单独保留,不能据此证明产品根因或修复。
- 高亮是情境节选,含合成来电者,不全是助手独白。转写来自系统而非人工逐音节校对,不能用文字里的 haha 证明可闻笑声。
- 普通话精确配对中有含混音节;音频模型试听本身未经校准。没有真人听众偏好、说话人相似度分数或经过验证的唇同步评估。
- 最初录音探针的中断关闭缺陷被测试发现并修正;两个 VC 通话均重新录制,136 项转换客户端测试通过。旧失败录音不进入本页。
- 没有饱和负载、生产网络或多角色覆盖。自然停顿不是转换卡顿;队列诊断也不是听觉质量评分。
- 公开内容仅为合成音频与经过筛选的说明;原始日志、会话标识、角色私有指令及凭证均不发布。