语音 AI 栈

这个 pack 装了什么

语音 AI 是「笔记本上 demo」与「真上线给用户用」差距最大的领域。延迟、轮次切换、打断、barge-in 必须全部工作 —— 默认情况下都不工作。这个 pack 收齐 六个资产，是 2026 年真在出语音产品的团队在跑的。

为什么要装

1.5 秒响应在语音里感觉是坏了。600ms 响应感觉是人。差距是架构性的，不只是算力 —— 看你怎么组合 STT / LLM / TTS 与网络层。

三个架构选择决定你的语音 agent 是否活：

1. speech-to-speech vs 级联。传统级联（audio → STT → LLM → TTS → audio）有 4 个串行瓶颈，每轮通常 1.2-2.0 秒。speech-to-speech 模型（OpenAI Realtime / Moshi）跳过文本中间层，砍到 200-400ms。对话场景选 speech-to-speech；只有需要精细控制 LLM 步骤（比如音频模型还搞不定的工具调用）才选级联。
2. 流式 vs 非流式 TTS。非流式 TTS 等完整文本再生成音频。流式在文本前 ~100ms 就开始出音频。5 秒回答这就是 4-5 秒感知延迟差。Zonos 和多数生产 TTS 都支持流式；用它。
3. WebRTC vs WebSocket。WebRTC 处理丢包 / jitter / 自适应码率。WebSocket 不。真在蜂窝网下，能用的电话和卡顿的电话差在传输层选啥。LiveKit Agents 把 agent 循环包进合规 WebRTC；移动端这是必选项。

一条命令装齐

# 装整个 pack
tokrepo install pack/voice-ai-stack

# 或者先挑一层
tokrepo install livekit-agents
tokrepo install moshi
tokrepo install zonos

TokRepo CLI 把 agent 脚手架、room 配置、SDK init 代码丢进项目。一个干净 checkout 在 10 分钟内就能让 LiveKit room 接到 OpenAI Realtime 跑起来。

常见坑

• 对话场景用级联架构。用户在聊天（不是命令式听写），用 speech-to-speech。级联架构 2023 年合理；2026 年是延迟惩罚，对聊天没补偿性好处。
• 跳过语音活动检测（VAD）。没 VAD 要么 agent 抢话（没句尾检测）要么干等固定超时。LiveKit Agents 内置 VAD，开它。
• 没处理 barge-in。用户在 agent 说话时开口，agent 必须 ~150ms 内检测并停。硬编码「等讲完」感觉机器人。四个引擎都支持 barge-in，但有些配置默认关。
• TTS prompt 不匹配语音。「$1,234.56」念出来很糟。送 TTS 前预处理数字 / 日期 / 缩写。TokRepo 的 voice-agent-patterns 资产带规范化器。
• 没给首轮延迟留余量。会话第一回答永远比稳态慢 200-400ms，因为模型在加载缓存。用「就绪」音或连接动画把空隙盖住。

常见误解

「speech-to-speech 不能做工具调用。」过时了 —— OpenAI Realtime 原生支持函数调用，Moshi 可以包在工具路由 agent 里。2024 年的限制不再成立。

「每个并发通话要一张 GPU。」中等质量纯 TTS 现代开源在 CPU 上能实时。speech-to-speech 自建 Moshi 才需 GPU，或者把延迟外包给 OpenAI Realtime。LiveKit Agents 处理连接多路复用，所以一台机器能中转多并发会话即便模型在别处。

「语音克隆太危险不能上线。」Zonos 这类引擎自带需要授权的水印标记。在明确用户授权下负责任使用（比如用户给自己的声音做无障碍克隆）是安全且高价值的功能。风险在未授权克隆，引擎本身就劝阻。