Stack Voix IA

Ce que contient ce pack

La voix IA est le domaine où l'écart entre "démo sur laptop" et "expédition aux utilisateurs" est le plus large. Latence, turn-taking, interruptions et barge-in doivent tous fonctionner — et ce n'est pas le cas par défaut. Ce pack rassemble les six ressources que les équipes qui livrent vraiment des produits vocaux en 2026 utilisent.

Pourquoi c'est important

Une réponse de 1,5 seconde paraît cassée en voix. Une réponse de 600ms paraît humaine. La différence est architecturale, pas juste calculatoire — elle vient de comment vous composez STT, LLM, TTS et la couche réseau.

Trois choix architecturaux déterminent si votre agent vocal paraît vivant :

1. Speech-to-speech vs cascade. Une cascade traditionnelle (audio → STT → LLM → TTS → audio) a 4 goulots séquentiels et atterrit typiquement à 1,2-2,0s par tour. Les modèles speech-to-speech (OpenAI Realtime, Moshi) coupent ça à 200-400ms en sautant l'intermédiaire texte. Choisissez speech-to-speech pour les cas conversationnels ; choisissez cascade seulement quand il faut un contrôle précis sur l'étape LLM (p. ex. tool calling que les modèles audio peinent encore).
2. TTS streaming vs non-streaming. Le TTS non-streaming attend le texte complet avant de générer l'audio. Le streaming commence à émettre l'audio après les ~100ms premiers de texte. Pour une réponse de 5s, c'est 4-5 secondes de différence de latence perçue. Zonos et la plupart des TTS production supportent le streaming ; utilisez-le.
3. WebRTC vs WebSocket. WebRTC gère perte de paquets, gigue et bitrate adaptatif. WebSocket non. Sur des réseaux cellulaires réels, la différence entre un appel qui marche et un qui bafouille est le transport choisi. LiveKit Agents enveloppe la boucle d'agent dans un WebRTC propre ; c'est non-négociable pour mobile.

Installer en une commande

# Installer le pack entier
tokrepo install pack/voice-ai-stack

# Ou choisir la couche dont vous avez besoin en premier
tokrepo install livekit-agents
tokrepo install moshi
tokrepo install zonos

Le TokRepo CLI dépose le scaffolding d'agent, la config de room et le code init SDK dans votre projet. Une room LiveKit branchée à OpenAI Realtime peut tourner localement en moins de 10 minutes depuis un checkout propre.

Pièges fréquents

• Construire une cascade pour un cas conversationnel. Si les utilisateurs discutent (pas en train de dicter des commandes), utilisez speech-to-speech. L'architecture cascade avait du sens en 2023 ; en 2026 c'est une pénalité de latence sans bénéfice compensatoire pour le chat.
• Sauter la voice activity detection (VAD). Sans VAD, l'agent soit parle par-dessus l'utilisateur (pas de détection de fin) soit reste silencieux en attendant des timeouts fixes. LiveKit Agents livre la VAD câblée ; utilisez-la.
• Pas de gestion de barge-in. Quand l'utilisateur commence à parler pendant que l'agent parle, l'agent doit le détecter en ~150ms et s'arrêter. Hardcoder "attendre la fin" paraît robotique. Les quatre moteurs supportent un barge-in propre mais c'est désactivé par défaut dans certaines configs.
• Prompts TTS qui ne collent pas à la parole. "$1,234.56" se lit terriblement. Pré-traitez nombres, dates et abréviations avant l'envoi au TTS. La ressource voice-agent-patterns de TokRepo livre un normaliseur.
• Oublier de budgéter la latence du premier tour. La première réponse d'une session est toujours 200-400ms plus lente que le régime stable parce que les modèles chargent les caches. Cachez l'écart avec un son "prêt" ou une animation de connexion.

Idées reçues fréquentes

"Speech-to-speech ne peut pas faire de tool calls." Dépassé — OpenAI Realtime supporte le function calling nativement, et Moshi peut être enveloppé dans un agent tool-router. La limitation de 2024 ne tient plus.

"Il faut un GPU par appel concurrent." Pour le TTS seul à qualité modérée, le TTS open-source moderne atteint le temps réel sur CPU. Pour le speech-to-speech vous avez besoin de GPU pour Moshi self-hosted, ou vous externalisez la latence à OpenAI Realtime. LiveKit Agents gère le multiplexage de connexions, donc une machine peut intermédiaire de nombreuses sessions concurrentes même si le modèle vit ailleurs.

"Le clonage de voix est trop risqué pour livrer." Zonos et les moteurs similaires livrent avec des flags de watermarking exigeant le consentement. Utilisé responsablement avec consentement explicite (l'utilisateur clone sa propre voix pour accessibilité, p. ex.), c'est une fonctionnalité sûre et à haute valeur.