Google a introduit la reconnaissance automatique de la parole (ASR) et la synthèse vocale (TTS) sur appareil dans Google AI Edge Gallery le 10 novembre, permettant aux téléphones et aux wearables de comprendre la langue parlée et de répondre oralement entièrement hors ligne. Les modèles vocaux légers s'associent à des petits modèles de langage sur appareil comme Gemini Nano et Gemma 4, pour que les applis puissent diffuser des transcriptions en direct pendant que vous parlez et synthétiser des réponses parlées naturelles localement — sans aucune connexion réseau après le téléchargement initial du modèle.

Sur Android, les nouvelles capacités arrivent via les API GenAI Speech Recognition et Text-to-Speech de ML Kit. Google affirme que ses modèles vocaux système transcrivent plus de 100 langues à 10x la vitesse réelle avec un taux d'erreur de mots de 8,0 % à 9,0 % sur le benchmark FLEURS, tandis que le modèle TTS à diffusion en quelques étapes commence à parler en environ 100 millisecondes et synthétise de l'audio 24 kHz jusqu'à 50x la vitesse réelle. Les deux modèles sont intégrés au système d'exploitation, donc Google affirme qu'ils ajoutent 0 Mo à la taille de l'APK d'une appli — cette affirmation ne vaut que pour le chemin Android. Ce sont les propres chiffres de Google, pas des mesures indépendantes.

Pour les applis multiplateformes, Google a optimisé de nouveaux bundles vocaux à poids ouverts pour MediaPipe Tasks et LiteRT — Parakeet-TDT 0.6B pour la reconnaissance, et PocketTTS 100M, Kokoro-82M et Phonon 31M pour la génération de parole — chacun livré sous forme d'un seul bundle .litertlm qui tourne sur iOS, macOS, Windows, Linux et le web aussi bien que sur Android.

Google démontre le pipeline vocal local avec deux vitrines dans AI Edge Gallery : un XR Language Teacher qui combine vision par caméra, parole et modèle sur appareil pour du tutorat vocal multimodal sans aucune connexion, et AI Chat à commande vocale, qui donne une interface parlée à la fonction de chat principale de l'appli. La dernière version de l'appli AI Edge Gallery est disponible sur Android et iOS.

Sources