AitopkitGoogle a lancé le 1er octobre Guided Vision dans Gemini Live — une fonctionnalité d'assistance visuelle vocale en temps réel, conçue pour les personnes aveugles, malvoyantes ou en quête d'aide visuelle intuitive au quotidien. Elle est disponible sur les appareils Android sous Android 9 et plus, dans les régions et langues où Gemini Live est pris en charge.
L'idée est simple mais vraiment utile : partagez votre caméra pendant une conversation Gemini Live, et Gemini décrit ce qu'il voit tout en vous guidant pour cadrer. Si la caméra pointe trop haut, trop près ou légèrement de côté, Gemini prend la parole — « pivotez lentement vers la droite », « inclinez vers le bas », « reculez » — jusqu'à avoir le contexte visuel nécessaire pour répondre. Vous pouvez ensuite poser des questions de suivi, comme lui faire lire une date d'expiration après qu'il a repéré l'étiquette, ou déchiffrer les cadrans d'un lave-linge dans une faible lumière.
Ce qui distingue celle-ci, c'est la façon dont elle a été construite. Google a développé Guided Vision aux côtés de la communauté aveugle et malvoyante, en partenariat avec le service d'interprétation visuelle Aira : des dizaines de milliers d'heures de données d'interprétation visuelle ont entraîné le modèle, plus de 1 000 membres du réseau Trusted Tester d'Aira l'ont testée en situations réelles, et les spécialistes d'Aira ont aidé à façonner les garde-fous de sécurité. Google affirme que la fonctionnalité a été testée dans plusieurs langues et régions, dont l'Inde, le Brésil, Singapour et le Japon.
Google est prudent sur les limites : la fonctionnalité peut se tromper et n'est ni un dispositif médical, ni une aide à la mobilité, ni un substitut aux guides de voyage sûrs, ni un outil de navigation ou de détection d'obstacles. Elle arrive un an après qu'Apple a introduit des capacités similaires de Live Recognition sur iPhone et Vision Pro — la réponse de Google mise sur la conversation naturelle en va-et-vient plutôt que sur l'intégration au lecteur d'écran.