Google lance Guided Vision pour Android dans Gemini

Google a déployé Guided Vision dans Gemini Live sur les appareils Android compatibles. Cette fonctionnalité s’appuie sur l’IA pour fournir des descriptions vocales en temps réel de tout ce vers quoi est dirigée la caméra d’un téléphone.

Elle peut lire de petits textes, décrire l’environnement, localiser ou identifier des objets et en expliquer les détails. Google indique qu’elle a été conçue pour aider les personnes aveugles ou malvoyantes, ainsi que celles ayant besoin d’une assistance dans certaines situations. Elle est similaire à Live Recognition de VoiceOver, qu’Apple a ajouté sur iPhone et Vision Pro.

Guided Vision est disponible dans l’application Gemini et dans Google TalkBack. Les utilisateurs d’Android 9 ou version ultérieure peuvent attribuer un raccourci d’accessibilité à cette fonctionnalité dans les Paramètres.

Les utilisateurs peuvent poser des questions complémentaires sur ce que voit la caméra, par exemple en demandant à Gemini de lire la date de péremption d’un produit. Google précise que si l’objet n’apparaît pas dans le cadre, Gemini peut donner des indications vocales pour aider l’utilisateur à positionner la caméra.

Lorsque Guided Vision est activé dans Gemini Live, Gemini donne des indications vocales de cadrage si la caméra est trop haute, trop proche ou légèrement inclinée. Google indique que ces messages peuvent notamment demander de faire pivoter lentement la caméra vers la droite, de l’incliner vers le bas ou de reculer afin d’obtenir un contexte visuel clair.

Google avertit que Guided Vision ne doit pas être utilisé comme outil de navigation, de guidage lors de déplacements en toute sécurité ou de détection d’obstacles. La fonctionnalité ne doit pas non plus remplacer une canne ou toute autre aide à la mobilité.