Gemini décrit ce que voit votre caméra : le vrai usage au quotidien

Le menu du petit resto qu'on découvre en vacances, écrit dans une police en italique sur fond marron, sous un éclairage d'ambiance qui ne rend service à personne. La notice de médicament dont la posologie tient sur trois millimètres carrés. Les clés de la voiture qu'on a reposées "quelque part de logique" et qu'on ne retrouve plus. Ce sont des micro-galères, pas des drames, mais elles reviennent sans arrêt et jusqu'ici, la seule option restait de plisser les yeux ou de sortir sa loupe de téléphone mentale.

Depuis le 1er septembre, Google glisse discrètement une nouvelle fonction dans Gemini Live baptisée Guided Vision : on partage le flux de sa caméra avec l'IA, qui commente à voix haute ce qu'elle voit, en continu, sans qu'on ait besoin de reformuler une question à chaque fois. Elle est pensée à l'origine pour l'accessibilité, mais son usage déborde largement ce cadre, et c'est disponible sur n'importe quel téléphone Android récent avec un compte Gemini, pas seulement les derniers Pixel.

L'idée mérite qu'on s'y arrête, pas comme un gadget magique, mais pour comprendre ce qu'elle change concrètement au quotidien, et où elle montre ses limites.

Guided Vision, ce n'est pas juste "prendre une photo et poser une question"

Gemini savait déjà analyser une image ponctuelle : on prenait une photo, on demandait "c'est quoi cette plante" ou "traduis-moi ce panneau", et il répondait une fois. Guided Vision change la mécanique. Une fois la fonction activée dans une conversation Gemini Live, la caméra reste ouverte et le modèle commente en continu ce qui défile devant l'objectif, comme une voix off qui décrit la scène à mesure qu'elle change. On peut aussi l'interrompre pour poser une question précise sans casser le flux.

La différence tient dans l'usage : ce n'est plus une requête isolée, c'est un commentaire qui tourne en tâche de fond pendant qu'on a les mains prises, en tenant un objet, en marchant, ou en cuisinant.

Des usages qui dépassent largement l'accessibilité

Déchiffrer un menu dans un restaurant mal éclairé : plutôt que de photographier la carte et attendre une traduction figée, on balaie la page et Gemini lit à voix haute au fur et à mesure, ce qui est nettement plus rapide quand le menu fait deux pages recto-verso.

Lire une notice ou une posologie en petits caractères : la caméra fait office de loupe intelligente, avec lecture à voix haute plutôt qu'un simple zoom d'image. Pratique, à condition de garder en tête les limites évoquées plus bas.

Retrouver un objet égaré dans une pièce : on balaie la caméra sur le bureau ou l'étagère en demandant de repérer les clés ou les lunettes, et le modèle guide verbalement vers la bonne zone au lieu de se contenter d'un "je ne vois rien d'intéressant ici".

Décoder une étiquette ou un ingrédient en voyage : utile pour une liste d'ingrédients dans une langue qu'on ne lit pas, avec un rendu plus naturel qu'une traduction mot à mot figée sur une photo.

Assister quelqu'un qui a besoin d'un coup de main visuel : pour une personne malvoyante ou simplement fatiguée des yeux en fin de journée, avoir une description continue plutôt que des allers-retours photo par photo change l'expérience.

Comment l'activer

Étape 1 : mettre à jour l'application Google ou Gemini sur le téléphone, la fonction n'apparaît pas si la version est ancienne.

Étape 2 : lancer une conversation Gemini Live depuis l'application, pas le simple mode texte classique.

Étape 3 : activer le partage caméra via l'icône dédiée pendant la conversation, ce qui bascule Gemini en mode Guided Vision.

Étape 4 : laisser tourner ou poser une question ciblée, les deux fonctionnent, on peut aussi couper l'écran et continuer au casque dans certains cas.

Avant / après : ce qui change vraiment

Les pièges qu'on ne vous dit pas

Un flux vidéo envoyé en continu vers les serveurs pour être analysé, ça a un coût qui ne se limite pas à la batterie. La consommation de données grimpe vite hors Wi-Fi, et l'autonomie prend un coup sérieux sur une session prolongée, bien plus qu'avec une simple photo ponctuelle.

Il y a aussi la confidentialité : ce que la caméra voit part sur les serveurs de Google pour être traité, ce qui n'est pas neutre si on l'utilise machinalement chez soi, dans une pièce où traînent des documents ou des écrans qu'on préférerait ne pas partager.

Et surtout, il faut résister à l'envie de s'en servir comme d'une source fiable à 100 % sur du texte qui compte vraiment. Une posologie mal lue en basse lumière, un allergène mal identifié sur une étiquette : ce sont des situations où une erreur de lecture a un vrai impact, pas juste une gêne. Le modèle reste sujet aux mêmes approximations que tout système de vision par IA face à un mouvement flou, et il le formule avec la même assurance qu'il ait raison ou tort. La fonction est aussi plus solide en anglais et sur les Pixel récents qu'ailleurs pour l'instant.

Un vrai outil, pas une prothèse sensorielle

Ce qui rend Guided Vision intéressant, c'est qu'il fluidifie une interaction pénible avant lui : décrire par des mots ce que les yeux voient tout de suite. Sur les cas d'usage ponctuels du quotidien, menu, notice, objet égaré, ça fait gagner du temps. Sur tout ce qui touche à une décision importante, mieux vaut garder un œil humain en plus.

Le verdict de Clément : oui, ça vaut le coup de l'activer et de la tester sur son propre téléphone, mais uniquement comme un raccourci pratique pour les petites galères du quotidien, jamais comme une source fiable pour ce qui compte vraiment. Et vous, vous en feriez quoi en premier ? Dites-le en commentaire.