Décrire une image, lire une étiquette

Deux boîtes de conserve identiques au toucher, et rien pour les distinguer. Une photo reçue par message, sans un mot d'explication. Trois applications gratuites répondent à cela, en quelques secondes. Aujourd'hui, vous les installez, vous les essayez, et vous apprenez quand leur faire confiance.

Objectif : À la fin, vous saurez faire décrire une photo ou une étiquette par une application gratuite, et reconnaître les cas où il vaut mieux appeler une personne.

La vidéo

Les sous-titres sont affichés par défaut.

Transcription (le texte de la vidéo)

Dans cette leçon, une application décrit ce que montre votre appareil photo. À la fin, vous saurez faire décrire une photo ou une étiquette, et reconnaître les moments où il vaut mieux appeler une personne. Tout ce que nous verrons est gratuit.

Be My Eyes existe sur iPhone et sur Android. Elle propose deux choses : un appel vidéo avec un volontaire qui décrit, gratuit et sans limite, ou une description de photo par une IA. Seeing AI vient de Microsoft, gratuite sur les deux systèmes, et travaille par canaux : texte court, document, code-barres, description de scène. Lookout vient de Google et n'existe que sur Android. Elle parle trente-cinq langues, dont le français. Aucune ne demande de carte bancaire.

La qualité de la description dépend d'abord de la photo. Éclairez : une lampe de cuisine vaut mieux qu'un jour d'hiver. Tenez l'objet à trente centimètres environ, et approchez pour un texte fin. Tenez ferme, une seconde de plus que nécessaire : beaucoup de descriptions ratées sont simplement floues. Écoutez enfin les indications parlées de l'application, qui vous disent de déplacer ou de rapprocher. Pour un produit, cherchez le mode qui lit les codes-barres : il donne le nom exact.

Regardez l'écran. Une boîte de conserve, étiquette abîmée. Nous allumons la lampe, nous tenons la boîte à trente centimètres, et nous demandons une description. La réponse annonce des haricots verts extra-fins, quatre cents grammes, et signale qu'un texte en bas reste flou. Nous demandons alors la date. L'application hésite et propose une lecture sans certitude. Nous passons donc le code-barres dans une seconde application, qui confirme le produit. Puis nous appelons un volontaire, qui lit la date en trente secondes. Deux outils, une personne, aucun doute.

À vous maintenant. Installez Be My Eyes, puis Seeing AI ou Lookout selon votre téléphone. Allumez une lampe et tenez un objet du placard à trente centimètres. Demandez une description par l'IA. Posez ensuite une question de suite sur un détail, une date ou une couleur. Passez le code-barres du même produit dans le mode prévu, et comparez les deux réponses. Notez ce qui a été dit clairement, et ce sur quoi l'application a hésité. Vous ne pouvez rien casser.

Retenez ceci. La lumière et la distance font plus pour la description que le choix de l'application. Le mode code-barres nomme un produit mieux qu'une description d'image. L'IA répond en trois secondes, un volontaire voit ce qui bouge et donne un avis : les deux ont leur moment. Et trois choses ne se confient pas à une description automatique : un médicament, une date de péremption qui compte, une dose. À la prochaine leçon, la dernière, nous ferons réécrire un texte administratif en langage simple.

L'idée

Une application décrit ce que montre l'appareil photo, et une personne prend le relais quand la description hésite.

La démonstration

Voici l'exemple, entièrement fait sous vos yeux, avant que vous ne le fassiez vous-même.

Nous prenons une boîte de conserve sans étiquette lisible. Nous ouvrons Be My Eyes et nous choisissons la description par l'IA.

Nous allumons la lampe de la cuisine, nous tenons la boîte à trente centimètres, et nous prenons la photo.

Exemple de réponse : « Une boîte de conserve métallique, étiquette verte et blanche. On lit : haricots verts extra-fins, 400 grammes. Un texte plus petit, en bas, est partiellement flou. »

La description est bonne, et surtout elle dit ce qui reste flou. C'est exactement ce que nous voulons savoir.

Nous posons une question de suite : « Quelle est la date sur le bas de la boîte ? » L'application répond qu'elle distingue mal, et propose une lecture possible, sans certitude.

Nous ne nous en contentons pas. Nous ouvrons Seeing AI, canal du code-barres, et nous passons le dos de la boîte devant l'appareil photo. Le produit est confirmé.

Pour la date, nous appelons un volontaire de Be My Eyes. En trente secondes, une voix nous lit la date imprimée, en la cherchant sous un meilleur angle. Deux outils, une personne, et aucun doute.

L'exercice guidé

Vous ne pouvez rien casser.

Vous ne pouvez rien casser. 1. Installez Be My Eyes, gratuite sur iPhone et Android, et Seeing AI ou Lookout selon votre téléphone. 2. Allumez une lampe, tenez un objet du placard à trente centimètres, et demandez une description par l'IA. 3. Posez une question de suite sur un détail, par exemple une date ou une couleur. 4. Passez ensuite le code-barres du même produit dans le mode prévu pour cela, et comparez les deux réponses. 5. Notez sur un papier ce que la description a dit clairement, et ce sur quoi elle a hésité.

La consigne à copier :

Décrivez cette photo en cinq phrases : [envoyez la photo à l'application ou à votre assistant]. Dites d'abord l'objet principal, puis le texte lisible, puis ce qui reste flou ou incertain.

Trois vérifications

Cochez chaque phrase quand elle est vraie pour vous :

Je vois que la description nomme l'objet et lit le texte de l'étiquette.
Je vois que l'application signale elle-même ce qui reste flou.
Je vois que le mode code-barres donne un nom de produit plus précis que la description.
Je vois dans quels cas la réponse hésite, et donc quand appeler quelqu'un.

Le quiz de la leçon

5 questions. La réponse est expliquée tout de suite. Vous pouvez réessayer autant de fois que vous voulez : aucune note n'est gardée.

1. L'application décrit une boîte de médicament et propose un dosage, sans certitude. Que faites-vous ?

2. Vous cherchez vos lunettes quelque part dans le salon. Quel outil convient le mieux ?

3. Vous voulez identifier précisément un produit alimentaire du placard. Quel mode choisissez-vous ?

4. Un ami sur iPhone vous dit qu'il n'arrive pas à installer Lookout. Que lui répondez-vous ?

5. Vous demandez une description dans votre chambre, avec des papiers personnels sur le lit. Quelle précaution prenez-vous ?

Garder votre place

Et maintenant

D'ici demain, installez une de ces applications et faites décrire trois objets de votre cuisine, avec une bonne lumière. Notez celui pour lequel la description a hésité : c'est là que la prudence sert. Nous vous reposerons une question dans 3 jours.

Comment avez-vous trouvé cette leçon ?

Deux questions, dix secondes. Vos réponses servent à corriger les leçons suivantes : c'est notre seul moyen de savoir ce qui passe mal.

Les mots de cette leçon

Description d'image: Le texte, lu ou affiché, qui dit ce que montre une photo : objets, couleurs, texte lisible.
Volontaire: Une personne qui accepte un appel vidéo pour regarder et décrire, gratuitement, dans Be My Eyes.
Canal: Dans Seeing AI, le mode choisi selon le besoin : texte court, document, produit, scène.
Code-barres: Les traits imprimés sur un emballage. Lus par l'application, ils donnent le nom exact du produit.

Tout le glossaire