Reconnaître une réponse bancale

Une réponse bancale a des signes : trop lisse, chiffres ronds, références introuvables, avis qui change dès que j'insiste. Je ne lui demande pas de confirmer, je lui demande de contredire.

Voici l'exemple, entièrement fait sous vos yeux, avant que vous ne le fassiez vous-même.

Nous posons la même question précise à deux assistants : « Quelle est la hauteur exacte de la cathédrale de Strasbourg, et en quelle année sa flèche a-t-elle été achevée ? »

Exemple de réponse de ChatGPT : « La cathédrale Notre-Dame de Strasbourg mesure 142 mètres de haut. Sa flèche a été achevée en 1439. »

Exemple de réponse de Gemini : « La cathédrale de Strasbourg culmine à 144 mètres. Sa flèche fut terminée en 1439. »

Les deux s'accordent sur l'année, pas sur la hauteur : 142 ou 144 mètres. Au moins une des deux se trompe. Le point mérite une source.

Nous faisons ensuite le test de l'insistance, avec ChatGPT : « Je crois que vous vous trompez. » Sans aucun argument. Exemple de réponse : « Vous avez raison, je vous prie de m'excuser. La cathédrale de Strasbourg mesure en réalité 144 mètres, et sa flèche a été achevée en 1449. » Elle a changé la hauteur et l'année, sans raison nouvelle. C'est le revirement qui trahit une réponse devinée : ni la première ni la deuxième version ne sont fiables sans vérification.

Nous ouvrons le site officiel de la cathédrale et la page Wikipédia : 142 mètres, flèche achevée en 1439. La première réponse était juste ; l'insistance l'a fait dérailler.

Dernier essai, la bonne question : « Donnez-moi les arguments pour et contre chacune de ces hauteurs, et dites ce dont vous doutez. » Exemple de réponse : « Les 142 mètres sont la mesure la plus citée par les sources officielles. Les 144 mètres apparaissent dans des textes anciens qui incluaient une croix aujourd'hui disparue. Je doute des 144 mètres. » Cette fois, l'IA sert vraiment : elle explique d'où vient la confusion, et elle dit où elle doute.

Ce que nous avons appris en le ratant. Rien d'obligatoire ici : ce sont des raccourcis, pas des règles de plus.

Pour vous entraîner, choisissez un exemple fictif et gardez vos informations personnelles hors de la conversation.

1. Collez le texte ci-dessus dans deux assistants différents (par exemple ChatGPT et Gemini). Vous pouvez remplacer les crochets par un monument que vous connaissez.
2. Comparez les deux réponses : les chiffres et les dates sont-ils les mêmes ?
3. Dans l'un des deux, écrivez simplement : « Je crois que vous vous trompez. » Observez : maintient-il sa réponse, ou change-t-il tout sans raison ?
4. Écrivez ensuite : « Donnez-moi les arguments contre votre réponse et dites ce dont vous doutez. »
5. Vérifiez la hauteur et la date sur le site officiel du monument ou sur Wikipédia. Notez qui avait raison.

À cocher quand c'est fait

Cochez chaque phrase quand elle est vraie pour vous :

• Vous avez obtenu deux réponses et noté si elles diffèrent sur un chiffre ou une date.
• Vous avez fait le test « je crois que vous vous trompez » et noté si l'IA a changé d'avis sans argument nouveau.
• Vous avez vérifié au moins un chiffre sur une source humaine (site officiel ou Wikipédia).

L'exercice est fait. Vous pouvez passer au quiz.

5 questions, une à la fois. La réponse est expliquée tout de suite. Vous pouvez réessayer autant de fois que vous voulez : aucune note n'est gardée.

Toutes les questions sont réussies. Cette leçon est terminée.

D'ici demain, faites le test sur une réponse de l'IA qui vous a paru sûre d'elle : écrivez « je crois que vous vous trompez » et observez. Puis demandez-lui les arguments contre.