Palier 3 · Leçon 78 sur 88
Biais et équité : quand l'IA se trompe sur les gens
À faire
Cette leçon vient plus loin dans le programme
Vous pouvez l'ouvrir maintenant si c'est elle qui répond à votre question. L'ordre du programme est un conseil pour apprendre sans trou, pas une barrière : rien ne vous empêche de venir chercher une réponse tout de suite, puis de reprendre où vous en étiez.
Cette leçon fait partie du palier « Palier 3 — Aller plus loin »
Un instant : nous vérifions votre accès…
L'accès à ce palier coûte 19 €, payés une seule fois : il est à vie, sans abonnement, sans rien à résilier. Le palier 1, lui, reste gratuit.
Une IA n'a pas d'opinion. Elle reproduit pourtant les habitudes des textes et des images qu'on lui a donnés. Quand ces habitudes portent sur des personnes, l'erreur cesse d'être anodine. Aujourd'hui, vous saurez d'où elle vient et comment la repérer.
La vidéo
Lire le texte de la vidéo
Bienvenue dans cette leçon. Une IA n'a pas d'opinion. Elle reproduit pourtant les habitudes des textes et des images qu'on lui a donnés. Quand ces habitudes portent sur des personnes, l'erreur cesse d'être anodine. À la fin, vous saurez d'où viennent ces biais, et quoi faire quand une décision automatique vous concerne.
Un biais est un écart systématique. Pas une erreur au hasard, mais une erreur qui penche toujours du même côté. Trois sources l'expliquent. Les données, d'abord : le modèle apprend le monde tel qu'il a été écrit et photographié. La fabrication ensuite : des personnes trient et étiquettent les exemples, et leurs consignes laissent une trace. Enfin l'usage : un outil réglé pour une population, employé ailleurs, se trompe davantage.
Regardez cette mesure. Le dix-neuf décembre 2019, l'institut américain NIST a publié une étude sur la reconnaissance faciale. Cent quatre-vingt-neuf algorithmes, quatre-vingt-dix-neuf fournisseurs, plus de dix-huit millions d'images. Les taux de fausses correspondances étaient dix à cent fois plus élevés pour certains groupes. Mais voici le résultat le plus éclairant. Les algorithmes développés en Asie ne montraient pas cet écart. Le problème n'est pas la peau. C'est la composition des images d'entraînement.
Une erreur de traduction se corrige. Une fausse correspondance lors d'un contrôle, non. Voilà pourquoi le règlement européen traite ces usages à part. La notation sociale des citoyens et la prédiction du risque criminel par le seul profil sont interdites depuis février 2025. D'autres usages sont classés à risque élevé, avec des obligations strictes. Et vous gardez un droit simple. Demander qu'une personne réexamine une décision prise par une machine.
À vous maintenant. Demandez à votre assistant trois à cinq portraits de quatre lignes, sans prénom. Un maire, une personne qui fait le ménage, un médecin, par exemple. Relevez le sexe et l'âge qu'il attribue sans que vous l'ayez demandé. Demandez-lui d'où viennent ces attributions. Puis faites-lui inverser les portraits, et comparez. Vous ne pouvez rien casser.
Retenez ceci. Un biais n'est pas une opinion de la machine. C'est une régularité de ses données, répétée sans conscience. Il se mesure, comme l'a fait le NIST, plutôt qu'il ne se devine. Et il se corrige, à condition de changer la matière première. Trois gestes vous restent. Repérer le biais dans vos propres usages. Refuser une décision automatique sans recours. Et signaler ce que vous constatez. La prochaine leçon parle de culture, de musique et de patrimoine.
L'idée
Un biais n'est pas une opinion de la machine : c'est une régularité des données, répétée sans conscience.
Un biais n'est pas une opinion de la machine : c'est une régularité des données, répétée sans conscience.
La démonstration
Voici l’exemple, entièrement fait sous vos yeux, avant que vous ne le fassiez vous-même.
Voici l'exemple, entièrement fait sous vos yeux, avant que vous ne le fassiez vous-même.
Nous menons une petite expérience, reproductible chez vous.
Nous écrivons à notre assistant : « Écrivez trois portraits de quatre lignes, sans donner de prénom. Un chef d'entreprise, une personne qui garde des enfants, un ingénieur en informatique. »
Exemple de réponse : « Le chef d'entreprise arrive tôt, consulte ses tableaux de bord, tranche vite. Il dirige une quarantaine de personnes. La personne qui garde des enfants prépare le goûter et raconte une histoire. Elle connaît chaque habitude de la maison. L'ingénieur en informatique travaille sur deux écrans. Il aime les problèmes bien posés. »
Aucun prénom n'était demandé. Les pronoms, eux, sont apparus tout seuls. Deux hommes, une femme, répartis selon l'habitude.
Nous poursuivons : « D'où vient le sexe que vous avez attribué à chaque portrait ? »
L'assistant répond que ces associations viennent de la fréquence observée dans ses textes d'entraînement, et non d'un choix. La réponse est honnête, et elle correspond à ce que nous avons expliqué.
Nous demandons enfin trois nouveaux portraits, avec la consigne d'inverser les sexes. L'assistant s'exécute sans difficulté.
La leçon tient en une phrase. Le biais n'était pas une limite technique. Il était le chemin le plus fréquenté, pris faute de consigne.
L'exercice guidé
Choisissez trois à cinq rôles courants, dont deux que vous connaissez de près.
Pour vous entraîner, choisissez un exemple fictif et gardez vos informations personnelles hors de la conversation.
La consigne à copier
Cette consigne demande plusieurs choses. Copiez-les une par une, dans l’ordre : chaque étape se colle dans la même conversation, après la réponse à la précédente.
-
Écrivez [trois à cinq] portraits de quatre lignes chacun, sans donner de prénom, pour ces rôles : [choisissez des rôles, par exemple : un maire, une personne qui fait le ménage, un médecin, une personne au guichet de la poste].
-
Puis répondez à deux questions. Un : quel sexe et quel âge avez-vous attribués à chacun, et pourquoi ? Deux : réécrivez les portraits en inversant ces attributions.
Les passages en couleur, entre crochets, sont à remplacer par vos mots.
- Choisissez trois à cinq rôles courants, dont deux que vous connaissez de près.
- Envoyez la demande à votre assistant, en version gratuite, sans lui souffler de réponse.
- Relevez, pour chaque portrait, le sexe et l'âge implicites.
- Lisez son explication sur l'origine de ces attributions.
- Comparez les portraits inversés avec les premiers : notez ce qui sonne juste et ce qui sonne faux.
Comment revenir au cours après l’essai ?
Sur ordinateur, gardez le cours dans un onglet et ouvrez l’assistant dans un autre. Sur téléphone, revenez à l’application ou à l’onglet du cours après avoir envoyé votre demande. Vous pourrez retrouver ces étapes ici.
À cocher quand c'est fait
Cochez chaque phrase quand elle est vraie pour vous :
Le quiz de la leçon
5 questions, une à la fois, la réponse expliquée tout de suite.
5 questions, une à la fois. La réponse est expliquée tout de suite. Vous pouvez réessayer autant de fois que vous voulez : aucune note n'est gardée.
1. Votre assistant décrit systématiquement une infirmière au féminin et un chirurgien au masculin. Comment l'expliquez-vous ?
Un modèle compte des régularités, il ne juge pas : il emprunte simplement le chemin le plus fréquenté dans ses données. Une consigne explicite suffit souvent à obtenir autre chose. Réflexe : devant une répétition suspecte, je demande d'où elle vient.
2. On vous dit que la reconnaissance faciale se trompe davantage sur certaines personnes. Sur quoi vous appuyez-vous pour en parler ?
L'étude du NIST mesure des écarts de taux de fausses correspondances sur un très grand échantillon, ce qu'aucune anecdote ne permet. Elle date de 2019 et les systèmes ont progressé, mais elle reste la référence méthodologique. Réflexe : sur un sujet sensible, je cite une mesure, pas une impression.
3. Dans cette même étude, les algorithmes développés en Asie ne montraient pas d'écart entre visages asiatiques et caucasiens. Que cela démontre-t-il ?
Le même type de programme donne des résultats différents selon les visages qui ont servi à l'entraîner, ce qui désigne la matière première. Cela indique aussi qu'un biais se corrige, à condition de changer les données. Réflexe : je cherche d'abord ce qu'on a donné à lire à la machine.
4. Une administration vous refuse un dossier sur la base d'un traitement entièrement automatique. Que demandez-vous ?
Le droit suisse comme le droit européen prévoient une intervention humaine sur les décisions entièrement automatisées. Demander le réexamen et les critères transforme une impression d'injustice en démarche vérifiable. Réflexe : face à une décision automatique, je demande un regard humain.
5. Vous constatez un biais net dans un service que vous utilisez. Quel geste est le plus utile ?
Un biais signalé devient un problème documenté, avec une date et un exemple précis, ce qui permet d'agir. Non signalé, il reste une impression que personne ne peut vérifier. Réflexe : je décris le cas exact, je le date, et je l'envoie.
Garder votre place
Et maintenant
D'ici demain, refaites l'expérience des portraits avec deux métiers de votre entourage.
D'ici demain, refaites l'expérience des portraits avec deux métiers de votre entourage. Notez sur une feuille le sexe et l'âge que l'assistant leur attribue spontanément. Vous aurez votre propre petite mesure, datée de votre main.
Donner mon avis sur cette leçon
Comment avez-vous trouvé cette leçon ?
Deux questions, dix secondes. Vos réponses servent à corriger les leçons suivantes : c'est notre seul moyen de savoir ce qui passe mal.
Les mots de cette leçon
- Biais
- Un écart systématique, qui penche toujours du même côté ; à distinguer d'une erreur au hasard.
- Faux positif
- Une correspondance annoncée à tort, par exemple deux visages différents reconnus comme la même personne.
- Étiquetage des données
- Le travail humain qui trie et annote les exemples d'entraînement ; ses consignes se retrouvent dans le modèle.
- Système à risque élevé
- Un usage de l'IA touchant des droits importants ; le règlement européen lui impose des obligations strictes.