🔎 Repérer les erreurs d'une IA générative¶

Objectifs pédagogiques¶

Analyser pourquoi un modèle d'IA entraîné peut se tromper.
Repérer une erreur dans un texte produit par une IA générative.
Formuler un critère personnel pour juger la fiabilité d'une réponse d'IA.

Contexte¶

Tu as entraîné un modèle d'IA lors d'une séance précédente, et il s'est sans doute parfois trompé. Une IA ne « comprend » pas au sens humain : elle repère des motifs dans les exemples qu'on lui a donnés — y compris quand elle génère du texte.

Problématique

Pourquoi une intelligence artificielle peut-elle se tromper, et comment repérer une erreur qu'elle a produite ?

Mission¶

Reprendre les cas d'erreur notés sur ton modèle Vittascience (séance précédente). Formuler une hypothèse sur leur cause.
La mettre à l'épreuve : modifier les images de ton dossier (en ajouter, en remplacer), ré-entraîner le modèle Images sur Vittascience et retester tes cas d'erreur. Noter si l'erreur a disparu.
Lire le texte ci-dessous, rédigé dans le style d'une réponse d'IA générative sur l'impression 3D et les matériaux :

Texte à analyser

« L'impression 3D par dépôt de filament fondu (FDM) fonctionne en faisant fondre un filament de plastique, comme le PLA, qui commence à ramollir dès 60 °C environ — une température facilement atteinte avec un simple sèche-cheveux. La buse dépose ensuite la matière couche par couche pour construire l'objet. Les imprimantes FDM grand public, comme celles utilisées dans les collèges, peuvent aussi imprimer directement des pièces métalliques en faisant fondre un filament d'acier, ce qui permet de fabriquer des objets aussi résistants qu'une pièce usinée. Enfin, tout objet imprimé en plastique PLA se dégrade naturellement en quelques semaines s'il est laissé dehors, ce qui en fait un matériau totalement sans impact sur l'environnement. »
Vérifier chaque phrase du texte par une recherche et noter la source consultée. Repérer ce qui est correct ou incorrect, phrase par phrase, et reformuler chaque erreur avec la bonne information.
Expliquer en une phrase pourquoi un texte produit par une IA peut sembler convaincant tout en étant faux.
Formuler en une phrase un critère personnel pour juger si une réponse d'IA est fiable ou non.

Questions de synthèse

Citer une des erreurs du texte étudié et la correction que tu y apportes.
En quoi ton expérience avec ton propre modèle Vittascience t'aide-t-elle à mieux comprendre pourquoi une IA générative peut se tromper dans un texte ?

Ressources et outils

Tes captures du modèle Vittascience (séance précédente) : base de l'analyse d'erreur.
Ton dossier d'images et Vittascience Images : pour ré-entraîner et retester le modèle.
Moteur de recherche : pour vérifier les affirmations du texte.

CRCN / Pix

CRCN 1.1 — Mener une recherche et une veille d'information

Ce qu'il faut retenir¶

Une IA ne comprend pas : elle repère des motifs dans les exemples qu'on lui a donnés. Elle peut donc produire une réponse fausse mais bien écrite.
L'erreur d'un modèle a souvent sa cause dans ses données d'entraînement (exemples peu nombreux, trop proches ou ambigus) : on vérifie cette cause en changeant les données, en ré-entraînant puis en retestant.
Un texte fluide n'est pas un texte exact : on vérifie les affirmations importantes dans une source fiable, phrase par phrase.
On se fixe un critère de fiabilité avant de se fier à une réponse d'IA : quelle information vérifier, et où.

Dans cette activité : les erreurs de ton modèle Vittascience et celles d'un texte d'IA sur l'impression 3D.

Grille d'évaluation

Juger une IA — erreurs et fiabilité

Production attendue : les hypothèses, améliorations et nouveau test du modèle, les erreurs du texte corrigées avec leurs sources, l'explication et le critère de fiabilité, et les réponses aux questions de synthèse.

Critère	Indicateurs observables	-- (insuffisant)	- (fragile)	+ (satisfaisant)	++ (très bonne maîtrise)
Analyse du modèle entraîné	Hypothèse de cause par cas d'erreur Amélioration proposée Résultat du nouvel essai	Aucune hypothèse et aucune amélioration ne sont écrites.	Une hypothèse ou une amélioration est écrite, ou l'amélioration n'a pas de lien avec la cause indiquée.	Chaque cas d'erreur repris a une hypothèse de cause et une amélioration concrète reliée à cette cause ; le modèle est ré-entraîné avec les images modifiées et le résultat du nouveau test est noté (erreur disparue ou non).	Comme le niveau +, et le résultat est interprété : l'élève indique quel changement a corrigé l'erreur, ou propose une nouvelle cause si elle persiste.
Repérage d'erreurs dans le texte	Erreurs identifiées phrase par phrase Correction reformulée Source consultée	Aucune erreur du texte n'est identifiée.	Une partie seulement des erreurs est identifiée, ou une erreur est repérée sans correction.	Toutes les erreurs sont identifiées, chacune est corrigée avec l'information exacte et aucune phrase exacte n'est déclarée fausse.	Comme le niveau +, et chaque correction cite la source consultée.
Explication et critère de fiabilité	Phrase d'explication (étape 5) Phrase formulant le critère personnel (étape 6) Réponses aux questions de synthèse	Ni l'explication ni le critère ne sont écrits.	Une seule des deux phrases est écrite, ou le critère est trop général pour être appliqué à une nouvelle réponse (ex. « se méfier »).	Une phrase explique pourquoi un texte d'IA peut convaincre tout en étant faux ; une phrase formule un critère applicable à une nouvelle réponse d'IA.	Comme le niveau +, et la réponse à la dernière question de synthèse relie une erreur de son propre modèle à une erreur de l'IA générative.