Identifier les limites d'une IA générative¶

Objectifs pédagogiques¶

Être capable de décrire simplement le fonctionnement d'un assistant conversationnel et d'identifier une limite (erreur, biais) dans une réponse d'IA.
Être capable d'analyser de façon critique les réponses obtenues à un défi de rédaction et de traduction par IA.
Être capable d'appliquer une bonne pratique d'usage responsable d'un assistant conversationnel.

Contexte¶

Tu es agent à l'école maternelle de la commune. La directrice, Mme Jézéquel, sait que certains agents utilisent déjà un assistant conversationnel pour rédiger des mots aux familles. Avant d'autoriser cet usage, elle te charge de le tester et de lui proposer une règle d'usage pour l'équipe. Pour cela, il faut comprendre comment ça marche, où sont ses limites, et savoir juger la qualité de ce qu'il produit.

Problématique

Comment fonctionne un assistant conversationnel, quelles sont ses limites, et comment juger la qualité de ses réponses ?

Mission¶

Notion — comment fonctionne un assistant conversationnel ?¶

Un assistant conversationnel (comme Copilot, l'assistant de ton compte Office 365 du lycée) est un programme entraîné sur d'énormes quantités de textes. Il ne « comprend » pas comme un humain : il prédit le mot le plus probable pour continuer une phrase. Cela explique deux choses importantes : il peut donner une réponse fausse avec assurance (une hallucination), et il peut refléter des biais présents dans les textes sur lesquels il a été entraîné. Une IA générative est un outil d'aide, pas une source d'autorité : toute réponse importante doit être vérifiée ailleurs.

Écrire avec tes mots ce qu'est une « hallucination » d'IA et pourquoi elle peut être dangereuse si on ne vérifie pas. (seul)
Poser à l'assistant conversationnel 3 questions de ton choix sur un sujet que tu connais bien (ta commune, un métier du service à la personne, un fait historique simple). Pour chaque réponse, vérifier au moins une information avec une source fiable. (seul, avec Copilot)
Noter, pour les 3 réponses obtenues : la réponse était-elle correcte, partiellement correcte, ou fausse ? Sur quoi t'es-tu appuyé pour vérifier ? (seul)
Rédiger une règle personnelle : dans quel(s) cas utiliserais-tu une IA générative dans ton travail à l'école, et dans quel(s) cas ne lui ferais-tu jamais confiance seule (une information médicale, un chiffre officiel) ? (seul)

Coup de pouce

Choisir un sujet où tu peux facilement repérer une erreur (une date, un chiffre, un nom de lieu que tu connais) : c'est plus simple pour juger la fiabilité de la réponse.

Atelier — défi prompts et analyse critique¶

Ta mission : tester la qualité des réponses d'une IA sur un défi de rédaction et de traduction (un mot destiné aux familles), et juger leur fiabilité.

Demander à l'IA de rédiger un court texte professionnel (ex. un mot aux familles annonçant la sortie de fin d'année) et de le traduire dans une langue étrangère (pour une famille qui ne lit pas bien le français). (seul)
Comparer la réponse obtenue à ce que tu aurais écrit toi-même : le ton est-il adapté ? Le texte est-il trop long, trop formel, trop générique ? (seul)
Reformuler ta demande initiale (prompt) en ajoutant plus de contexte (destinataire, ton souhaité, longueur) et comparer les deux réponses obtenues. (seul)
Rédiger un avis critique de 4-5 lignes sur l'utilité et les limites de l'IA pour ce type de tâche. (seul)

Défi (pour aller plus loin) ⭐

Identifier un domaine professionnel du secteur SAPVER où l'usage d'une IA générative serait risqué (ex. conseil médical) et expliquer pourquoi.

Ressources et outils

Copilot, avec ton compte Office 365 du lycée.

CRCN / Pix

CRCN 1.1 — Mener une recherche et une veille d'information
CRCN 4.1 — Sécuriser l'environnement numérique
Parcours Pix associé : [Parcours IA - CAP - Partie 1] Décrypter le fonctionnement et les enjeux de l'IA [26-27]
Code de campagne : QHDSZG459
Parcours Pix associé : [Parcours IA - CAP - Partie 2] Utiliser l'intelligence artificielle générative de façon efficace et éclairée [26-27]
Code de campagne : AYBGVV957

Compétence psychosociale

Pensée critique — Tu as vérifié au moins une réponse de l'assistant avec une source fiable.

Retour sur mon action : L'assistant s'est-il trompé ? Comment l'as-tu vu, et que feras-tu la prochaine fois ?

Ce qu'il faut retenir¶

Un assistant conversationnel prédit le mot le plus probable pour continuer une phrase : il ne comprend pas le sens comme un humain.
Une hallucination est une réponse fausse donnée avec assurance par une IA générative ; elle peut aussi refléter des biais présents dans ses données d'entraînement.
Toute information importante donnée par une IA générative doit être vérifiée auprès d'une source fiable avant d'être utilisée.
Ajouter du contexte à une demande (destinataire, ton souhaité, longueur) améliore nettement la qualité de la réponse obtenue.

Dans cette activité : test d'un assistant conversationnel par un agent d'école maternelle.

Grille d'évaluation

Critère	Indicateurs observables	Descripteurs par niveau
Comprendre le fonctionnement et les limites de l'IA	La définition de l'hallucination est correcte et illustrée ; les 3 réponses sont vérifiées et correctement qualifiées.	-- : Une définition est tentée mais l'hallucination n'est pas correcte, et aucune réponse n'est encore vérifiée. - : La définition de l'hallucination est correcte mais les 3 réponses de l'IA ne sont pas toutes vérifiées ou qualifiées. + : La définition de l'hallucination est correcte et illustrée, et les 3 réponses sont vérifiées et qualifiées (correcte, partielle, fausse) avec la source de vérification. ++ : Niveau + atteint, et le danger de l'hallucination est expliqué par une conséquence concrète.
Analyse critique des réponses au défi de prompts	La comparaison des deux versions de prompt est pertinente, l'avis critique est argumenté.	-- : La comparaison est commencée avec une seule version de la demande. - : Les deux demandes sont écrites mais la comparaison des réponses reste générale, ou l'avis critique manque. + : Les deux versions de la demande sont comparées avec ce que l'élève aurait écrit lui-même, et l'avis critique de 4-5 lignes est argumenté. ++ : Niveau + atteint, et l'avis cite un élément précis de chaque réponse.
Règle d'usage professionnel	La règle personnelle distingue clairement les cas d'usage acceptables et les cas à ne jamais confier seuls à une IA, avec un exemple du secteur SAPVER.	-- : La règle personnelle est commencée. - : La règle distingue seulement les cas acceptables ou seulement les cas à ne jamais confier seuls. + : La règle personnelle distingue les cas où utiliser une IA et ceux à ne jamais lui confier seule, avec un exemple du secteur. ++ : Niveau + atteint, et l'exemple montre la vérification à faire.