LLM dans un QCM d’IA : définition et rôle
Quand un QCM porte sur les LLM, il teste en général la capacité à cocher la bonne définition d’un modèle de langage. La question mérite d’être posée autrement : un tel QCM devrait-il aussi mesurer l’aptitude à repérer une réponse fausse mais formulée avec l’assurance typique d’un texte généré par IA ? L’enjeu dépasse la simple évaluation de connaissances. Il touche à la fiabilité même des outils qui, parfois, produisent les questions.
Réponses fausses mais assurées : ce qu’un QCM sur les LLM devrait tester
Un LLM génère du texte en prédisant le token suivant à partir de patterns statistiques appris sur des milliards de phrases. Ce mécanisme produit des réponses fluides, syntaxiquement correctes, mais pas nécessairement exactes. Dans un QCM classique, les distracteurs (les mauvaises réponses) sont souvent repérables par leur formulation maladroite ou leur imprécision visible.
Lire également : Meilleur réseau blockchain : les critères pour faire le bon choix
Avec un contenu généré par un modèle de langage, la donne change. Un distracteur peut adopter le même registre, la même structure et le même degré de détail que la bonne réponse. Des travaux récents rapportent des références bibliographiques inventées et des stéréotypes dans des contenus éducatifs générés par IA. Les preuves sur l’équité des items, notamment leur comportement différentiel selon les groupes d’élèves, restent limitées.

A lire en complément : Ordinateur classique : définition et fonctionnement
Un QCM d’évaluation sur l’intelligence artificielle gagne donc à inclure des items qui testent explicitement la détection d’erreurs plausibles. Formuler une proposition fausse avec assurance, puis demander à l’apprenant de la repérer, évalue une compétence distincte de la simple reconnaissance de définition.
| Type de question QCM | Compétence évaluée | Limite principale |
|---|---|---|
| Reconnaissance de définition (ex. : « Un LLM est… ») | Mémorisation du vocabulaire technique | Ne teste pas la compréhension du fonctionnement |
| Identification d’un mécanisme (ex. : « Quel rôle joue la tokenisation ? ») | Compréhension du processus de prédiction | Reste dans le registre déclaratif |
| Détection d’une affirmation fausse mais plausible | Esprit critique face à un texte généré | Conception plus complexe, nécessite une validation experte |
La troisième catégorie est la plus rare dans les évaluations actuelles. Elle est aussi la plus pertinente dans un contexte où les apprenants interagissent quotidiennement avec des modèles génératifs.
LLM et génération automatique de QCM : le processus de contrôle compte plus que le modèle
Utiliser un LLM pour produire des questions d’évaluation est une piste explorée dans l’enseignement primaire, secondaire et supérieur. Le principe : fournir au modèle un objectif d’apprentissage, un niveau scolaire et un niveau de la taxonomie de Bloom, puis laisser le système générer les items.
Une question produite par une simple consigne n’est pas prête à être utilisée. Les résultats favorables rapportés dans certaines évaluations reposent sur des étapes distinctes de génération, de critique, de révision et de vérification experte. Sans ce flux de travail itératif, la qualité chute.
Un point rarement mis en avant : les jugements automatiques sur la qualité des questions sont plus indulgents que ceux des enseignants. Des travaux identifient des difficultés persistantes concernant la diversité et la complexité des questions générées. La validation humaine reste donc le garde-fou principal.
- La génération par LLM produit un brouillon, pas un item finalisé. Chaque question nécessite une relecture par un expert du domaine.
- Les agents de critique alimentés par des LLM repèrent certains défauts de rédaction (ambiguïté, double négation), mais pas les erreurs de contenu spécifiques à une discipline.
- L’alignement avec les objectifs pédagogiques dépend de la qualité du prompt initial et du référentiel fourni au modèle.
Obligation de littératie en IA et rôle du QCM dans l’évaluation
Depuis le 2 février 2025, l’article 4 du règlement européen sur l’IA demande aux fournisseurs et aux déployeurs de systèmes d’intelligence artificielle de prendre des mesures pour favoriser la littératie en IA des personnes qui les utilisent. Ce cadre réglementaire donne au QCM un rôle potentiel de sensibilisation ou de formation.
Le règlement ne prescrit pas le QCM comme méthode et n’impose pas un niveau individuel précis à atteindre. Il fixe une obligation de moyens. Dans ce contexte, un QCM bien conçu peut servir d’outil de diagnostic : il identifie les lacunes sur la définition d’un LLM, sur le fonctionnement de la prédiction par tokens, ou sur les limites de la génération de contenu.

La distinction entre évaluation formative (pour apprendre) et évaluation sommative (pour certifier) prend ici tout son sens. Un QCM formatif sur les LLM peut se permettre des items exploratoires, y compris des distracteurs générés par IA pour entraîner l’esprit critique. Un QCM sommative exige des garanties de fiabilité que la génération automatique seule ne fournit pas encore.
Performance des LLM face aux QCM : texte contre image
Les modèles de langage obtiennent des scores élevés sur des QCM textuels dans plusieurs disciplines. Cette performance masque un écart significatif. Un LLM est nettement moins fiable sur les QCM qui reposent sur des images, comme le montre une étude publiée dans PLOS ONE en 2026 portant sur des QCM de radiologie.
La performance moyenne observée est plus faible pour les questions avec images que pour les questions purement textuelles. Un score global peut donc masquer cette faiblesse. Les auteurs recommandent une supervision pédagogique systématique lorsque des LLM interviennent dans la correction ou la résolution de QCM multimodaux.
Ce constat a une implication directe pour la conception d’évaluations sur l’IA : inclure des schémas ou des captures d’écran dans un QCM sur les LLM réduit le risque qu’un modèle puisse « tricher » en répondant à la place de l’apprenant. C’est aussi un moyen de tester la compréhension visuelle de l’architecture Transformer, que la seule formulation textuelle ne couvre pas.
Un QCM sur les LLM qui se limite à des définitions textuelles évalue la mémoire déclarative. Un QCM qui intègre la détection d’erreurs plausibles, des supports visuels et une validation experte des items mesure une compréhension plus opérationnelle de l’intelligence artificielle générative. Les données disponibles convergent : la qualité d’un QCM dépend moins du modèle qui le génère que du processus de contrôle qui l’entoure.