Mesurer la maîtrise de l'IA : pourquoi un quiz ne suffit pas

Savoir n'est pas faire

Beaucoup de formations sur l'IA se terminent par un quiz : qu'est-ce qu'un modèle de langage, que dit l'AI Act, qu'est-ce qu'une hallucination. Qui réussit connaît les réponses. Mais les erreurs au travail arrivent ailleurs : un fichier clients dans un chatbot gratuit, un montant de TVA tiré d'un résumé d'IA que personne ne vérifie, une consigne vague qui coûte une demi-heure au lieu d'en faire gagner cinq minutes.

On peut parfaitement expliquer ce qu'est une hallucination et reprendre quand même un numéro de facture inventé s'il a l'air convaincant.

Ce qu'il faut mesurer

La compétence IA se montre dans des situations proches du vrai travail. Par exemple : quelles données peuvent aller dans quel outil ? Ce résumé d'IA d'une facture correspond-il à la source ? Laquelle de ces trois consignes donne un courriel client utilisable, et pourquoi ? Que faire si l'IA répond à l'encontre du règlement de travail ?

Ces tâches mesurent le jugement, pas la mémoire. Elles montrent si une personne vérifie, repère les données sensibles et sait donner une consigne claire à l'IA.

Par service, pas par personne

Pour une entreprise, le résultat le plus utile n'est pas le score d'un collaborateur mais la tendance par service. La comptabilité vérifie peut-être bien les chiffres de l'IA, tandis que la vente colle des données clients dans le mauvais outil. Vous savez alors où une courte leçon rapporte le plus.

Mesurer deux fois

Une première mesure montre où vous en êtes. Après une leçon ciblée, une deuxième mesure, avec d'autres tâches du même niveau, montre ce qui a changé. Cet écart est aussi la meilleure preuve que vos mesures au titre de l'article 4 de l'AI Act ont porté leurs fruits.

Essayer vous-même

Sur AISkillProof, vous pouvez faire un court exercice sans compte et voir à quoi ressemble une telle tâche pratique. Ce n'est pas un test noté, mais cela donne une bonne idée de la différence avec un quiz.