Base de connaissances
Mesurer l'effet d'une formation IA : la mesure avant et après
Par Bob Biesemans · publié le
Une formation IA coûte du temps et de l'argent. Comment mesurer si les collaborateurs travaillent vraiment autrement ensuite ? Une approche pratique avec une mesure avant, une mesure après et une comparaison équitable.
En bref
Mesurez l'effet d'une formation IA avec une mesure avant et après sur des tâches du travail réel, avec d'autres tâches de même niveau la deuxième fois. Comparez par compétence et par service, pas par personne. Une enquête de satisfaction mesure l'accueil de la formation, pas ce qui a changé.
La satisfaction n'est pas un effet
Après une formation, la plupart des organisations demandent si elle était utile. Cela mesure l'accueil de la formation, pas ce qui a changé. Savoir si les gens vérifient désormais les réponses de l'IA ou ne collent plus de données clients dans un chatbot gratuit, seule une mesure le dit.
Les quatre étapes
1. Mesure avant : faites réaliser aux collaborateurs des tâches de leur travail, comme vérifier un résumé de l'IA par rapport à la source ou faire rédiger un courriel client. Notez par compétence ce qui coince.
2. Formation ciblée : orientez la formation sur ce qui a échoué lors de la mesure, par service. Une explication générale de l'IA pour tous est rarement le meilleur investissement.
3. Mesure après : remesurez quelques semaines plus tard avec d'autres tâches de même niveau. Répéter les mêmes questions mesure surtout la mémoire.
4. Comparer : regardez par compétence et par service ce qui s'est amélioré, ce qui est resté stable et ce qui demande encore de l'attention.
Comparer équitablement
Donnez à tous dans un groupe le même type de tâches, pour comparer des résultats et non des personnes. Regardez le schéma par service plutôt que de classer des individus. Et mesurez chacun de la même façon, quels que soient la fonction ou l'expérience.
Ce que vous y gagnez
Vous voyez quelle formation porte ses fruits, vous orientez le budget là où l'écart est le plus grand, et vous disposez d'un avant-après documenté, preuve solide des mesures prises au titre de l'article 4 de l'AI Act.
Questions fréquentes
Combien de temps après la formation remesurer ?
Après quelques semaines, pour voir ce qui est resté dans le travail quotidien et pas seulement ce qui est encore frais.
Puis-je réutiliser le même test ?
Mieux vaut pas. Les mêmes questions mesurent surtout la mémoire. Utilisez d'autres tâches de même niveau.
Une mesure avant et après compte-t-elle pour l'article 4 ?
Oui, un avant-après documenté est une preuve solide que vous avez pris des mesures et qu'elles ont eu de l'effet.