Kennisbank
Het effect van een AI-opleiding meten: zo doe je een voor- en nameting
Door Bob Biesemans · gepubliceerd op
Een AI-opleiding kost tijd en geld. Hoe meet je of medewerkers daarna echt anders werken? Een praktische aanpak met een voormeting, een nameting en eerlijke vergelijking.
Kort antwoord
Meet het effect van een AI-opleiding met een voormeting en een nameting op taken uit het eigen werk, met andere taken van hetzelfde niveau de tweede keer. Vergelijk per vaardigheid en per afdeling, niet per persoon. Een tevredenheidsenquête meet hoe de opleiding viel, niet wat er veranderde.
Tevredenheid is geen effect
Na een opleiding vragen de meeste organisaties of het nuttig was. Dat meet hoe de opleiding viel, niet wat er veranderde. Of mensen AI-antwoorden nu wel nakijken of geen klantgegevens meer in een gratis chatbot plakken, weet je pas als je het meet.
De vier stappen
1. Voormeting: laat medewerkers taken uit hun eigen werk uitvoeren, zoals een AI-samenvatting toetsen aan de bron of een klantmail laten opstellen. Noteer per vaardigheid waar het misloopt.
2. Gerichte opleiding: richt de opleiding op wat in de voormeting fout liep, per afdeling. Algemene AI-uitleg voor iedereen is zelden de beste besteding.
3. Nameting: meet na enkele weken opnieuw met andere taken van hetzelfde niveau. Dezelfde vragen herhalen meet vooral geheugen.
4. Vergelijken: kijk per vaardigheid en per afdeling wat beter werd, wat gelijk bleef en wat nog aandacht vraagt.
Eerlijk vergelijken
Geef iedereen in een groep dezelfde soort taken, zodat je resultaten vergelijkt en niet personen. Kijk naar het patroon per afdeling in plaats van individuen te rangschikken. En meet iedereen op dezelfde manier, ongeacht functie of ervaring.
Wat je ermee wint
Je ziet welke opleiding loont en welke niet, je kunt het budget richten waar het verschil het grootst is, en je hebt een gedocumenteerd voor-en-na dat sterk bewijs is van de maatregelen die je onder artikel 4 van de AI Act nam.
Veelgestelde vragen
Hoe lang na de opleiding meet ik opnieuw?
Na enkele weken, zodat je ziet wat in het dagelijkse werk bleef hangen en niet alleen wat vers in het geheugen zit.
Mag ik dezelfde test opnieuw gebruiken?
Beter niet. Dezelfde vragen meten vooral geheugen. Gebruik andere taken van hetzelfde niveau.
Telt een voor- en nameting voor artikel 4?
Ja, een gedocumenteerd voor-en-na is sterk bewijs dat je maatregelen nam en dat ze effect hadden.