In het kort
- Een toets direct na de training meet wat er op dat moment nog vers in het geheugen zit, en juist die kennis zakt in de maanden daarna weer weg. Medewerkers herkenden phishing vier maanden na een training nog aantoonbaar beter, maar na zes maanden was die winst verdwenen. Een hoge score op de dag van de training zegt dus weinig over wat een medewerker een halfjaar later nog weet.
- Drie dingen laten kennis beklijven, en voor alle drie is het bewijs sterk: laat medewerkers de stof zelf uit hun geheugen ophalen, herhaal met tussenpozen en stem de moeilijkheid af op wat iemand al weet. Adaptief leren doet dat alle drie in één ontwerp.
- Meet weken of maanden later nog eens, met vragen van hetzelfde niveau die de medewerker niet eerder heeft gezien. Alleen zo toon je aan dat kennis werkelijk toeneemt. Zet die kennismeting naast een maat voor gedrag, want wie meer weet, gedraagt zich nog niet vanzelf anders.
Verantwoording
- Type
- Literatuurstudie op basis van peer-reviewed onderzoek.
- Bronnen
- Vijf meta-analyses en enkele overzichtsstudies uit de cognitieve psychologie en de onderwijskunde, aangevuld met experimenteel onderzoek naar geheugen en leren en met veldonderzoek naar phishingtraining in organisaties.
- Peildatum
- November 2026.
01 · BevindingDe toets direct na de training komt te vroeg
In de meeste awarenessprogramma's sluit een training af met een toets. Wie slaagt, is klaar, en het slagingspercentage gaat de rapportage in als bewijs dat de kennis op peil is. Die redenering heeft één zwakke plek, en dat is het moment waarop je meet. Geleerde stof zakt snel weg. Ebbinghaus beschreef dat al in 1885, en toen onderzoekers zijn experiment in 2015 herhaalden, vonden zij dezelfde vergeetcurve, die eerst steil daalt en daarna geleidelijk afvlakt (Murre en Dros, 2015).
Een vroege meting kan zelfs misleiden. Roediger en Karpicke lieten studenten een tekst lezen, waarna de ene groep de tekst nog een keer las en de andere groep er een toets over maakte, zonder te horen wat goed of fout was. Na vijf minuten wisten de studenten die de tekst hadden herlezen het meest, namelijk 81 procent van de inhoud tegenover 75 procent in de getoetste groep. Twee dagen later was het beeld omgekeerd (54 tegenover 68 procent) en na een week was het verschil nog even groot (42 tegenover 56 procent) (Roediger en Karpicke, 2006). Wat direct na het leren de hoogste score oplevert, is dus niet wat het langst blijft hangen. Wie alleen op de dag zelf meet, loopt zelfs het risico de verkeerde aanpak als de beste aan te wijzen.
Wie herleest, weet meteen meer maar na een week minder
Deel van een tekst dat studenten onthielden, in procenten
Figuur 1 Het deel van de tekst dat studenten zich herinnerden, vijf minuten, twee dagen en een week na het leren. Bron: Roediger en Karpicke (2006), experiment 1.
Security awareness laat in de praktijk hetzelfde patroon zien. Onderzoekers van het Karlsruhe Institute of Technology volgden 409 medewerkers van een Duitse overheidsorganisatie die een phishingtraining hadden gekregen. Direct na de training en ook vier maanden later herkenden deze medewerkers phishingmails en echte mails aantoonbaar beter dan ervoor. Na zes maanden was dat verschil niet meer aan te tonen, reden voor de onderzoekers om aan te raden de training na een halfjaar op te frissen (Reinheimer e.a., 2020).
De toets aan het eind van een training laat dus zien dat de training is gevolgd en dat de stof op dat moment is begrepen, maar niet wat er daarna van overblijft. Daar komt bij dat een toets waarop bijna iedereen bijna alles goed heeft, geen ruimte laat om verschillen te zien of groei te meten.
02 · BevindingKennis ophalen uit het geheugen is zelf een vorm van leren
Het experiment van Roediger en Karpicke staat niet op zichzelf. Het verschijnsel staat bekend als het toetseffect en houdt in dat wie kennis uit het geheugen moet ophalen, die kennis daarna beter onthoudt dan wie de stof nog eens doorleest. In een meta-analyse van 61 onderzoeken leverde toetsen gemiddeld een middelgroot voordeel op ten opzichte van herlezen, met een effectgrootte van 0,50 (Rowland, 2014). Een latere meta-analyse, van 272 effecten uit 118 artikelen, kwam uit op 0,61 ten opzichte van andere manieren van leren (Adesope, Trevisan en Sundararajan, 2017).
Een veel aangehaald overzicht waarin tien leertechnieken naast elkaar zijn gelegd, komt tot dezelfde slotsom. Alleen jezelf toetsen en gespreid oefenen kregen daarin de hoogste waardering, terwijl herlezen en markeren, de technieken die mensen het meest gebruiken, laag scoorden (Dunlosky e.a., 2013).
Voor een awarenessprogramma betekent dit dat een vraag meer is dan een manier om te meten. Een vraag over stof van weken geleden laat zien wat er is blijven hangen en zorgt er tegelijk voor dat die kennis beter beklijft, omdat de medewerker het opnieuw moet ophalen.
03 · BevindingSpreiden werkt beter dan alles in één keer
Het tweede inzicht waarvoor veel bewijs bestaat, is dat leren meer oplevert wanneer het over de tijd is verspreid dan wanneer dezelfde leertijd in één blok wordt gestoken. Een overzicht van 317 experimenten uit 184 artikelen bevestigde dit spreidingseffect (Cepeda e.a., 2006).
Een vervolgstudie ging na hoe lang de tussenpoos het best kan zijn. Ruim 1.350 mensen leerden een reeks feiten, herhaalden die na een tussenpoos die opliep tot drieënhalve maand en maakten daarna, tot een jaar later, een eindtoets. Hoe langer de kennis moest meegaan, hoe langer ook de beste tussenpoos bleek te zijn. Voor een toets na een week lag die op 20 tot 40 procent van die week, voor een toets na een jaar op 5 tot 10 procent van dat jaar (Cepeda e.a., 2008). Wie wil dat kennis een jaar meegaat, kan de stof dus het best na ongeveer drie tot vijf weken herhalen.
Een jaarlijkse training in één blok doet precies het omgekeerde, want alle stof komt in één keer en daarna gebeurt er een jaar lang niets. Het veldonderzoek naar phishingtraining wijst in dezelfde richting. Een korte opfrissing, in de vorm van een video of van voorbeelden waar de medewerker zelf doorheen klikt, hield het effect daar nog minstens zes maanden vast (Reinheimer e.a., 2020).
04 · VerklaringWaarom de moeilijkheid moet meebewegen
Het derde inzicht gaat over de vraag voor wie de stof bedoeld is. Uitleg en begeleiding die een beginner verder helpen, zijn voor iemand met ervaring overbodig en kunnen het leren zelfs in de weg zitten. In de onderwijskunde heet dat het expertise reversal effect (Kalyuga e.a., 2003). Eén module voor de hele organisatie past daardoor bij niemand goed, want de een kan het tempo niet bijhouden, terwijl de ander zich elk jaar opnieuw door stof heen klikt die hij allang kent.
Leren gaat het snelst bij een taak die niet te makkelijk en niet te moeilijk is. Voor een brede groep leermodellen is berekend dat het optimum ligt bij ongeveer 85 procent goede antwoorden (Wilson e.a., 2019). Die uitkomst geldt voor modellen die eenvoudige keuzes tussen twee antwoorden leren maken. Het percentage geeft daarom wel een richting aan, maar is geen norm voor de training van medewerkers.
Hoe dat in de praktijk uitpakt, laat een Nederlands voorbeeld zien. De Rekentuin, ontwikkeld aan de Universiteit van Amsterdam, schat tegelijkertijd hoe vaardig een kind is en hoe moeilijk een som is, met een rekenmethode die uit de schaakwereld komt (het Elo-systeem). Het programma kiest de sommen zo dat een kind er gemiddeld drie van de vier goed heeft. In het onderzoek waarin de methode is beschreven, maakten 3.648 kinderen samen ruim 3,5 miljoen sommen (Klinkenberg, Straatemeier en van der Maas, 2011). Dezelfde rekenmethode is daarna in meer adaptieve leersystemen gebruikt (Pelánek, 2016).
Blijft de vraag of die aanpassing ook meer oplevert. Een meta-analyse van vijftig gecontroleerde evaluaties van systemen die de les op de leerling afstemmen, vond een mediaan effect van 0,66 standaarddeviatie ten opzichte van gewoon onderwijs. Een gemiddelde leerling komt daarmee uit op het niveau van een leerling die beter scoort dan driekwart van de groep (Kulik en Fletcher, 2016). Uit een eerder overzicht kwam naar voren dat systemen die de leerling stap voor stap begeleiden bijna even goed werken als een menselijke begeleider, met een effect van 0,76 tegenover 0,79, in beide gevallen vergeleken met leren zonder begeleiding (VanLehn, 2011). Daarbij past wel een kanttekening, want de winst was groter op toetsen die bij de les zelf hoorden dan op algemene, gestandaardiseerde toetsen.
05 · AanpakWat adaptief leren met deze inzichten doet
Adaptief leren brengt deze drie inzichten in één ontwerp samen. Voor een awarenessprogramma komt dat neer op vijf keuzes.
- Houd voor slagen één vaste norm aan.Een deel van de vragen is voor iedereen even moeilijk en bepaalt of iemand slaagt. Daardoor blijft de uitkomst eerlijk en zijn resultaten onderling te vergelijken, ook voor een auditor.
- Laat de overige vragen aansluiten op wat iemand al weet.Wie de basis beheerst, krijgt moeilijkere vragen, en wie daar nog niet is, krijgt vragen die haalbaar zijn, zodat iedereen op zijn eigen niveau leert (Kalyuga e.a., 2003; Wilson e.a., 2019).
- Kom later terug op eerdere stof.Een vraag over een training van weken of maanden geleden dwingt de medewerker de kennis op te halen op het moment dat die begint weg te zakken (Roediger en Karpicke, 2006; Cepeda e.a., 2008).
- Gebruik daarvoor een vraag die de medewerker nog niet kent.Met een vraag die hij al eens heeft gezien, meet je of hij de vraag heeft onthouden en niet of hij de stof beheerst.
- Leid de moeilijkheid van een vraag af uit de antwoorden.De maker van een vraag kan zich in de moeilijkheid vergissen. Systemen als de Rekentuin leiden de moeilijkheid daarom doorlopend af uit wat mensen in werkelijkheid antwoorden (Klinkenberg, Straatemeier en van der Maas, 2011).
Hoe 2LRN4 dit doet
In 2LRN4 telt elke toets tien vragen. Zeven daarvan zijn voor iedereen even moeilijk en bepalen of de medewerker slaagt, zodat de norm in de hele organisatie gelijk blijft. De andere drie sluiten aan op het kennisniveau van de medewerker. Het platform houdt dat niveau per onderwerp bij en stelt het na elke toets bij. Eén van de drie vragen gaat over een cursus die de medewerker minstens een maand eerder heeft gevolgd, en het is een vraag die hij nog niet heeft gezien. Zo haalt hij eerdere stof op en laat de uitkomst zien wat er is blijven hangen. Hoe moeilijk een vraag is, berekent het platform uit de antwoorden van medewerkers zodra er genoeg antwoorden zijn. De werkgever krijgt geen kennisniveau van afzonderlijke medewerkers te zien.
06 · AanpakHoe je aantoont dat kennis toeneemt
Een stijgende lijn in een rapport is nog geen bewijs. Als een score oploopt doordat medewerkers meer toetsen maken, zegt dat iets over activiteit en niets over kennis. Wie wil aantonen dat de kennis toeneemt, heeft een meting nodig die aan vier voorwaarden voldoet.
- Meet op een later moment.Doe dat weken of maanden na de training en niet op de dag zelf.
- Meet met vragen van hetzelfde niveau.Als de latere vragen even moeilijk zijn als de vragen direct na de training, kun je de twee uitkomsten naast elkaar leggen.
- Meet met vragen die de medewerker nog niet kent.Alleen dan zegt een goed antwoord iets over de stof.
- Rapporteer over groepen.Het bewijs gaat over de organisatie en niet over één persoon. Laat een uitkomst daarom alleen zien als de groep groot genoeg is om er niemand in te kunnen herkennen.
Twee keer meten met vragen van hetzelfde niveau
Opzet van een meting die laat zien wat blijft hangen
Figuur 2 De toets direct na de training laat zien wat is begrepen. Een nieuwe vraag over dezelfde stof, weken tot maanden later en even moeilijk, laat zien wat daarvan is blijven hangen.
Hierbij horen twee kanttekeningen. De eerste is dat een kennisniveau dat wordt afgeleid uit de antwoorden van collega's, medewerkers vooral met elkaar vergelijkt. Wordt iedereen tegelijk beter, dan verandert zo'n niveau nauwelijks. Het bewijs zit daarom in het percentage goede antwoorden op vragen van een vast niveau, en het kennisniveau geeft daar hooguit achtergrond bij.
De tweede kanttekening is dat kennis nog geen gedrag is. In een meta-analyse van 69 onderzoeken vond de Universiteit Leiden een groot effect van training op kennis en houding (d = 1,02) en een klein effect op gedrag (d = 0,36) (Prümmer, van Steen en van den Berg, 2025). Een kennismeting hoort daarom naast een maat voor gedrag te staan, zoals het aantal verdachte berichten dat medewerkers melden.
07 · ConclusieHet gaat om wat blijft hangen
De toets aan het eind van een training geeft antwoord op de vraag of de stof is aangekomen. Waar het om gaat, is wat een medewerker nog weet op het moment dat hij die kennis nodig heeft, en dat moment ligt weken of maanden later. Het onderzoek naar leren is daar duidelijk over. Kennis zakt weg, maar blijft beter hangen wanneer iemand het geleerde regelmatig uit het geheugen moet ophalen, wanneer de herhaling over de tijd is gespreid en wanneer de stof aansluit op wat hij al weet.
Adaptief leren maakt van die inzichten een werkwijze. Wie daarbij ook later nog eens meet, met nieuwe vragen van hetzelfde niveau, hoeft niet langer aan te nemen dat de kennis toeneemt, maar kan het laten zien.
Beperkingen
- Dit rapport is een literatuurstudie die bestaand wetenschappelijk onderzoek samenvat, en bevat geen nieuw eigen onderzoek.
- Het meeste onderzoek naar toetsen, spreiden en aanpassen is in het onderwijs gedaan, bij leerlingen en studenten en met leerstof als teksten, feiten en sommen. Het ligt voor de hand dat de uitkomsten ook opgaan voor medewerkers in een awarenessprogramma, maar rechtstreeks onderzoek daarnaar is er nog weinig.
- Hoeveel winst systemen opleveren die de les op de leerling afstemmen, hangt af van de toets waarmee wordt gemeten. Op gestandaardiseerde toetsen is die winst kleiner.
- Het optimum van 85 procent goede antwoorden is berekend voor leermodellen en eenvoudige taken, en is niet onderzocht bij de training van medewerkers.
- Meer kennis leidt niet vanzelf tot ander gedrag. Dit rapport gaat over kennis en doet geen uitspraak over gedragsverandering.
Bronnen
- Adesope, O. O., Trevisan, D. A., en Sundararajan, N. (2017). Rethinking the Use of Tests: A Meta-Analysis of Practice Testing. Review of Educational Research, 87(3), 659 tot 701. doi.org/10.3102/0034654316689306
- Cepeda, N. J., Pashler, H., Vul, E., Wixted, J. T., en Rohrer, D. (2006). Distributed practice in verbal recall tasks: A review and quantitative synthesis. Psychological Bulletin, 132(3), 354 tot 380. doi.org/10.1037/0033-2909.132.3.354
- Cepeda, N. J., Vul, E., Rohrer, D., Wixted, J. T., en Pashler, H. (2008). Spacing Effects in Learning: A Temporal Ridgeline of Optimal Retention. Psychological Science, 19(11), 1095 tot 1102. doi.org/10.1111/j.1467-9280.2008.02209.x
- Dunlosky, J., Rawson, K. A., Marsh, E. J., Nathan, M. J., en Willingham, D. T. (2013). Improving Students' Learning With Effective Learning Techniques: Promising Directions From Cognitive and Educational Psychology. Psychological Science in the Public Interest, 14(1), 4 tot 58. doi.org/10.1177/1529100612453266
- Kalyuga, S., Ayres, P., Chandler, P., en Sweller, J. (2003). The Expertise Reversal Effect. Educational Psychologist, 38(1), 23 tot 31. doi.org/10.1207/S15326985EP3801_4
- Klinkenberg, S., Straatemeier, M., en van der Maas, H. L. J. (2011). Computer adaptive practice of Maths ability using a new item response model for on the fly ability and difficulty estimation. Computers & Education, 57(2), 1813 tot 1824. doi.org/10.1016/j.compedu.2011.02.003
- Kulik, J. A., en Fletcher, J. D. (2016). Effectiveness of Intelligent Tutoring Systems: A Meta-Analytic Review. Review of Educational Research, 86(1), 42 tot 78. doi.org/10.3102/0034654315581420
- Murre, J. M. J., en Dros, J. (2015). Replication and Analysis of Ebbinghaus' Forgetting Curve. PLOS ONE, 10(7), e0120644. doi.org/10.1371/journal.pone.0120644
- Pelánek, R. (2016). Applications of the Elo rating system in adaptive educational systems. Computers & Education, 98, 169 tot 179. doi.org/10.1016/j.compedu.2016.03.017
- Prümmer, J., van Steen, T., en van den Berg, B. (2025). Assessing the effect of cybersecurity training on end-users: A meta-analysis. Computers & Security, 150, 104206. doi.org/10.1016/j.cose.2024.104206
- Reinheimer, B., Aldag, L., Mayer, P., Mossano, M., Duezguen, R., Lofthouse, B., von Landesberger, T., en Volkamer, M. (2020). An investigation of phishing awareness and education over time: When and how to best remind users. Sixteenth Symposium on Usable Privacy and Security (SOUPS 2020), 259 tot 284. usenix.org/conference/soups2020/presentation/reinheimer
- Roediger, H. L., en Karpicke, J. D. (2006). Test-Enhanced Learning: Taking Memory Tests Improves Long-Term Retention. Psychological Science, 17(3), 249 tot 255. doi.org/10.1111/j.1467-9280.2006.01693.x
- Rowland, C. A. (2014). The effect of testing versus restudy on retention: A meta-analytic review of the testing effect. Psychological Bulletin, 140(6), 1432 tot 1463. doi.org/10.1037/a0037559
- VanLehn, K. (2011). The Relative Effectiveness of Human Tutoring, Intelligent Tutoring Systems, and Other Tutoring Systems. Educational Psychologist, 46(4), 197 tot 221. doi.org/10.1080/00461520.2011.611369
- Wilson, R. C., Shenhav, A., Straccia, M., en Cohen, J. D. (2019). The Eighty Five Percent Rule for optimal learning. Nature Communications, 10, 4646. doi.org/10.1038/s41467-019-12552-4