Als je exact dezelfde toets aan twee vergelijkbare klassen geeft, één keer digitaal en één keer op papier, is de kans groot dat je meetbaar verschillende resultaten ziet. Dat heeft niets te maken met wat de leerlingen weten. Het is een eigenschap van het medium zelf.
Dit verschijnsel heet het mode-effect. Het mode-effect is het systematische verschil in scores dat puur wordt veroorzaakt door hoe een toets wordt afgenomen — op papier, op een scherm of mondeling — en niet door wat de leerling weet.
Een verschil dat door onderzoek wordt onderbouwd
Dit verschil is de afgelopen veertig jaar in een grote hoeveelheid onderzoek gemeten.
De makkelijkste manier om het precieze verschil te kwantificeren, is door te kijken naar internationale gestandaardiseerde toetsen, zoals het Programme for International Student Assessment (PISA), dat verschillende academische vaardigheden meet van 15-jarige leerlingen in zo'n 90 landen.
In 2015 stapte de PISA-toets over van afname op papier naar afname op de computer. Voor die overstap voerde de OESO waarin leerlingen op dezelfde scholen willekeurig werden ingedeeld om de toets op papier of op een scherm te maken. In alle drie de onderzochte landen viel elk vak lager uit op het scherm:
Iets vergelijkbaars is te zien in het over de jaren 2010–2020, dat laat zien dat leerlingen vaker beter scoren op papieren toetsen. Van de 42 studies vonden er 21 de toets makkelijker op papier, vonden er 17 geen betekenisvol verschil, en in slechts 4 presteerden leerlingen online beter:
Hoe het ontstaat
Als we leren, leren we in een specifieke context: iets wat we met de hand hebben geschreven, onthouden we makkelijker wanneer we het een tweede keer met de hand schrijven, dan wanneer we een ander medium gebruiken — de tekst hardop uitspreken, of typen op een toetsenbord.
Daarnaast zijn er vier specifieke mechanismen die we zien wanneer we papieren en digitale toetsen vergelijken:
- Een ander ruimtelijk besef. Ons brein onthoudt beter waar iets stond in een fysiek boek met pagina's dan bij het scrollen en klikken door schermen.
- Leerlingen typen over het algemeen minder vlot dan ze met de hand schrijven.
- Verschil in tempo: schermen maken sommige leerlingen langzamer, waardoor een toets met tijdslimiet ze dubbel straft.
- Simpelweg bekendheid met de interface: de meeste leerlingen zien een digitale toetsomgeving pas voor het eerst op het moment dat ze de toets gaan maken.
Opvallend genoeg lijkt er hierbij geen verschil te zijn tussen "digital natives" en oudere generaties leerlingen; jongere cohorten hebben geen voordeel bij digitale toetsen, en het papiervoordeel dat in leesonderzoek is gemeten, is tussen 2000 en 2017 juist gegroeid in plaats van gekrompen.
De straf is ook niet constant. Een vond dat het effect zich vrijwel volledig concentreert bij informatieve teksten (bij verhalende teksten verdwijnt het helemaal) en ongeveer drie keer zo groot is wanneer leerlingen tegen de klok lezen:
Wat het voor jou betekent
Anders dan in de voorbeelden hierboven van organisaties als PISA vergelijk je waarschijnlijk geen toetsen die in verschillende vormen zijn afgenomen met elkaar. Iedereen in je klas maakt dezelfde toets in dezelfde vorm, dus het mode-effect verschuift de hele groep tegelijk — en een verschuiving die voor iedereen gelijk is, kun je opvangen wanneer je de cesuur vaststelt.
Het probleem is dat het niet voor iedereen gelijk uitpakt. De mechanismen hierboven raken sommige leerlingen harder dan andere: de langzame typer, de leerling die lezen op een scherm vermoeiend vindt, degene die de interface nog nooit heeft gezien. Normeren ten opzichte van het klassengemiddelde corrigeert de verschuiving van de groep, maar je wilt waarschijnlijk ook de spreiding van de scores zo klein mogelijk houden.
Er zijn een paar dingen die je kunt doen om ervoor te compenseren:
- Laat leerlingen oefenen in de vorm waarin ze getoetst worden: toets je digitaal, kijk dan of je leerlingen ook digitaal kunt laten oefenen, bijvoorbeeld met de oefenruimtes van Examplary.
- Wissel vormen af gedurende de periode: combineer digitale en schriftelijke toetsen, zodat een onbalans tussen leerlingen die in de ene vorm beter presteren dan in de andere wordt uitgemiddeld. Gebruik je Examplary, dan kijk je antwoorden op dezelfde manier na, of een leerling de toets nu online of op papier heeft gemaakt.
- Wees voorzichtig met tijdslimieten op het scherm: dit is precies waar de straf het grootst is. Ga dus zorgvuldig om met tijdslimieten in digitale toetsen en zorg dat leerlingen die op een scherm langzamer werken niet dubbel benadeeld worden.
- Let op de leeslast: bij lange informatieve teksten kosten schermen het meest. Hangt een vraag aan een pagina tekst, overweeg dan de tekst in te korten.
Conclusie
Betekent dit dat we digitale toetsing moeten vermijden? Nee. Er zijn echte, geldige redenen om online te toetsen, waaronder veiligheid, traceerbaarheid, consistentie en efficiëntie.
Bovendien hebben alle andere vormen ook een effect; er bestaat geen "neutrale" afnamevorm. Op papier, digitaal, mondeling: al deze opties zijn valide, zolang we ons ervan bewust zijn dat de manier waarop we toetsen afnemen invloed heeft op de uitkomsten.