Examplary schrijft toetsvragen vanuit je eigen bronmateriaal. Voordat de AI iets schrijft, krijgt hij je materiaal, het niveau en het vak, een taxonomie zoals die van Bloom, onze didactische richtlijnen en je eigen voorkeuren mee, plus hulpmiddelen zoals een rekenmachine. Daarom krijg je andere vragen dan wanneer je ChatGPT of Copilot om vragen vraagt.
De techniek eronder is dezelfde als bij die chatbots. Examplary voegt de informatie en de hulpmiddelen rond het model toe, en we meten steeds hoe goed de vragen zijn die eruit komen.
Altijd vanuit je eigen bronmateriaal
Om een toets te laten maken, voeg je bronmateriaal toe: pdf's, Word-documenten en PowerPoint-presentaties, webpagina's, geplakte tekst, afbeeldingen, audio en video. In Bronmateriaal toevoegen in Examplary lees je hoe dat per soort werkt.
Hoe meer relevant materiaal, hoe beter. Een oude toets over hetzelfde onderwerp, de docentenhandleiding van je methode of een opname van een les helpen allemaal.
De AI heeft de opdracht om dicht bij je bronmateriaal te blijven en er niet van af te dwalen. Zo gebruiken de vragen de begrippen die je leerlingen kennen, en is de kans op verzonnen feiten kleiner.
Van leerdoelen naar een complete toets
Examplary bepaalt eerst wat de toets moet dekken. Heb je in je instructies leerdoelen gegeven, dan koppelt hij de vragen daaraan. Anders haalt hij drie tot zeven belangrijke leerdoelen uit je materiaal die bij het niveau passen.
Daarna bouwt hij de toets op: eerst een of twee eenvoudige kennisvragen, dan van makkelijk naar moeilijk, met vragen over hetzelfde onderwerp bij elkaar en aan het eind een vraag die alles samenbrengt. Hij schrijft een introductie en een afsluiting voor je leerlingen, en beoordelingscriteria bij elke vraag. Er komen zoveel vragen als in de gekozen duur passen, tot 20.
De mix van vragen volgt een taxonomie. Kies je geen andere, dan is dat de taxonomie van Bloom: die bepaalt de verhouding tussen vragen waarin leerlingen iets moeten onthouden en vragen waarin ze het geleerde toepassen, analyseren en combineren. Je kunt ook een andere taxonomie kiezen of er zelf een maken, zie Taxonomieën gebruiken in Examplary.
De AI krijgt ook instructies voor het niveau en het vak dat je kiest, zodat de moeilijkheid en het taalgebruik bij je klas passen. Je eigen instellingen en instructies komen daar nog bij, ook wat je hebt ingesteld onder Account → AI-voorkeuren.
Eigen hulpmiddelen
Het model heeft ook eigen hulpmiddelen. Het schrijft wiskundige formules die netjes worden weergegeven, en het rekent elke berekening na met een rekenmachine in plaats van uit het hoofd, zodat de getallen in vragen en antwoorden kloppen. In Examplary bij bètavakken zie je hoe dat er bij die vakken uitziet.
Een leuke is uitsnedes van pagina's: het model kan een passende illustratie of een schema uit je bronmateriaal in een vraag zetten. Zo sluit de vraag nog beter aan op wat leerlingen al hebben gezien.
Gemeten en verbeterd
We testen het maken van vragen steeds opnieuw met evals: een reeks testscenario's die de vragen van de AI langs onze kwaliteitseisen en bekende richtlijnen voor goede toetsvragen legt. Blijven de vragen bij de stof, passen ze bij het niveau, klopt het beoordelingsmodel en zit de toets logisch in elkaar? Elke ronde levert een score op.
Met die scores verbetert ons team de prompts, de hulpmiddelen en alles wat het model verder meekrijgt. Brengen onze AI-leveranciers betere modellen uit, dan stappen we daarop over.
Zo werkt toets maken met AI achter de schermen. Het resultaat blijft van jou: je kunt elke vraag aanpassen, opnieuw laten maken of weghalen voordat je de toets deelt.