In Examplary stelt de AI bij elk open antwoord een beoordeling voor: punten per criterium van je rubric, met een korte uitleg en feedback voor de leerling. Jij bekijkt dat voorstel en accepteert het of past het aan, dus het oordeel blijft van jou. Gesloten vragen kijkt Examplary zelf na, zonder AI.
Open vragen nakijken kost tijd. Met nakijken met AI begin je bij elk antwoord met een voorstel dat je kunt controleren, want je ziet per criterium waarom de AI tot zijn keuze kwam.
Welke antwoorden een voorstel krijgen
| Soort vraag | Wie kijkt na | Daarna |
|---|---|---|
| Gesloten vragen, zoals meerkeuze of waar/onwaar | Examplary, met het goede antwoord dat je hebt ingesteld | Meteen Beoordeeld |
| Open vragen met Exacte waarden | Examplary, door letterlijk te vergelijken | Meteen Beoordeeld |
| Andere open vragen | De AI stelt een beoordeling voor | (automatisch beoordeeld), tot jij het bekijkt |
| Vraagtypes zonder AI-beoordeling, zoals Javascript | Jij | Beoordeling vereist |
De AI begint vanzelf zodra een leerling een antwoord opslaat; je hoeft nergens op te klikken. Past de leerling zijn antwoord nog aan, dan begint de beoordeling opnieuw. Zolang de AI bezig is, zie je Wordt automatisch beoordeeld…. Gescande antwoorden van een papieren toets gaan op dezelfde manier.
Wat krijgt de AI mee?
Voor elk antwoord krijgt de AI:
- de vraag, met de instructies die bij het vraagtype horen;
- de rubric, het modelantwoord en de beoordelingsrichtlijnen;
- de feiten uit je bronmateriaal die bij deze vraag horen;
- het niveau en de taal van de toets;
- je Beoordeling en feedback AI-instructies uit de toetsinstellingen, en de AI-voorkeuren van de maker van de toets, zoals de toon en lengte van de feedback;
- tot acht antwoorden op dezelfde vraag die jij al hebt beoordeeld;
- het antwoord van de leerling, zonder zijn naam.
Wat de AI voorstelt
Per criterium stelt de AI punten voor, met een korte uitleg en hoe zeker hij is. Meestal zijn dat alle punten of nul, soms de helft. Daarnaast schrijft hij feedback voor de leerling: wat er mis was, waarom, en hoe het beter kan.
De zekerheid zie je als percentage naast elk criterium. Beweeg je muis erover voor de uitleg van de AI en de AI-betrouwbaarheid. Het is een schatting van de AI zelf, en Examplary toont hooguit 95%. Een laag percentage is een reden om beter te kijken. Verder gebeurt er niets mee: Examplary accepteert nooit vanzelf een voorstel.
Leert de AI van mijn beoordelingen?
Ja, maar alleen binnen één vraag. Elk antwoord dat je zelf beoordeelt of accepteert, wordt een voorbeeld voor dezelfde vraag in dezelfde toets. Stelt de AI daarna een beoordeling voor bij die vraag, dan krijgt hij tot acht van die voorbeelden mee, met hoge en lage scores. Zo past hij zich aan hoe streng jij bent en hoe jij deelpunten geeft.
Dat helpt bij antwoorden die later binnenkomen of opnieuw worden beoordeeld. Voorstellen die er al staan, veranderen niet vanzelf. Er wordt geen AI-model mee getraind.
Antwoorden opnieuw laten beoordelen
Wat jij zelf hebt beoordeeld, overschrijft Examplary nooit. Automatisch beoordeelde antwoorden laat je op drie manieren opnieuw beoordelen:
- Pas de rubric aan met Rubric bewerken in Nakijken.
- Pas je instructies aan in Instellingen → Beoordeling & feedback en klik op AI-scores opnieuw beoordelen.
- Pas één antwoord aan met Bewerk antwoord en zet Opnieuw automatisch beoordelen aan.
Wat je op het tabblad AI context zet, gebruikt de AI bij het maken van vragen, maar niet bij het nakijken. Instructies voor het nakijken horen bij Beoordeling en feedback AI-instructies. Hoe je die schrijft, lees je in Instructies geven voor feedback.
Wat leerlingen zien
Tijdens de toets zien leerlingen een beoordeling alleen als Geef feedback na elke vraag aan staat, zoals in een oefentoets. Ze zien dan meteen het voorstel van de AI, voordat jij ernaar hebt gekeken. Na de toets zien ze pas iets als jij de resultaten publiceert.
Publiceer je de resultaten voordat alles is nagekeken, dan zien leerlingen de voorstellen van de AI alsof ze definitief zijn. Alleen het eindcijfer wacht tot alles is beoordeeld. Zie Antwoorden beoordelen en resultaten publiceren.
Wat de AI niet doet
- Gesloten vragen en exacte waarden nakijken. Dat doet Examplary zonder AI.
- Je rubric aanpassen, voorstellen accepteren of resultaten publiceren.
- Het cijfer berekenen. Dat doet de cijferberekening van je toets.
- Leren van je toetsen of de antwoorden van je leerlingen buiten je eigen toets. Er wordt op geen enkele data getraind.
De Europese AI-verordening (EU AI Act) rekent AI die helpt bij het beoordelen van leerlingen tot de systemen met een hoog risico, en daar hoort menselijk toezicht bij. Daarom stelt de AI in Examplary alleen voor, en beslis jij. Hoe Examplary aan de verordening werkt, lees je in AI Act in het onderwijs: hoe Examplary ermee omgaat. Waar de AI-verwerking plaatsvindt, staat in Dataopslag en back-ups.