Toetsen met ICT

Sinds oktober 2003 bezit de VU via Onderwijscentrum VU over een campus-wide license voor Respondus. Respondus is een Windows programma dat de mogelijk maakt om op uw eigen PC toetsen en surveys aan te maken die daarna kunnen worden ge-upload naar een Blackboardserver of kunnen worden geprint. U kunt er ook uw bestaande toetsen of surveys mee downloaden.

Respondus valt op doordat het veel gemakkelijker wordt om toetsvragen te maken, beheren, multimedia-elementen toe te voegen (opmaak, plaatjes, wiskundige vergelijkingen, geluid e.d.) en om toetsen uit te printen.

Voor het aanvragen van uw eigen kopie van het programma: Klik hier

Met behulp van ICT en het Internet is het tegenwoordig goed mogelijk (en redelijk eenvoudig) om studenten met behulp van de PC te toetsen. Vooral als het gebruik wordt om het aanvangsniveau van een student te meten (of zichzelf te laten meten = diagnostisch toetsen) of om tijdens een cursus de voortgang te meten (formatieve toetsing).

Lees hieronder welke toetsmachines u zou kunnen gebruiken, welke voordelen het op kan leveren en hoe u die voordelen kunt realiseren. Wilt u het rustig op papier nalezen, download dan het document. Wilt u meer didactisch advies over het opstellen van vragen, samenstellen van een toets of het formuleren van feedback, lees dan dit artikel.

Inhoudsopgave

Toetsing met behulp van ICT voor bevordering van activerend onderwijs

Literatuur

Toetsing met behulp van ICT

    Met behulp van ICT en het Internet is het tegenwoordig goed mogelijk (en redelijk eenvoudig) om studenten met behulp van de PC te toetsen. Vooral als het gebruik wordt om het aanvangsniveau van een student te meten (of zichzelf te laten meten = diagnostisch toetsen) of om tijdens een cursus de voortgang te meten (formatieve toetsing).

Voordelen van digitale toetsing

Een van de grote voordelen van digitale (online) toetsing is dat studenten direct feedback kunnen krijgen op hun prestaties. De motivatie om aan deze toetsen deel te nemen is daarmee groter dan bij toetsen op papier.

Feedback kan in allerlei vormen worden gegeven: het geven van het juiste antwoord, het geven van nieuwe studeeraanwijzingen, hints om de oplossing te kunnen vinden, het aanbieden van video of animaties om concepten nog eens uit te leggen, e.d. Een student kan aan de hand van antwoorden zelfs geconfronteerd worden met makkelijker of juist moeilijker vragen (adaptief toetsen).

Terwijl het nog maar moeizaam mogelijk is om open vragen door digitale toetssystemen te laten verwerken, kunnen computersystemen wel veel typen 'gesloten' vragen verwerken (multiple choice, multiple answer, rangordeningsvragen, fill in the blank, aanwijs vragen, numerieke vragen en soms algebraische vragen). De gesloten vragen kunnen deels weer 'open' gemaakt worden door ze random aan te bieden en/of uit een groter bestand te selecteren (itembanking), etc.

Er zijn op de markt verschillende (gratis) internet gebaseerde toetsomgevingen beschikbaar, of u kunt zelf toetsen maken door te graan programmeren met Java o.i.d. (maar u zult aan de hand van de artikelen van de voorbereidingsopdracht hopelijk besluiten om dat niet te doen). U kunt gebruikmaken van de toetsmachine die in de TeleTOP omgeving is opgenomen (QuizMaker), maar afhankelijk van uw wensen kunt u ook een andere gebruiken.

Beperkingen van digitaal toetsen

Ondanks de hoge verwachtingen van toetsing met behulp van ICT, is het probleem van authenticatie niet opgelost. Er is nog geen manier om via Internet te controleren of studenten die een toets maken, ook werkelijk degene zijn voor wie ze zich uitgeven en of ze niet met iemand samenwerken. Er moet nog altijd fysiek worden gecontroleerd wie een toets maakt. Het gevolg is dat digitale en/of online toetsing die meetellen voor tentaminerings- of examendoeleinden (summatieve toetsing) nog weinig wordt ingezet.

Tentamens waarbij direct feedback wordt gegeven in de vorm van een puntenwaardering, leveren problemen op als -na analyse van de resultaten- vragen komen te vervallen of anders gewaardeerd moeten worden. Het is op zijn minst noodzakelijk dat online tentamens zeer goed voorbereid en getest moeten worden voordat zij afgenomen kunnen worden.

Er zijn tot nu toe nog geen systemen die 'essay' type vragen (open vragen) kunnen nakijken. Dat geld vooral voor het type vragen waarbij tekeningen, schema's e.d. van belang zijn. Er is wel een systeem ontwikkeld bij de Erasmus Universiteit door prof. Mulder van de faculteit Rechten, vakgroep Jurimetrie. Het systeem heet CODAS en is in staat om automatisch de inhoud van 'Word' documenten na te kijken. Het systeem kan controleren of studenten niet uit een boek overschrijven of van elkaar overschrijven. Het systeem gaat na welke woorden studenten in hun antwoord gebruiken. Het is goed in het nakijken van opdrachten waarin studenten beschrijvende antwoorden moeten geven (bijv. een theorie of principe in eigen woorden weergeven). Het kan echter geen opdrachten nakijken waarin het gaat om het ontwikkelen van taalvaardigheid of waarin eigen creativiteit een grote rol speelt. Bovendien moet het systeem een minimale hoeveelheid van ongeveer 100 documenten hebben om tot een betrouwbaar oordeel te komen.

Is het nodig dat studenten online zijn als zij een toets doen?

Er kunnen meerdere redenen zijn dat het onwenselijk is dat studenten hun toets online moeten maken: Er kunnen te weinig computers zijn, online tijd is wellicht duur e.d. Welke mogelijkheden zijn er om een toets via de PC af te nemen?

  • Als u individuele toetsresultaten niet hoeft of wilt volgen, dan kunt u gebruik maken van een stand-alone toetsafspeler of een toets via het Internet waarbij de toets gegeneerd word door de computer van de student (er vindt geen uitwisseling van vraag en antwoord plaats met de server). U kunt de toetsafspeler eenvoudig verspreiden door het uitdelen op een floppy, via het netwerk van uw faculteit of -misschien nog eenvoudiger- via het Internet (bijv. DLO).
    Een nadeel van deze werkwijze is dat het doen van (zelf)toetsen op geheel vrijwillige basis gebeurt. Het kan zijn dat studenten die juist deze manier van studeren nodig hebben er het minst gebruik van maken.
  • Als u de resultaten van uw (individuele) studenten wel wilt volgen, dan wordt de keus iets beperkter, maar is er nog steeds veel mogelijk.
  • U kunt gebruik maken van een toetsomgeving waarin de resultaten (antwoorden) van studenten naar u toegemaild worden (zgn mail-in toetsen). U ontvangt ze in uw gewone emailbox.
  • Een andere optie is dat studenten de zelftoetsen 'online' (via het Internet of het facultair netwerk) moeten maken (immers, de resultaten van de toets moeten weer bij u terug komen). U kunt dan resultaten overzichten opvragen, bekijken en bewerken in uw browser.
  • U kunt tentamens op papier laten maken, en met de computer laten nakijken (bijv. mbv schrapkaarten). In dat geval is alleen de verwerking van de toets gedigitaliseerd. Deze wijze van toetsing wordt veel toegepast.

Er zijn meer variabelen:

  • Gaat het in mijn zelftoetsing vooral om het toetsen van zaken die met taal en taalvaardigheid te maken hebben, dan zijn een aantal pakketten beter geschikt (bijv. het pakket van Swarthmore University).
  • Gaat het vooral om het toetsen van numerieke of zelfs algebraïsche problemen, dan is er wel keus, maar wordt het aanbod geringer (bijvoorbeeld de toetsmodule van WebCT).
  • Is het van belang dat u toetsen kan genereren uit een groter bestand of dat u toetsvragen op verschillende manieren wilt hergebruiken, dan zult uw keuze daar meer op af moeten stemmen (itembanking).
  • Is het voor u nodig dat u de toetsen zowel digitaal als op papier ter beschikking wilt stellen, dan bent u op dit moment helaas beperkt tot het programma Examiner.

Onderstaand is een tabel met criteria voor een toetsprogramma en de meest geschikt die daarvoor op dit moment beschikbaar zijn.

Resultaten registreren (online) Ook printbaar? Resultaten registreren (mail-in) Resultaten niet registreren
Algemeen geschikt Test.com (zeer beperkt uitlezen resultaten)

Interactivetest.com (alleen MC vragen, wel uitgebreide resultaten analyse)

QuestionMark Perception

TestPilot

Blackboard CourseInfo

WebCT

TestVision

 

Respondus voor Blackboard en WebCT

Interactivetest.com

 QuestionMark Perception

QuizMaker

QuestionMark

QuizMaker

Meer geschikt voor taalvaardigheidstoetsing (gaten vragen, aanvulvragen etc. uitgebreid nakijken fill-in vragen) .   QuizMaker Swarthmore

Hotpotatoes

Geschikt voor numerieke vragen

Examiner

QuestionMark Perception

TestPilot

WebCT

Civil Engineering Carlton University!

Etude TU-Delft

 

Examiner

QuestionMark Perception!

Examiner
Itembanking Examiner

QuestionMark Perception

TestVision

 

TestVision

Examiner

QuestionMark Perception

Examiner

QuestionMark

Aan het eind van dit document staan de URL's vermeld waar u meer informatie vindt over de genoemde toetssytemen. Er bestaan nog veel meer toetsprogramma's, maar in het bestek van deze bespreking laten we deze achterwege.

Nakijken van Word documenten

Er bestaan een aantal hulpmiddelen waarmee u digitaal tekstverwerkingsdocumenten kunt beoordelen:

  • Maak gebruik van de 'redigeerfunctie' in Word, dit registreert uw opmerkingen, wijzigingen e.d. in het na te kijken document (demo).
  • U kunt (daarbij) gebruik maken van de Word-plug-in WordMark. Dit is een macro die een knoppenmenu genereert waarmee het eenvoudiger wordt om veel gebruikte beoordelingstermen in de tekst te plaatsen (demo).
  • Een andere mogelijkheid is het gebruik maken van het programma Marking. Dit programma kan 'Rich Text Format' (RTF) inlezen. Dit is een bestandsformaat dat door bijna ieder tekstverwerkingsprogramma aangemaakt kan worden (via bijv. 'exporteren' of 'opslaan als'. U kunt dan via een knoppenmenu weer snel veel gebruikte beoordelingstermen in de tekst plaatsen. Het programma houdt het aantal opmerkingen dat u maakt bij. Onder aan de tekst genereert het meer algemene feedback of een beoordeling in punten. U kunt de nagekeken tekst weer als RTF bestand opslaan of als HTML bestand. Dit laatste formaat maakt alle fouten direct aanklikbaar (demo).

WWW links naar toetsomgevingen op het internet

WWW-referenties

ICT en toetsing
http://www.rug.nl/rc/organisatie/pictogram/archief/199908-4/toetsing.htm

Marking Student Work on the computer
http://www.aitech.ac.jp/~iteslj/Articles/Holmes-ComputerMarking/index.html
http://www.cict.co.uk/software/markin/index.htm

Column op de SURF educatief site van Prof. Cees van Vleuten, ook interessant zijn de reakties daarop.

Interessante voorbeelden van digitale toetsing van de TU-Eindhoven van Ruud van Vliet.

Zie ook op hun site.

 

 

 

Toetsen via het internet