Blog

Toets & Leer in het nieuws

Toets & Leer stond vandaag opeens vol in de belangstelling van de pers. Zijn we niet echt gewend. Meestal doen we gewoon stilletjes ons ding…

Een overzicht met links naar enkele artikelen die vandaag verschenen:

En ook de magazines van de hogescholen zelf schreven er over, bijvoorbeeld bij Hogeschool Rotterdam:

Tentamendatabase niet bedoeld om fraude tegen te gaan

Overigens is het goed om te weten dat de bal is begonnen te rollen bij onze Toets & Leer-partner Saxion. En dat was naar aanleiding van het onderwerp fraude — beluister vooral het einde van het audiofragment in het stuk van De Gelderlander — dus vandaar dat je ziet dat de fraude-insteek in de meeste stukken overheerst.

We zijn er in de loop van de dag ten dele in geslaagd om óók het belang van digitaal kunnen oefenen (oefentoetsen) over het voetlicht te brengen. Dat vinden wij voor onze studenten van minstens zo groot belang.

‘Beheerder’ enige verplichte vraageigenschap

Dit bericht is vooral bedoeld als mededeling voor auteurs die voor Toets & Leer vragen ontwikkelen in RemindoToets.

Bij het aanmaken van nieuwe vragen in RemindoToets hebben we tot nu toe altijd het toevoegen van vijf eigenschappen — ook wel labels of tags genoemd — verplicht gesteld. Zonder deze eigenschappen konden vragen niet de status ‘goedgekeurd’ krijgen.

Deze situatie is sinds kort veranderd. Het coördinatieteam van Toets & Leer heeft namelijk besloten om vanaf 1 juni 2015 nog maar één eigenschap verplicht te stellen.

Verplichte eigenschap: beheerder

De eigenschap ‘beheerder’ is voortaan de enige eigenschap die moet worden toegevoegd aan iedere vraag in RemindoToets. Zonder deze eigenschap kan een vraag niet goedgekeurd worden.

Dialoogvenster beheerder toevoegen

Het doel van de eigenschap ‘beheerder’ is van iedere vraag te weten bij welke hogeschool van Toets & Leer het beheer ligt van de vraag. Dit heeft twee voordelen:

  1. Als een vraag ‘onderhoud’ behoeft, bijvoorbeeld moet worden gerepareerd of geactualiseerd, dan is duidelijk wie als eerste aan zet is.
  2. Het helpt om de realisatie van nieuw te ontwikkelen nieuwe vragen te bewaken, en dan met name de afgesproken verdeling hiervan tussen de hogescholen — kortom, haalt iedere hogeschool zijn ‘productiedoelstelling’?

Let wel, de term ‘beheerder’ heeft in RemindoToets en binnen Toets & Leer geen enkele juridische lading en is dus niet bedoeld om intellectueel eigendom van de vragen vast te leggen.

Niet langer verplichte eigenschappen

De eigenschap ‘houdbaarheid’ is niet langer verplicht om toe te voegen aan een vraag. Gebruik deze eigenschap bijvoorbeeld wel als er een reële kans is dat de inhoud van de vraag binnen een half jaar of een jaar ‘verouderd’ kan zijn of om een andere reden opnieuw bekeken moet worden. Als deze eigenschap ontbreekt, dan gaan we ervan uit dat de vraag minimaal twee jaar ‘houdbaar’ is.

De eigenschap ‘BTW-gevoelig’ is voortaan alleen zichtbaar in de vragenbank bedrijfsadministratie (BA). Het idee achter deze eigenschap was om vragen met een btw-percentage erin in één keer kunnen isoleren om ze te actualiseren in het geval van een btw-aanpassing. Door de zoekfunctie binnen RemindoToets is het gebruik van deze eigenschap voor dit doel niet langer nodig.

De eigenschap ‘trefwoord’ tot slot was al nooit verplicht, maar wordt hier voor de volledigheid toch genoemd. Het opgeven van een of meerdere trefwoorden zou eventueel het filteren van vragen makkelijker kunnen maken. Hiervoor kan in de meeste gevallen echter ook het normale zoekveld in RemindoToets gebruikt worden.

Vervallen eigenschappen

De eigenschappen ‘leerdoel’ en ‘toetsterm’ zijn helemaal komen te vervallen. Als auteur van vragen zul je deze eigenschappen dus niet meer tegenkomen. Personen met de rol van ‘beheerder’ in de beheeromgeving (toetsmanager) van RemindoToets zullen deze eigenschappen nog wel kunnen zien.

De eigenschappen ‘leerdoel’ en ‘toetsterm’ hadden ooit als doel om de eventuele export van vragen naar een ander toetssysteem te vergemakkelijken. Inmiddels is duidelijk dat dit doel beter op een andere manier kan worden bereikt. Een manier die de auteurs van vragen niet onnodig belast met extra muiskliks.

Column SURFspace

Docent bedrijfsadministratie Marten Bruining van Saxion Hogeschool heeft voor SURFspace een gastcolumn geschreven. Met zijn toestemming hebben we deze hieronder overgenomen.


Hogere slagingspercentages. Behoud van kwaliteit. Zonder additionele personele inzet. Natte droom of realiteit?

Herinnert u zich nog de ophef over de voortschrijdende robotisering die steeds meer banen weg rationaliseert? U als docent kon evenwel gerust zijn, de kans dat uw functie hierdoor bedreigd zou worden, was nagenoeg nihil. Een prettige boodschap? Stop dan nu met lezen.

Twee jaar geleden zijn wij gestart met het aanbieden van online oefenmateriaal aan onze eerstejaars bedrijfsadministratie studenten. Bestaande uit oefeningen met circa 12 vragen die telkens een bepaald thema[1] behandelen. Na beantwoording van een vraag wordt de student hierbij direct voorzien van vakinhoudelijke feedback.

De resultaten

  • In het collegejaar 2012/13 (‘nulmeting’) was het slagingspercentage voor bijbehorende summatieve toets 41%.
  • In het daarop volgende jaar 2013/14, waarin voor het eerst het online materiaal werd aangeboden, bedroeg dit 52%. 66% van de studenten ging toen online aan de slag.
  • In de afgelopen periode mochten we een slagingspercentage van 59% optekenen. Inmiddels weet 82% van de studenten het online oefenmateriaal te vinden.
  • Kans van slagen voor de (ook) online oefenende student: 62%.
  • Voor zijn niet online oefenende collegastudent: 40%.

Zeker, de criticaster heeft gelijk wanneer deze stelt dat het ene cohort studenten ‘sterker’ is dan het andere. En waarschijnlijk zal een goede, goed gemotiveerde student inderdaad per definitie eerder gebruik maken van dergelijk oefenmateriaal dan zijn ‘zwakkere’ broeder.

Dus wat is dan het netto-effect van de inzet van het online oefenmateriaal? Het antwoord op deze vraag moet ik u schuldig blijven.

Onverlet blijft evenwel dat ruim 300 studenten online meer dan 47.000 vragen hebben doorgeakkerd, inclusief bijbehorende vakinhoudelijke feedback. Rooster daar maar eens face-to-face werkcolleges voor in…

Journaalposten digitaal toetsen

‘Pfff, gelukkig kan ik mijn broodwinning dan altijd nog zekerstellen met de toetsing en bijbehorende correctie. Want journaliseren is en blijft een vaardigheid en deze kan alleen met behulp van open vragen betrouwbaar getoetst worden.’

Sorry, mag ik u opnieuw vragen om te denken?

Er zijn verschillende gradaties aan te geven bij boekhoudkundige meerkeuzevragen.

  • Het meest eenvoudig is het vraagtype waarbij de student kan kiezen uit een aantal gegeven journaalposten. Dit type zit vooral op ‘het herkennen van’.
  • Een groter beroep op de boekhoudkundige vaardigheden wordt al gedaan bij het vraagtype waarbij de student de keuze moet maken uit antwoordalternatieven bestaande uit enkelvoudige journaalpostregels (‘welke journaalpostregel maakt deel uit van de boeking van’).
  • En bij het volgende vraagtype is de student volledig aangewezen op zijn/haar feitelijke beheersing van journaliseren:

Afbeelding bij column SURFspace Marten Bruining

Ergo, toetsing en beoordeling van vaardigheden kan de machine ook prima doen.

En tot overmaat van ramp bestaan er in de onderwijstoetskwaliteitswereld bovendien hardnekkige geruchten dat de robot dit ook nog eens kwalitatief beter zou doen. De machine lijdt immers niet aan subjectiviteit en produceert met de spreekwoordelijke druk op de knop prachtige RIT- en Cronbach’s Alpha waarden.

In uw defensie merkt u wellicht op dat de IT-faciliteiten van uw instelling nooit toereikend zullen zijn om op grote schaal meerkeuzevragentoetsen af te nemen. Om over de veiligheidsissues nog maar te zwijgen. U heeft gelijk. Dergelijke investeringen in IT zijn inderdaad enorm en waarschijnlijk zijn we ook nog ver verwijderd van een deugdelijke beveiliging. Alhoewel, waarom überhaupt digitaal willen afnemen wanneer een schriftelijke afname in combinatie met print-to-scan van de antwoordbladen een alternatief vomt dat zich in de praktijk bewezen heeft als goed en goedkoop?!

Oproep

Collega’s ba-docenten, laten we de robotisering dus vooral omarmen! Ze faciliteert een hogere onderwijskwaliteit en speelt ook nog eens personele capaciteit vrij. Personele capaciteit die ingezet kan worden bij de verdere modernisering van het bedrijfsadministratie-onderwijs.


 

[1] Okay, toegegeven, een hoofdstuk uit Boekhouden Geboekstaafd.

Toets & Leer in SURF-video over digitaal toetsen

In het najaar van 2014 heeft SURF ter gelegenheid van de pre-conferentie Digitaal Toetsen een video laten maken onder het motto “De innovatieve kracht van digitaal toetsen”. In de video zijn mooie voorbeelden te zien van digitaal toetsen, zoals toetsen met beelden voor radiologen in opleiding en de zogenoemde statistiekfabriek. In de video wordt vanaf minuut 1:33 ook aandacht besteed aan het gezamenlijk ontwikkelen van toetsvragen bij Toets & Leer. Docent bedrijfseconomie Simon Cornet van Hogeschool Rotterdam legt het voordeel van de samenwerking uit.

Vragenbank marketing in ontwikkeling

Toets & Leer is in het najaar van 2014 begonnen met de ontwikkeling van een derde vragenbank. Naast de bestaande vragenbanken voor bedrijfsadministratie (boekhouden) en bedrijfseconomie wordt nu ook gewerkt aan een vragenbank voor het vakgebied marketing.

Zoals gebruikelijk wordt eerst gestart met het opstellen van een lijst met onderwerpen waarvoor vragen ontwikkeld moeten gaan worden. We volgen hierbij de wensen van de docenten marketing. Als de onderwerpen duidelijk zijn, dan is de volgende stap het opstellen van leerdoelen en toetstermen. Een toetsterm kan gezien worden als een concretisering van een leerdoel. Uiteindelijk worden alle toetsvragen in de vragenbank gekoppeld aan een toetsterm.

Een voorbeeld van een combinatie van onderwerp, leerdoel en toetsterm:

[panel style=”panel-success”]
[panel-header]
Onderwerp
[/panel-header]
[panel-content]
Ontwikkeling van marketing
[/panel-content]
[panel-header]
Leerdoel
[/panel-header]
[panel-content]
Je kunt verschillende stadia in het denken over marketing onderscheiden.
[/panel-content]
[panel-header]
Toetsterm
[/panel-header]
[panel-content]
Je kunt in een gegeven situatie uitleggen of er sprake is van productieoriëntatie, productoriëntatie, verkooporiëntatie, marktoriëntatie of maatschappelijke marktoriëntatie.
[/panel-content]
[/panel]

Als de lijst met toetstermen volledig genoeg is, dan zal worden gestart met het daadwerkelijk ontwikkelen van toetsvragen. Hiervoor wordt net als bij de vragenbanken voor bedrijfsadministratie en bedrijfseconomie gebruik gemaakt van de gemeenschappelijke vragen- en toetsmanager in RemindoToets. Docenten marketing van alle bij Toets & Leer aangesloten hogescholen kunnen dan direct zien welke vragen er beschikbaar zijn. En zij kunnen natuurlijk ook bijdragen aan de ontwikkeling van nieuwe vragen.

Schermafdruk van selectie van vragenbanken in RemindoToets
Binnenkort ook beschikbaar in RemindoToets: een vragenbank voor marketing

Samenwerking Toets & Leer bekrachtigd

Ondertekening samenwerkingsovereenkomst | Foto: Michiel van Geloven
Ondertekening samenwerkingsovereenkomst | Foto: Michiel van Geloven

Tijdens de preconferentie Digitaal toetsen op 10 november 2014 hebben de vijf hogescholen van Toets & Leer hun samenwerking officieel bekrachtigd. Na van 2012 tot in 2014 te hebben samengewerkt in het SURF-subsidieproject ToetsBaBe — dat was de korte naam voor Toets- en vragenbank Bedrijfsadministratie en Bedrijfseconomie — hebben de bestuurders nu getekend voor een voortzetting van de samenwerking tot in ieder geval 2017.

De hogescholen die met elkaar blijven samenwerken aan de ontwikkeling van digitale (oefen)toetsvragen zijn:

  • De Haagse Hogeschool
  • Hogeschool Rotterdam
  • Hogeschool Utrecht
  • Hogeschool van Amsterdam
  • Saxion Hogeschool

Toets & Leer richt zich in 2014 en 2015 op uitbreiding van de vragenbanken voor de oorspronkelijke twee vakgebieden: bedrijfsadministratie (boekhouden) en bedrijfseconomie. Daarnaast wordt een begin gemaakt met het opbouwen van een vragenbank voor het vakgebied marketing.

Project ToetsBaBe succesvol afgesloten

Op 30 september is met een presentatie bij SURF de projectfase van ToetsBaBe formeel afgesloten. De Commissie Projectbewaking van SURF heeft geoordeeld dat het project aan de afgesproken doelen en verplichtingen heeft voldaan. Sterker nog, naar zeggen van sommige commissieleden was ToetsBaBe een van de topprojecten binnen het subsidieprogramma Toetsing en Toetsgestuurd Leren. Dank voor dit compliment!

Er zijn nu nog een paar administratieve zaken om af te handelen en daarna is het over met het project ToetsBaBe. Over, maar niet uit. Want, we gaan eigenlijk gewoon verder. Onder de nieuwe naam Toets & Leer blijven we ons inzetten voor de oorspronkelijke doelen van het project: verhogen van het studiesucces van studenten en het verminderen van de werkdruk voor docenten.

Benieuwd naar de presentatie? Zie dan hieronder.