Toets der kritiek

(Dit is het eerste deel van een presentatie over toetsing, uitgesproken op Windesheim op 8 november 2011. De volledige powerpoint is hier aan treffen)

Kan het hoger onderwijs, en dan met name het hoger beroepsonderwijs, de toets de kritiek nog wel doorstaan? Als we de media en de publieke opinie mogen geloven, dan is er daadwerkelijk wat mis in het hoger beroepsonderwijs. Overigens komen die signalen niet alleen van buiten. Ook van binnen zijn er klachten en is er kritiek. Klachten van docenten over steeds dommer wordende studenten, klachten van examencommissies die steeds zich steeds vaker over fraudegevallen moeten buigen, maar ook klachten van studenten over taalfouten in tentamens.

Hoewel de kritiek niet nieuw is, lijkt deze wel hand over hand toe te nemen. En alvorens wat dieper op de toetsing in te gaan wil ik u even mee terug nemen in de recente geschiedenis.

Een aantal jaren geleden lag hogeschool InHolland, de mega-instelling die door Jos Elbers op de pijlers van een aantal hogescholen in het westen van het land werd gebouwd, al stevig onder vuur. Reden voor de inspectie om een onderzoek in te stellen naar deze hogeschool. 

De inspectie concludeerde dat er inderdaad veel mis was bij InHolland. Maar toch was niet alles slecht. Zo deed juist op het aspect dat nu zo onder vuur ligt, de toetsing, InHolland het – althans naar oordeel van de visitatiecommissies – beduidend beter dan het gemiddelde hbo.

Dat is een jaar of zes later wel anders. Elbers is weg en zijn opvolger, Doekle Terpstra mag het puin ruimen. Wat dat er sprake is van puin, dat is wel duidelijk. Een kop als “diploma InHolland ongeldig” blijft hangen en dreunt enorm na.

Als snel werd InHolland afgeschilderd als een plek waar diploma’s te koop zijn. Voor een paar euro. Nu is het zeker zo dat er wat aan de hand is bij InHolland. Maar van het te koop zijn van diploma’s is natuurlijk nooit sprake geweest. En is het mis bij alle opleidingen?

Zeker niet. Er zijn opleidingen aan InHolland waar ik mijn hand voor in het vuur durf te steken, zoals de accountantsopleiding in Alkmaar. Maar al deze opleidingen hebben last van  “de naam”. De accountantsopleiding in Diemen bijvoorbeeld heeft, zo heb ik vernomen, dit jaar een instroom van 7 studenten. En alle 7 met een bindend negatief studieadvies van de HvA.

De beeldvorming leidt tot een enorme imagoschade. 

En is het alleen bij InHolland mis? Nee, want in het kielzog van InHolland kwamen ook andere hogescholen negatief in het nieuws. Ook daar zou het goed mis zijn.

Dit mediarumoer was onder meer gebaseerd op een onderzoek van de inspectie naar alternatieve afstudeertrajecten. Dat het hier primair ging om alternatieve trajecten bij een beperkt aantal opleidingen werd veelal vergeten. De misstanden werden geprojecteerd op het gehele hbo. Maar wat niet ontkend kan worden, is dat bij  alle onderzochte opleidingen wat mis was. 

In haar rapport “ALTERNATIEVE AFSTUDEERTRAJECTEN EN DE BEWAKING VAN HET EINDNIVEAU IN HET HOGER ONDERWIJS” (april 2011) maakte de inspectie onderscheid in een viertal categorieën.

De onderzochte opleidingen werden als volgt over de categorieën verdeeld:

En hoewel zeer zwak alleen voorkomt bij InHolland, komen opleidingen van hogescholen die zich graag tot de top van het land rekenen, in het lijstje voor als “zorgelijk”. Bovendien scoorden alle opleidingen die onderzocht zijn onder de groene maat.

Ter nuancering een citaat uit het voorwoord van het rapport:

“Dit rapport biedt geen totaalbeeld van de situatie in het hoger beroepsonderwijs, laat staan het gehele hoger onderwijs. De aard van het onderzoek brengt namelijk met zich mee dat vooral risicovolle alternatieve (afstudeer)trajecten zijn onderzocht. Wel stellen wij vast dat het stelsel van interne en externe kwaliteitsvoorzieningen op dit moment niet altijd kan garanderen dat zwakke plekken tijdig worden gesignaleerd en gecorrigeerd, en dat ook het accreditatiestelsel hier kennelijk niet altijd in kan voorzien. Het onderzoek leert dat instellingen de naleving van de Wet op het hoger onderwijs moeten verbeteren. Er lijkt breder in het bekostigd hoger beroepsonderwijs onvoldoende discipline in de naleving van wettelijke voorschriften die essentieel zijn voor de bewaking van het afstudeerniveau.” 

Maar dat neemt niet weg dat het gehele hbo onder vuur kwam te liggen. En misschien heeft de schreeuwsite Geenstijl.nl wel een punt als zij de hbo-accreditatie een wassen neus noemt. Want was het niet Karl Dietrich die ooit zei: “Een accreditatie zegt niet zozeer iets over de kwaliteit van de opleiding als wel over de wijze waarop de opleiding zich op de accreditatie heeft voorbereid”? Waar rook is is vuur, en als het hoger beroepsonderwijs onder vuur ligt, is dat een probleem waar wij allen mee te maken hebben.

Want was het vroeger dan zoveel beter? In 1940 stelde Kees Posthumus zijn wet op, die wel wordt samengevat met de zin “En uiteindelijk slaagt 75%”. Niet het niveau van het geleverde werk, maar de vastgeroeste verdeling is bepalend voor slagen of zakken. De vastgeroeste verdeling, die voor ons docenten een norm zou zijn, waar we naar toe zouden werken. Onbewust wellicht, maar wel – in elk geval statistisch – aantoonbaar.

Ruim 25 jaar later schreef AD de Groot zijn schotschrift “Vijven en zessen”. Op basis van een analyse van 26000 cijfers op kerstrapporten van 2000 leerlingen, van 150 leraren op 6 scholen, concludeert hij dat de 6 is oververtegenwoordigd boven de vijf. “De clementie van de leraar in beeld” en een bevestiging van de wet van Posthumus, al toonde de Groot wel aan dat bij verschillende opleidingen de ‘75 %” in “uiteindelijk slaagt 75 %” kon variëren: het kon hoger of lager uitvallen.

De oververtegenwoordiging van de 6 in beeld. De rode balken geven de theoretische verdeling aan: de normale verdeling die hoort bij dezelfde standaarddeviatie en hetzelfde gemiddelde. De andere balk is het empirisch gevonden resultaat. Wat De Groot nog omschreef als “de clementie van de leraar” en wat tien jaar geleden nog als “genadezesje” voor het leven ging, zouden we thans waarschijnlijk anders noemen, waarbij het woordgebruik heel wat negatievere beelden oproept. De clementie van de leraar is niet nieuw, maar staat tegenwoordig in een heel ander daglicht. Niet in het licht van de oude vertrouwde meester die met een gul gebaar zich over het hart streek en de leerling het voordeel van de twijfel gunde, maar het licht van de frauderende onderwijsinstelling die diploma’s cadeau geeft.

(Overigens is dat voordeel van de twijfel ook reëel, althans statistisch: bij een toets waarvoor 30 % zakt en die een betrouwbaarheid heeft van 0,8, is het percentage onzekere slaag-zakbeslissingen 16; neemt het percentage zakkers toe – tot de grens van 50 % - dan wel de betrouwbaarheid af, dan kan het percentage onzekere beslissingen oplopen tot 30 % of zelfs meer.)

Hans Fischer stelt in een artikel bij het overlijden van De Groot in het vakblad van Beter Onderwijs Nederland (2006), dat er nu een situatie is van steeds meer leerlingen die een havo- of vwo-diploma halen. En die steeds meer leerlingen stromen door naar het hoger onderwijs, dat op haar beurt roept dat de kwaliteit van de instroom daalt. Nu blijven dat soort uitspraken gevaarlijk (we roepen al immers sinds Plato dat de jeugd dommer wordt), de realiteit van een toenemende instroom is er natuurlijk wel. 

En dat is het –politieke- beleid. De helft van Nederland moet hoog opgeleid zijn, zo is het beleid. Dit is alleen maar te realiseren door een grotere instroom in het hoger onderwijs. En als die instroom van lagere kwaliteit is, dan moeten, Posthumus en de Groot in het achterhoofd hebbend, de normen die we hanteren voor slagen en zakken, vanzelf wel dalen. Nogmaals, ik beweer niet dat de instroom van lagere kwaliteit is, maar tegelijkertijd zien we in het algemeen in het hbo daar wel voorbeelden van: steeds minder vwo-ers kiezen voor het hoger beroepsonderwijs, steeds meer mbo-ers studeren verder.

Bovendien waren er financiële prikkels voor onderwijsinstellingen om zo veel mogelijk studenten zo snel mogelijk af te laten studeren. En die prikkels hebben ongetwijfeld her en der geleid tot routes en varianten die misschien niet altijd even doordacht en verantwoord waren. En die prikkels maken natuurlijk hogescholen verdacht. 

En als ze eenmaal, zoals InHolland, zijn afgeschilderd als onderwijsfabrieken  waar, zoals Jos Elbers werd afgeschilderd, graaiers aan het hoofd staan, dan liggen ongenuanceerde en waarschijnlijk ook voor een groot deel onterechte conclusies als “gratis diploma’s” voor de hand.

Het “genadezesje” is geen “genadezesje” meer, het genadezesje is fraude geworden van een bijna als corrupt afgeschilderd systeem. Niet alleen InHolland, maar het gehele hbo staat onder druk. 

De universiteiten lijken nog buiten schot te blijven, al lijkt daar, in elk geval bij bepaalde opleidingen, toch ook wel wat mis. Zoals deze oproep van een oud-studente van onze bacheloropleiding, die in de master accountancy dezelfde casussen moet uitwerken als bij ons op het hbo, aantoont. De vraag is hoe lang het duurt voor dergelijke signalen ook opgepakt worden. 

 

Zo verbaasde ik me erover dat er weinig roering onstond over dit persbericht. En dan bedoel ik niet de kop. Nee, het feit dat 140 studenten op hetzelfde onderzoek kunnen afstuderen. Als ik dan kijk naar de dublin-descriptoren, dan vraag ik me toch daadwerkelijk af, hoe het mogelijk is dat 140 mensen TEGELIJKERTIJD op hetzelfde onderzoek afstuderen. Als dit in het hbo was gebeurd, hadden de kranten er ongetwijfeld mee vol gestaan.

De realiteit van vandaag is echter dat met name het hbo onder een zware druk staat.

•Er is veel kritiek op de kwaliteit van toetsing in het hoger onderwijs.

•Kritiek is er op het eindniveau maar (vooral) ook op de naleving procedures en de wet (zie ook het eerder aangehaalde inspectieonderzoek).

•Vanuit bijvoorbeeld het College van Bestuur worden steeds striktere eisen gesteld. En hoewel ik daar op een bepaalde manier last van heb, kan ik het ook begrijpen. Er staat te veel op het spel.  

•Het is cruciaal dat we alles kunnen verantwoorden  wat we doen. En dat betekent onder meer dat het professional judgement van de docent niet meer als toereikend gezien wordt, juist omdat dit professional judgement aan twijfel onderhavig is.

•Toetsen en zeker ook de borging van het eindniveau zullen in de aankomende accreditaties een zeer belangrijke rol spelen. Zeker ook de afstudeeropdracht zal hierin een belangrijke rol spelen. De NVAO heeft hier criteria voor ontwikkeld, maar die schijnen niet openbaar te zijn. Overigens vermoed ik dat het rapport van bevindingen van de NVAO naar aanleiding van het onderzoek bij InHolland, hiervoor wel aanwijzingen geeft, en dan met name bijlage 2 van dit rapport.

•We zullen niet alleen de onvoldoendes en voldoendes moeten kunnen verantwoorden. Ook onderscheid  de 6 en de 7 moeten we uit kunnen leggen.

•Het kan altijd beter. Dat weten we.

•Maar weten hoe het moet is nog niet altijd doen zoals het moet.

We zullen verder moeten werken aan een verbetering van onze toetskwaliteit. Niet omdat we het slechter doen dan vroeger, maar omdat de eisen die gesteld worden toenemen en omdat we koste wat het kost moeten voorkomen dat het hoger onderwijs verder onder vuur komt te liggen. Het verbeteren van onze toetskwaliteit is volgens mij dan ook één van, zo niet het, speerpunt voor het hbo.

Hierbij gaat het om het toetsen op zich, maar ook om het houden aan de regels. Hiervoor verwijs is terug naar het inspectierapport, waarin geconcludeerd is dat geen enkele onderzochte opleiding volledig aan de wet voldoet.