De Interuniversitaire Taaltest Nederlands voor Anderstaligen (ITNA) is een objectief meetinstrument dat op een valide en betrouwbare manier weergeeft of de kandidaat beantwoordt aan taalcriteria voor het hoger onderwijs. De test gaat na of minimaal het B2-niveau van het Europees Referentiekader voor Talen (ERK) wordt bereikt.
Bij de ontwikkeling van de ITNA wordt veel belang gehecht aan een onderbouwde testmethodiek. De ITNA wordt hier beschreven op basis van de minimumstandaarden die de Association of Language Testers in Europe (ALTE) gebruikt om een test te beoordelen.
1. Testconstructie
De constructie van de ITNA kenmerkt zich door een continu evaluatieproces van alle onderdelen van de testconstructie.
De testontwikkeling stoelt op het socio-cognitieve model van Wier en O’Sullivan*. In dit model staan kandidaat, testsysteem en het scoreproces centraal. Het laat toe een computertest met afzonderlijke items te combineren met een meer taakgerichte benadering in de productieve testen.
De relevantie van elk vraagtype voor de reële gebruikssituatie en de authenticiteit van het gebruikte materiaal zijn van groot belang bij het operationaliseren van het testdoel. Twee voorbeelden kunnen deze principes illustreren: (1) de relevantie van de presentatietaak bij het mondelinge deel omdat die opdracht vaak voorkomt in het (eerste jaar) hoger onderwijs en (2) de authentieke lees- en luisterteksten uit de computertest.
Alle testtypes en -vragen worden nauwkeurig ontwikkeld, geëvalueerd en gepretest. De testitems worden kwalitatief getest op een aantal proefpersonen via een think aloud protocol (Morae-software), dat inzicht geeft in mogelijke verbeteringen voor de test. Ook de relevantie van de testvragen voor het testdoel kan op die manier worden bevraagd.
Anderzijds worden de testitems intensief gepretest in verschillende pilootversies. Een representatieve steekproef van potentiële deelnemers legt de test af, zodat de testitems statistisch kunnen worden geverifieerd via een klassieke itemanalyse, via item-moeilijkheid en item-betrouwbaarheid. Op basis van die analyse worden de vragen verder aangepast.
De verschillende versies van de test zijn gelijkwaardig qua inhoud en moeilijkheidsgraad. Voor elke testafname wordt er een randomselectie gemaakt uit een vragenpool.
De ITNA-ontwikkelgroep beschrijft in detail welke descriptoren van het ERK worden geoperationaliseerd. Bijkomend onderzoek gaat na of deze niveaubepaling correct is. Zo werd bijvoorbeeld in 2009 vastgesteld dat de computertest van de ITNA een hoge correlatie heeft met het vergelijkbare deel van het profielexamen Taalvaardigheid Hoger Onderwijs van het Certificaat Nederlands als Vreemde Taal.
2. Testafname en logistiek
De testafname is gelijkvormig binnen de verschillende centra die de test afnemen. Hiertoe volgen testafnemers een gedetailleerd protocol.
De verzamelde testgegevens worden vertrouwelijk behandeld en geanonimiseerd bij gebruik voor onderzoeksdoeleinden.
De testitems worden bewaard in databanken die met een paswoord zijn beveiligd. De ontwikkelgroep waakt erover dat de vragen steeds confidentieel worden behandeld.
De test voorziet adequate voorzieningen voor deelnemers met speciale noden, bv. dyslexie.
3. Beoordeling en normering
De beoordelaars van de productieve taken van de ITNA zijn ervaren taaldocenten. Voor deze beoordeling volgen ze een gedetailleerde beoordelaarsmatrix.
Vooraleer docenten kunnen starten als beoordelaar, volgen ze een training. Ze scholen zich ook jaarlijks bij tijdens een examinatorentraining.
Gegevens van de beoordelingen worden verzameld voor statistische analyse en onderzoek.
4. Toets- en itemanalyse
Er wordt bij de ITNA nauwgezet toegekeken op het vermijden van gevoelige onderwerpen. We onderzoeken of testresultaten niet worden beïnvloed door factoren als moedertaal, land van herkomst, geslacht of leeftijd.
Een grondige postanalyse van de bestaande items, met o.a. een Cronbach’s Alpha van minimum 0.90, wijst uit dat de test een betrouwbare indicatie geeft van het niveau van de deelnemer.
Bovendien hebben berekeningen bevestigd dat de versies van de test een gelijkwaardige moeilijkheidsgraad hebben.
De interbeoordelaarsovereenkomst voor de mondelinge test werd ook onderzocht en we kunnen daar een correlatie van meer dan 0.90 aantonen. Waar de twee beoordelaars het niet eens zijn, wordt een derde beoordelaar ingeroepen.
5. Communicatie met belanghebbenden
De examenresultaten worden snel en helder gecommuniceerd aan de kandidaten. Er wordt ook de nodige informatie gegeven om hen te helpen de examenresultaten te interpreteren en op juiste wijze te gebruiken.
De website informeert belanghebbenden over het doel en de te volgen inschrijfprocedures van de ITNA. Daarnaast beschrijft de website de inhoud van de test en de vraagtypes in detail.
De ITNA-ontwikkelgroep doet onderzoek naar verschillende deelaspecten van de test en presenteert de resultaten van dat onderzoek op nationale en internationale congressen.
* O’Sullivan, B. & Weir, C. (2011). The Test Development & Validation. In Barry O’Sullivan (ed) Language Testing: Theory & Practice. Oxford: Palgrave.