Opgavernes sværhed – en mulig fejlkilde i de nationale test?

Der har været store tekniske problemer med de nationale test, men dette er ikke genstanden for mit indlæg. Jeg skriver om problemer med resultaternes troværdighed: Kan man stole på, at de nationale test giver en vurdering af eleven, der ikke er præget af tilfældigheder?

Som bekendt er det nationale test adaptive, det vil sige at testen tilpasses den enkelte elevs svarmønster undervejs i testforløbet. Dermed er elevens testforløb individuel designet, og efter testen må resultatet udregnes på basis af de tilbudte opgavers sværhedsgrad og elevens svar på disse opgaver.

Men hvordan har disse opgaver fået tildelt deres sværhedsgrad? Undervisningsministeriet oplyser, at omkring 500-700 børn har afprøvet opgaverne for at give opgaverne deres sværhedsgrad. Det er ikke muligt at få oplyst nærmere hvordan denne afprøvning er sket. Jeg har fået oplyst "Der indgår 20-36 opgaver i et opgavesæt til afprøvning afhængigt af deres tidskrav. En afprøvning er planlagt til at tage ca 30 min. Opgaverne præsenteres tilfældigt overfor respondenten. En opgave består af et eller flere items - normalt ikke flere end 5-7."

Det er ikke muligt at få at vide, hvordan ubesvarede opgaver er blevet vurderet, når der er udregnet opgavesværhed på basis af svarmønsteret i afprøvningsfasen. Det er derfor tænkeligt, at nogle elever ikke nåede alle opgaver, og at nogle opgaver derfor blev vurderet som meget svære – alene fordi de stod sidst i opgavesættet.

Georg Rasch har fortalt, at opgavernes rækkefølge kan have betydning for deres oplevede sværhedsgrad. Noget af den berømte forskers banebrydende arbejde et tilknyttet udviklingen af forsvarets intelligenstest BPP, og her skriver Børge Prien om Georg Rasch’ statistiske analyser:

”Det viste sig, at en opgaves løsningsfrekvens var afhængig af opgavens plads i forhold til andre opgaver. Det var, som om hver opgave befandt sig i et opgavemiljø, og blev den flyttet ud af det, skiftede den karakter. Vi prøvede i et af opgavesættene at sætte samme opgave ind 2 forskellige steder; den fik vidt forskellig løsningsfrekvens. Løsningsfrekvensen var langt mindre, når opgaven blev placeret langt henne i sættet; man havde da åbenbart indstillet sig på, at nu var det svært. Det var ikke fordi, man ikke nåede så langt; vi gav nemlig ubegrænset tid.”

I de nationale test er opgavernes rækkefølge individuelt bestemt. Derfor er det vigtigt at vide, om der er taget hensyn til den mulige effekt i opgavernes rækkefølge ved fastlæggelse af sværhedsgrad. Desværre er det ikke muligt at få oplyst, hvordan opgaverne har været grupperet og i hvilken rækkefølge, de er blevet præsenteret for eleverne i afprøvningsfasen. Det ville være et spændende emne at tage op i et kommende forskningsreview af testene