De nationale test 2016 - hvor galt står det til? (5)

Den adaptive virkemåde i kontrakten om de nationale test

Baggrunden for valget af denne krævende adaptive testmetode er beskrevet i kontrakten om de nationale test i Bilag 3A - Løsningsbeskrivelse. Her kan man læse om den adaptive virkemåde, der blev foreslået af tjenesteyder (COWI). Ministeriet havde selv foreslået en anden model, men lod sig overbevise af tjenesteyders argumenter.

Testudviklerne hos COWI forklarer i kontraktens bilag, at ministeriets model for de adaptive algoritme er kendetegnet ved meget grove udsving omkring personens dygtighed.

Begrundelsen for den adaptive virkemåde

Testudviklerne mener, at deres model er bedre. De begrunder deres valg af adaptiv algoritme sådan:

”Brugen af den adaptive algoritme kan mere konkret begrundes med, at den adaptive algoritme søger hen i mod de items, som har en sværhed, der svarer til, at eleven har lige stor chance for at svare rigtigt eller forkert, dvs. man får mest mulig information om elevens standpunkt (mindst usikkerhed (SEM)).”

Den adaptive virkemåde hedder Benjamin D. Wright og G. A. Douglas’ adaptive algoritme. Når man bruger denne adaptive algoritme i en test, så vil man hurtigere nå frem til opgaver på elevens dygtighedsniveau, hvor eleven kan svare rigtigt på 50 % af opgaverne, forklarer testudviklerne.

Man finder ikke belæg for denne begrundelse i praksis

Men er det sådan, det ser ud i praksis - finder testene frem til de opgaver, hvor eleven har lige store chancer for at svare rigtigt eller forkert?

Øverst i denne artikel har jeg lavet en optælling på de elever i anden klasse, der besvarede mindst 15 opgaver. Jeg har kigget på svarmønsteret på opgaver 6 og frem - for at se, om testene finder frem til det niveau, hvor eleverne har lige stor chance for at svare rigtigt og forkert.

Testene lever ikke op til det lovede i kontrakten

Hvis testene levede op til det lovede i kontrakten, ville man finde overbevisende tegn på, at eleverne har lige stor chance for at svare rigtigt og forkert på disse opgaver sidst i prøveforløbet. Men ser det sådan ud? Mange kan ikke svare rigtigt på 40 % af opgaverne og nogle svarer rigtigt på over 60 % af opgaverne.

Det er svært at få øje på, at testene har fundet frem til de opgaver, der passer til eleverne. Egentligt ser det hele temmelig tilfældigt ud.