Kvalitet og brugertest af screeningsværktøjet

Kvalitetssikring omkring screeningsværktøjet bestod dels af en kvalitetsproces, dels af udførlige brugertests.

Kvalitetskrav

Udviklingen af screeningen blev fra starten underlagt en række kvalitetskrav, der er udviklet af eVidenCenter igennem en lang række projekter, hvoraf udviklingen af De Nationale Test til grundskolen er det mest omfattende.

Kvalitetskravene opfyldes i forbindelse med gennemførelse af udviklingsprocessen efter følgende procedure:

Kvalitetssikringsmetode ved konstruktion af test

Ved hjælp af metoden blev undervisningsmålene fra B2 først grupperet i områder. Disse områder blev herefter omformet til testmål, der hver især kun beskriver en færdighed eller et vidensmål. Hvert testmål blev dernæst omsat til en række opgaver, der har til formål at teste det enkelte testmål.

Opgaverne blev ved hjælp af en række kvalitetsfaktorer for design af test (indgår i testmanualen) samt et udbud af forskellige digitale testopgaveskabeloner omsat til et testformat i en opgaveskabelon. Den enkelte opgaves konstruktion er dokumenteret i en test-drejebog.

Der blev udviklet i alt 29 testmål og i alt 124 testopgaver.

Testforløb

I arbejdet med at udvikle screeningsværktøjet har det været testet gennem flere intensive forløb. De to sidste i større skala.

Forår 2014: Her gennemførtes en pilottest med 4 skoler involveret. 86 elever blev testet mhp. afprøvning af, om de enkelte testopgaver fungerede, eller om visse af opgaverne blev besvaret uhensigtsmæssigt i forhold til testmålene. De 124 testopgaver blev fordelt på 4 sæt af ca. 40 testopgaver og hver afprøvet i en klasse.

På baggrund af denne afprøvning blev udvalgt i alt 60 opgaver til den endelige afprøvning.

Efterår 2014: 27 skoler var involveret, og mere end 2700 elever gennemførte testen i afprøvningsprocessen. Skolerne meldte sig frivilligt, men i tildeling af testsæt til afprøvning sikredes det, at afprøvningen blev repræsentativ på både skolestørrelse, geografisk fordeling, faglig indgang, samt sikkerhed for, at der indgik både etnisk danske og tosprogede elever.

Yderligere 23 skoler havde meldt deres interesse, men en del faldt fra af forskellige årsager og en del nåede først at afprøve testen efter deadline for indsamling af afprøvningsdata.

Efterårets afprøvnings formål var at danne grundlag for en statistisk (psykometrisk) analyse af testopgavernes egenskaber i forhold til at måle elevernes viden og færdigheder.

De 60 opgaver blev fordelt på 2 sæt med i alt 36 testopgaver i hvert sæt. Sættene overlappede hinanden med 12 opgaver, der var udvalgt specielt mhp. at kunne skabe et fælles grundlag for den efterfølgende analyse.

Projektet udsatte afprøvningsdataene for den mest restriktive psykometriske analyse der kendes – nemlig en Rasch-analyse. Rasch-analysen godkendte 52 (87%) af de 60 testopgaver til etablering af en fælles måleskala, der kan måle elevernes viden og færdigheder på området med generelt anerkendt forskningsbaseret sikkerhed. En godkendelsesprocent på 87% er uhørt høj i en Rasch-analyse, hvilket i høj grad kan tilskrives den kvalitetssikrede konstruktionsmetode.

De endelige opgavesæt

De 52 testopgaver er fordelt i to endelige opgavesæt af hver 36 testopgaver, der hver for sig kan anvendes til screening af EUD-elever.

Der foreligger således et screeningssæt, der kan anvendes ved EUD-elevernes start på uddannelsen, samt et sæt, der – hvis det ønskes – kan anvendes efter et halvt år til at måle elevernes progression.

Kvalitative tilbagemeldinger fra testskolerne

Ud over den statistiske analyse bidrog afprøvningsskolerne også med kvalitative evalueringer af selve screeningstesten og proceduren omkring screeningen. Disse evalueringer blev indsamlet systematisk via kommentarark i en fælles opsamling, der dannede grundlag for en række tilpasninger af vejledninger og procedurer samt en række forslag til videreudvikling af værktøjet. Den generelle tilbagemelding var meget positiv.