Om god kompetenceevaluering

Hvad kan man sige om muligheden for at gennemføre god evaluering af elevers kompetence? Det afhænger ikke overraskende af, hvad man mener med ”god”.

Her er to klassiske begreber, der kan bruges som tænkeværktøjer, når man diskuterer kvaliteten af en konkret evalueringsform (jf. Højgaard, 2008):

• Validitet: Fanger evalueringen essensen af det, den søger – og hævder – at evaluere?
• Reliabilitet: Er evalueringen pålidelig, dvs. vil forskellige kyndige bedømmere nå frem til de samme konklusioner ved analyse af outputtet fra evalueringssituationen (”bedømmeruafhængighed”)?

Begge disse kvalitetskriterier vedrører evalueringsprocessen som helhed, men som sprogbrugen signalerer, lægger de to kriterier vægten på hver sin del af processen: Validitet drejer sig om at fastholde fokus på det, man egentlig forsøger at evaluere, og vurderingen af, hvad der er god og mindre god evaluering, tager derfor afsæt i, i hvilken grad dette er tilfældet, dvs. i karakteristikdelen af evalueringsprocessen. Reliabilitet drejer sig om at gøre selve vurderingen af outputtet så gennemskuelig og upersonlig som muligt og tager derfor naturligt nok afsæt i denne del af evalueringsprocessen.

Ved udformningen af en konkret evaluering vil det være oplagt at tilstræbe en kombination af høj validitet og høj reliabilitet, hvis man mener det er inden for praktisk rækkevidde. Det vil det være, hvis det, man er på udkig efter, kan karakteriseres på så ligefrem en måde, at identifikations- og vurderingsdelen af evalueringen bliver simpel at gennemføre.

Det gælder eksempelvis, hvis multiple choice-spørgsmål eller oplæg til at udøve færdigheder – ”Hvad er 100 ∙ 8 ∙ 35?” – er tilstrækkelige til at indfange ambitionen med evalueringen (og den bagvedliggende undervisning). Det er i en vis forstand selve kernen i begrebet ’færdighed’, som her bruges som betegnelse for nogens evne til sikkert at udføre en given handling med utvetydige og indiskutable karakteristika (Højgaard, 2008). Det er den slags kunnen, som er nem både at karakterisere, identificere og vurdere, fordi den optræder i ”korrekt/ikke korrekt-situationer”, hvor man enten kan eller ikke kan udføre den givne utvetydige handling.

Hvis man arbejder med kompetencer som et centralt læringsmål, trækker man demonstrativt i den modsatte retning. ”Brug matematisk modellering til at undersøge, hvor mange bøger der cirka er på skolebiblioteket”. Med en formulering som denne bruger man kompetencer til at udtrykke nogle ret komplekse ambitioner med en given undervisning. Fokus på kompetence styrker således karakteristikdelen af en evaluering og bidrager dermed direkte til at øge validiteten af evalueringen.

De komplekse ambitioner betyder imidlertid også, at brugen af kompetencemål umiddelbart gør de dele af en evaluering, der handler om at identificere og vurdere en persons læring, alt andet end simple at gennemføre. Derfor er det forventeligt, at det oplagte mål om at kombinere høj validitet og høj reliabilitet bliver vanskeligt at realisere. Det skaber den udfordring, der altid ligger i at skulle forvalte en situation, som man på forhånd ved, næppe kan håndteres, som man ideelt set kunne ønske sig den.

Udfordringen med at skulle afveje validitet og reliabilitet kan man forholde sig til på to forskellige måder, når man skal designe og gennemføre en konkret evaluering (Højgaard, 2008). Firkantet sat op kan man enten have et krav om høj validitet som udgangspunkt for dernæst at tilstræbe, at reliabiliteten bliver så høj som muligt, når nu validitet prioriteres; eller man kan designe evalueringen med afsæt i høj reliabilitet som et must og så arbejde for, at validiteten bliver så høj som muligt med denne randbetingelse. Den sidstnævnte tilgang er den, der typisk benyttes ved formulering af skriftlige eksamensopgaver, herunder så godt som alle centralt stillede prøve- og eksamensopgaver i tilknytning til matematikundervisning.

Problemet ved denne tilgang er den store risiko for at ende i en ”Storm P.-situation”, der svarer til tegneseriestriben, hvor en mand leder efter sine tabte nøgle under lygtepælen, fordi det er der, der er lys, skønt manden erkender at have tabt nøglerne i mørket: Opgaverne bliver formuleret på en måde, så der er så meget ”lys” over foretagendet, at enhver fagkyndig person umiddelbart kan forstå og vurdere såvel spørgsmål som alle de mulige svar. Men den del af læringen, der kastes lys over, er ikke den del, man ifølge undervisningsmålene er interesseret i at afdække (og opnå).

Udgangspunktet for forsknings- og udviklingsarbejdet bag dette tema har været det modsatte. Fokus har her været at sikre høj validitet på grund af evalueringens bredt erkendte kraftige indvirkning på undervisning og læring – what you assess is what you get. Hvis validiteten af en evaluering er høj, kan den bruges til at holde undervisning og læring på ret kurs ved at bidrage til constructive alignment (Biggs & Tang, 2011), hvorimod en evaluering med lav validitet (men måske med høj reliabilitet) meget nemt risikerer at virke som ”sirenerne” i Odysséen, der let kan bringe skuden ud af kurs (Højgaard & Niss, 2023).