Vi skal have færre og bedre evalueringer

Evaluering spiller en stor rolle i udviklingen af velfærdsstaten. Store reformer, som reformen af folkeskolen, evalueres, tværsektorielle samarbejder om sociale indsatser evalueres, arbejdsmiljøet på landets arbejdspladser evalueres, forebyggelses- og sundhedsfremmeprojekter evalueres. Evaluering er allestedsnærværende.

Derfor bruger vi også hvert år store beløb på evalueringer, og i den bedste af alle verdener bliver de brugt til at udvikle og forbedre velfærdsstaten. Det ligger faktisk i selve definitionen af evalueringer, at de skal anvendes.

Den svenske evalueringsforsker Evert Vedung definerer evaluering som ”en systematisk retrospektiv vurdering af gennemførsel, præstation og udfald af offentlig virksomhed, som tiltænkes at spille en rolle i praktiske handlingssituationer”. Det sker bare langt fra altid i virkeligheden.

Evalueringer bruges på utilsigtet vis

Et eksempel er evalueringen af folkeskolereformen, som gengivet her helt overordnet og blottet for nuancer viste, at reformens målsætninger ikke var indfriet, men at det flere steder var svært at konkludere særlig præcist, da mange af reformens centrale elementer slet ikke var implementeret ude på skolerne.

En typisk iagttagelse i evalueringsforskning er, at evaluering ikke bliver brugt – eller i hvert fald ikke bruges så meget og så instrumentelt, som det kunne ønskes.

En anden iagttagelse er, at evalueringer kan blive anvendt på mange andre – positive såvel som negative – måder end de tilsigtede, og at viden fra evalueringer på indirekte og diffus vis trænger ind i og bliver en del af den beholdning af viden og erfaringer, som praktikere og politikere orienterer sig i, og som giver anledning til ikke nødvendigvis radikale, men inkrementelle ændringer i daglig praksis.

Disse iagttagelser kan vi nikke genkendende til i vores arbejde med evaluering på velfærdsområderne. Her oplever vi, at ældre evalueringsrapporter, som er udarbejdet i forbindelse med andre projekter, bidrager med ideer, problemforståelser og løsningsforståelser hos personer og instanser, der ikke har været involveret i projekterne. Det er eksempelvis sket i forbindelse med reformarbejdet omkring Børnene Først.

Mange evalueringsprocesser ikke er så rationelle endda

I en rationel evalueringsproces definerer en politisk-administrativ beslutningstager sine målsætninger og vidensbehov. Det kan for eksempel være lovgivernes behov for viden om, hvorvidt en vedtagen politik rent faktisk har de tilsigtede effekter.

Det kan også være forvaltningens behov for mere detaljeret viden om organisering, ledelse, implementering og omkostnings- og produktivitetsmæssige aspekter af en indsats. Endelig kan det være fagprofessionelles behov for at udvikle og udbygge deres faglige vidensbase.

Problemet er, at mange evalueringsprocesser ikke er så rationelle endda, og at helt afgørende spørgsmål ikke afklares.

Det er spørgsmål som: Hvem skal bruge evalueringen, til hvad og hvornår? Har projektet eller indsatsen akkumuleret nok implementeringserfaring til, at der kan uddrages nogen form for læring, og/eller at der kan spores en effekt? Er det muligt at få adgang til relevante data? Adresserer evalueringen de spørgsmål, som er relevante for centrale beslutningstagere?

Husk ydmyghed og kritisk refleksion

Selv hvis evalueringen har været besluttet i lang tid, er det fornuftigt at vende tilbage til spørgsmålene, når evalueringen skal sættes i gang. Ydmyghed og kritisk refleksion er helt centralt for det at have en evalueringsfaglighed. Det betyder, at vi, der gennemfører eller rådgiver om evaluering, skal være gode til at rådgive om, hvornår det giver mening eller ikke at gennemføre en given type evaluering.

Evaluering kræver kompetencer, tid og penge. Hvis forudsætningerne ikke er tilstede, skal evaluator være bedre til at argumentere og forklare, hvorfor en given evaluering ikke kan lade sig gøre. Årsagerne kan være mange, for eksempel manglende adgang til relevante data, for kort tidsplan, manglende muligheder for sammenligning eller for få penge i forhold til evalueringens ønskede omfang.

Det er klart, at det er lettere sagt end gjort. Det kan naturligvis være svært for den, der lever af at evaluere at melde tilbage til sin kunde og forklare, at en analyse af den konkrete evalueringssituation viser, at det er bedre at bruge pengene på eksempelvis en bedre implementering af indsatsen frem for en evaluering.

Men det kan og skal vi som evaluatorer kunne gøre, for ligesom mennesker uden kendskab til husbyggeri allierer sig med en byggesagkyndig, der kender til detaljerne og faldgruberne, inden de kaster sig ud i at bygge et nyt hus eller en større ombygning, skal eksperter i evaluering også være med til at sikre, at de rette forhold er på plads til at gennemføre en evaluering. Her har evaluering lighed med hammeren i hånden, som kan forvolde ulykker for den ukyndige.

Urealistiske forventninger og utilstrækkelige rammevilkår

Men ansvaret går begge veje. Både evaluator og opdragsgiver har et ansvar for, at evalueringen har det bedste udgangspunkt og optimale betingelser for anvendelse. Det kræver stærke evalueringsfaglige kompetencer hos begge parter.

Gennem de seneste år har vi set, at ministerier, større kommuner og fonde i stigende grad har ansat specialister med ekspertise og erfaring i samfundsvidenskabelige analyser. Det er oplagt, at de har en rolle som ”byggesagkyndige” i planlægningen og forankringen af eksterne evalueringer.

De har fagligheden og indsigten i organisationens behov og kan sikre, at evalueringen får de rette rammevilkår og løbende understøtter samspillet mellem for eksempel ministerierne og evaluatoren. De kan være med til at afveje forskellige hensyn og omsætte evalueringsresultaterne til politikudvikling.

Det kræver selvfølgelig, de ”byggesagkyndige” har mulighed for at agere i situationer, hvor der i eget system er urealistiske forventninger og utilstrækkelige rammevilkår for evaluering.

Evalueringer skal bygge på hinandens viden

Skal vi have bedre evalueringer, er det også vigtigt, at evalueringer i højere grad lægges oven på hinanden og ikke blot stilles ved siden af hinanden. Evaluering skal ikke ses som enkeltstående, men skal bidrage til akkumulering af viden, så vi løbende udvikler vores fælles vidensbeholdning. Det må være et vigtigt sigtepunkt for evaluatorer.

Metaanalyser – som for eksempel Campbell og Cochrane – er systematiske forskningsoversigter om effekten af centrale offentlige indsatser på tværs af undersøgelser og landegrænser. De giver et solidt grundlag for beslutningstagere at træffe beslutninger ud fra.

På samme måde bør der være et større fokus på, at viden om forandringsmekanismer i praksisfeltet lægges oven på hinanden. Der bør også systematisk indsamles viden om kontekstuelle forhold, som er afgørende for velfærdsindsatsernes succes. Det kræver en høj kvalitet i de enkelte evalueringer.

Det er muligt at få bedre evalueringer, uden at der skal bruges flere penge, tid eller energi samlet set. Det handler om at prioritere færre, men bedre evalueringer. Men der er også behov for at se på, om de rette kompetencer er tilstede i og omkring et evalueringsforløb. Så tror jeg, at vi vil se en positiv afsmitning på en stigende evaluerings- og undersøgelsestræthed i samfundet.