Om mål, styring og evaluering

Anmeldt av
Anne Halvorsen

Førsteamanuensis Universitetet i Agder

anne.halvorsen@uia.no

Om boka

Hanne Kathrine Krogstrup. «Kampen om evidens. Resultatmåling, effektevaluering og evidens». Hans Reitzels forlag 2011

HANNE KATHRINE KROGSTRUP er en av Danmarks fremste kapasiteter på evaluering. Hun har skrevet en rekke bøker og artikler om evaluering, blant annet Evalueringsmodeller, som kom i andre utgave i 2006, og Nye veje i evaluering – innføring i tre evalueringsmodeller, sistnevnte sammen med Peter Dahler-Larsen i 2006. I mangel av et godt utvalg evalueringslitteratur med utgangspunkt i norske forhold og erfaringer, brukes disse bøkene i undervisningsøyemed i Norge. De er trolig også relativt godt kjent i miljøer som driver evaluering. I sin siste bok, Kampen om evidens, kobler Krogstrup diskusjonen om evidensbasert kunnskap og evidensbasert utvikling til evaluering.

HENSIKTEN med boka er, i følge Krogstrup selv, å avklare noen sentrale begreper i dagens diskusjon om styring i offentlig sektor, deriblant resultatstyring, prestasjonsmålinger og evidens, og særlig sammenhengen mellom evidens og evaluering. Hun avgrenser det til effektevalueringer, det vil si undersøkelser av årsaks-virkningsforholdet mellom et tiltak og effektene av det. Hun peker samtidig på at evalueringsbegrepet ellers dekker mye mer, og at det finnes et vell av forskjellige evalueringstilnærminger og modeller, blant annet responsive, medvirkningsbaserte og praksisorienterte tilnærminger. Det er en viktig påpekning, fordi det i noen sammenhenger er en tendens til å sette likhetstegn mellom effektevaluering og evaluering som sådan, og det er for snevert.

HUN VIER også et kapittel til utviklingen i evalueringsfeltet fra 1960-tallet og fremover, og beskriver den i fire bølger, slik flere, blant annet en av nestorene i skandinavisk evaluering, Evert Vedung, har gjort. Beskrivelsen er informativ, ryddig og mer oversiktlig enn hun har gitt noen av sine tidligere bøker om evaluering. Når hun i tillegg for hver bølge tar med en gjennomgang av kritikken mot de evalueringstilnærmingene som dominerer i de ulike bølgene, så er det forbilledlig. Det er tydelig at Krogstrup har arbeidet lenge med evaluering; hun kjenner feltet og har god innsikt i evalueringers utfordringer, muligheter og begrensninger.

HOVEDDELEN (del 1-3) av boka er imidlertid viet diskusjonen om evaluering som redskap i mål- og resultatstyring i organisasjoner og politikk, og hvordan kravet om evidens påvirker utviklingen både i evalueringsfeltet og på de områdene det evalueres. Krogstrup tar først et oppgjør med organisasjoners hang til å måle prestasjoner og resultater. Til tross for at forskere for lenge siden har vist at slike målinger ikke har de forventende konsekvensene, lærer man sjelden av erfaringene, og man tar ikke inn over seg at organisasjoner er forskjellige. Hun foretar en kritisk og leseverdig gjennomgang av offentlig sektors iver etter å styre etter NPM-prinsipper, og peker blant annet på hvordan omfangsrike, komplekse og ressurskrevende målingsregimer har svekket den politiske styringen. Kanskje forleder de også ledere til å tro at de har bedre styring over sine organisasjoner enn de har. Krogstrup kaller dette Npm-orientert oppfatning av evaluering, noe som henger sammen med en oppfatning av organisasjoner og beslutninger som rasjonelle.

SLIK ER DET ikke nødvendigvis i virkeligheten; organisasjoner er tvert i mot komplekse systemer, og beslutningsprosesser er mangslungne og ofte lite transparente. Krogstrup skriver om «ustyrlige organisasjoner» og «ville problemer»; det vil si problemer som er vanskelige å definere klart og hvor det kan være uenighet om målene og midlene, og vi kan legge til; også om resultatene (er det for eksempel positivt eller negativt at antall barn som får støtteundervisning øker?). Dette er som oftest situasjonen i offentlig sektor; målene er omtrentlig definert som ønskesituasjoner og det er i mange tilfeller også mangelfull kunnskap om forholdet mellom mål og midler. Dessuten er ofte tiltakene, eller intervensjonene, komplekse i seg selv. Målinger av prestasjoner og resultater har sine begrensninger i slike situasjoner. De gir ingen kunnskap om sammenhengen mellom tiltak og effekt, eller hva det er ved et tiltak (hvilken mekanisme) som faktisk gir effekt. De tar heller ikke høyde for betydningen av den lokale konteksten. Både aktørene som er involvert og rammene de handler innenfor spiller en avgjørende rolle for hvordan noe fungerer, og det lar seg sjelden gjøre å overføre kunnskap direkte fra en sammenheng til en annen. Denne kritikken rammer også det vitenskapelige kontrollerte forsøket som evalueringsmetode, fordi det nettopp handler om å rydde kontekst, eller alle forhold som kan tenkes å påvirke forholdet mellom årsak og virkning, av veien. Krogstrup er kritisk til særlig amerikanernes tro på det kontrollerte eksperimentet som «gullstandard» for effektevalueringer, fordi det foregir å gi sikker kunnskap, eller høyest evidens, om hvordan noe virker på tvers av kulturelle og strukturelle forskjeller. Hun er også kritisk til rangeringen av hvilke metoder som gir evidens som ligger under her. I samfunnsvitenskapen er det ytterst sjelden en kan anslå med sikkerhet hvilke effekter et tiltak vil ha, og det er behov for flere og forskjellige måter å undersøke sammenhenger og mekanismer på. Det betyr ikke at evidensbegrepet er irrelevant, men at det må presiseres når det brukes det om forhold som angår mennesker og samfunn. En mye brukt måte å definere evidensbasert (eller kunnskapsbasert, som er det begrepet som ofte brukes norsk sammenheng) praksis på i blant annet helse- og sosialfagene, er å si at det er praksis basert på den best tilgjengelige forskningen kombinert med erfaringsbasert kunnskap og brukernes kunnskap og medvirkning 1).

KROGSTRUP gjør et poeng av å skille mellom deterministisk og probabilistisk effekt og evidens. Begrepene er kanskje litt uvante på norsk, men de viser til evidens som henholdsvis sikker kunnskap, som i fysiske lover, og sannsynlig kunnskap, det vil si den type kunnskap vi forholder oss til i samfunnsvitenskapene. Vi kan med ulik grad av sannsynlighet, men ikke med hundre prosent sikkerhet si at A vil føre til B gitt at ulike betingelser er tilstede. Måling av prestasjoner og resultater, eller effekter for den saks skyld, er nyttig i mange sammenhenger, men bør suppleres med effektevalueringer dersom en ønsker kunnskap om hvordan noe faktisk fungerer. Effektevalueringer skiller seg fra rene målinger ved at de i tillegg til å registrere og måle effektene, også undersøker og forsøker å si noe om sammenhengen mellom en innsats og resultatene eller effektene av den. Det gjelder for eksempel i det klassiske, kontrollerte eksperimentet. Et eksempel på nyere modeller for effektstudier er såkalt realistisk evaluering, der en tar høyde for den lokale konteksten og undersøker forholdet mellom innsats og virkning, eller effekt, med utgangspunkt i hvilken forståelse de involverte har av dette, kalt programteorien. Det underliggende premisset er at det like gjerne kan være noe feil med teorien og forventningene som med gjennomføringen eller andre forhold dersom effektene uteblir. Evalueringsfeltet er mangfoldig, og det er mange alternative og ofte bedre egnede tilnærminger og modeller enn det kontrollerte forsøket å velge mellom. Krogstrup gjør rede for noen av disse, men på et nokså overordnet nivå. For de som ønsker mer innsikt i ulike modeller og måter å designe evalueringer på kan de være lurt å søke opp andre bøker, både av Krogstrup og andre forfattere.

KAMPEN OM evidensen handler dels om hva vi skal mene med evidens i samfunnsvitenskapene og hva som skal til for at det skal kunne sies å være evidens for noe. Det viktigste spørsmålet er likevel hvilken rolle evidensbasert kunnskap skal spille i ulike sammenhenger. Det innebærer ansvar å fatte beslutninger på andres vegne, og ønsket om at forskning skal kunne gi svar på hva som er de beste løsningene for enkeltmennesker, organisasjoner og samfunn, er forståelig nok. Men siden det ikke er mulig å påvise «naturgitte lover» for menneskelig handling og samhandling, må vi nok ta det ansvaret. Evidensbasert praksis handler, som nevnt over, om å kombinere den til enhver tid best tilgjengelige generelle kunnskapen, fra forskning og evaluering, med erfaring og kunnskap om lokale forhold, eller kontekst. Og som Krogstrup peker på, forskning viser at resultatene i større grad blir brukt når forskning og evaluering gjennomføres i dialog med berørte parter.

I INNLEDNINGEN skriver Krogstrup at hun etter å ha vært toppleder i en organisasjon noen år, har fått et mer nyansert syn på bruk av prestasjonsmålinger; de er nyttige for ledere som trenger å vite om utviklingen går som tenkt, og de ligger til grunn for ressurstildeling. Heldigvis har hun samtidig beholdt skepsisen; de forteller bare deler av sannheten og kan sågar forvrenge virkelighetsforståelsen. Krogstrup argumenterer for at evalueringer kan utfylle bildet, fordi man i evalueringer undersøker sammenhengen mellom årsak og virkning. Det vil si, dette gjelder den type evalueringer som hun har begrenset seg til her. Det finnes en rekke andre tilnærminger til evaluering, Krogstrup ser ut til å kalle dem responsive evalueringer som en samlebetegnelse. Det er evalueringer som tar hensyn til at det er mange berørte med ulike interesser involvert, som lar flere stemmer komme til orde og som også lar ulike aktører medvirke i både planlegging, gjennomføring og oppfølging.

EVALUERINGSBØLGEN er over oss, hevdes det. Lena Lindgren, svensk evalueringsforsker, snakker om evalueringsmonsteret. Begge deler viser til at evalueringsvirksomheten øker i omfang, blant annet i styringsøyemed i offentlig sektor. Det gjelder ikke bare effektevalueringer og lignende modeller, selv om de ser ut til å dominere. Som nevnt har feltet utviklet seg «i bølger», det vil si at nye modeller og tilnærminger gjerne har blitt populære og til en viss grad «skyllet over» de gamle. Men bare til en viss grad. Per i dag er vi inne i en bølge der evaluering blir sett på som verktøy for å måle resultater og effekter. Slik var det også i evalueringens spede begynnelse. Men evaluering kan også brukes for kritiske og demokratiske formål og for å fremme stemmer som ofte ellers ikke blir hørt. Partisipatorisk innovasjon, det vil formodentlig si at endring og utvikling skjer med utgangspunkt i deltakelse og medvirkning, er visstnok et stikkord som kan komme til å kjennetegne en femte bølge, spår Krogstrup. Forhåpentligvis får hun rett.

Boka er først og fremst et innlegg i diskusjonen om evidens og om hvilken rolle evaluering spiller i offentlig styring, altså om styring i offentlig sektor. Hvis en ønsker mer grunnleggende kunnskap om ulike evalueringstilnærminger og -metoder, bør en som nevnt søker andre kilder.

Boka er for øvrig på dansk, uten at det bør by på særlige problemer for nordmenn. Danskene lar være å oversette eller omsetter engelske begreper mer direkte enn vi gjør i Norge, probabilistisk og parti-sipatorisk er eksempler på det. I en eventuell norsk oversettelse kunne en med fordel finne bedre norske ord.