Et viktig tema – med betydelige utfordringer i målgruppe og metodisk tilnærming

Anmeldt av Hans Lund

Professor, Institutt for helse og funksjon, Høgskulen på Vestlandet

Om boka

Hege Kristin Ringnes og Mikkel Magnus Thørrisen (2024). Scoping review – en systematisk og fleksibel metode for kunnskapsoppsummering. Cappelen Damm akademisk.

Boken Scoping Review – en systematisk og fleksibel metode for kunnskapsoppsummering tar opp et temaer som sjelden er behandlet i lærebøker, verken på norsk eller engelsk. Systematiske oversikter finnes i mange former, og bokens forfattere har forstått at oversikter av typen «scoping review» er en metode som er sterkt etterspurt av mange i både utdannings- og praksismiljøer.

Cappelen Damm

Boken gjennomgår temaer som forholdet mellom empiriske studier og systematiske oversikter, og de ulike typene oversiktsstudier, og gir deretter en grundig gjennomgang av fasene i utarbeidelsen av et scoping review. Det er imidlertid flere grunnleggende utfordringer ved boken.

Boken synes å bygge på en utbredt antakelse, som muligens også bidrar til scoping reviews tilsynelatende popularitet, at scoping reviews skal være lettere eller enklere å gjennomføre enn andre typer oversikter. Etter min vurdering er dette ikke tilfelle. Dersom oversiktstypene skal plasseres i et hierarki etter hvor mye tid de typisk krever å planlegge og gjennomføre, ligger scoping review snarere i den tunge enden.

Særlig uheldig er det at boken er skrevet med den hensikt at bachelor- og masterstudenter innen helse- og sosialfag kan bruke den som utgangspunkt for sine bachelor- og masteroppgaver. Boken blir derfor mer omfattende, fordi forfatterne samtidig ønsker å gi konkrete anbefalinger for hvordan man utarbeider et scoping review, og gi mer generelle råd om hvordan en oppgave på bachelor- og masternivå kan og bør gjennomføres. Dette kan i seg selv være et argument for boken og vil trolig være nyttig for mange studenter. Samtidig legger forfatterne opp til at målgruppen også kan omfatte forskere eller andre som for første gang vil gjennomføre et scoping review. Denne doble ambisjonen betyr imidlertid at de mange og detaljerte avsnittene om studentoppgaver kan komme til å fylle relativt mye for leseren som primært søker en stramt fokusert metodeintroduksjon til scoping reviews.

Samtidig som forfatterne primært henvender seg til bachelor- og masterstudenter, synes de å anerkjenne den betydelige arbeidsinnsatsen som et godt gjennomført scoping review krever. Nettopp derfor blir det problematisk når boken flere steder kan leses som om løsningen på et for ambisiøst prosjekt er å senke de metodiske kravene. Hvis prosjektets omfang og tidsramme ikke samsvarer med scoping review-metoden, bør konklusjonen være å justere problemstillingen og avgrensningen – ikke å justere selve standarden. Ellers risikerer man å normalisere utilstrekkelig metode og samtidig etterlate leseren med et uklart bilde av hva et «godt» scoping review faktisk krever.

Forfatterne anbefaler dessverre flere steder at man i en studentoppgave kan «skjære et hjørne», fordi det jo «bare» er en studentoppgave. Intensjonen kan være velment – å hjelpe studenter ut av en altfor stor oppgave – men konsekvensen kan være at både studenter og førstegangslesere får inntrykk av at et scoping review er fleksibelt i den forstand at sentrale metodiske elementer kan velges bort uten større omkostninger. Det kan i praksis gi en oversikt som ikke lenger er systematisk på den måten leseren forventer at en scoping review-tilnærming skal være.

Her bør det samtidig nevnes at masterstudenter, med de rette utdannelsesmessige forutsetningene og god veiledning, godt kan gjennomføre scoping reviews som masteroppgaver. Utfordringen er snarere at boken flere steder synes å gjøre scoping review til et standardvalg for studentoppgaver, der rammene ikke nødvendigvis kan bære metoden.

Denne sammenblandingen av målgruppe og metodiske standarder peker på et mer generelt utdanningsproblem: Hva forventer vi egentlig at en bachelorutdannet skal kunne i forhold til forskning – å produsere ny forskning eller finne, vurdere og bruke eksisterende forskning? Det henger kanskje sammen med en utbredt antakelse om bachelorprosjekter, at studenter, for å forstå forskningens natur, må gjennomføre et mindre «vitenskapelig arbeid». Men praksis forventer ofte noe annet; kandidater som kan finne og anvende vitenskapelig basert kunnskap som er viktig og brukbar for praksis, samtidig som de har de faglige ferdighetene praksisfeltet krever.

Med andre ord, hadde forfatterne i større grad skilt mellom dem som primært skal bruke/ anvende («users») scoping reviews, og dem som faktisk skal utarbeide/gjennomføre («doers») scoping reviews, ville boken etter min vurdering vært mer direkte nyttig for bachelorstudenter.

I det store og hele er bokens beskrivelse av hva et scoping review er, og hvordan et slikt skal utarbeides, for så vidt i orden. Men dessverre er anbefalingene mange steder inkonsistente og neppe de beste. Som eksempel kan det nevnes at bokens første figur presenterer en forvirrende inndeling. Figurens hovedpoeng – at det finnes noen grunnleggende, felles metodiske elementer på tvers av typer systematiske oversikter – blir uklart fordi forfatterne introduserer et unødvendig mellomnivå: «Systematisk fremgangsmåte ikke basert på anerkjent forskningsmetode» (nivå 2 av 3). Hva sikter forfatterne til her? Er poenget at metodisk svake eller «dårlige» systematiske oversikter skal plasseres på nivå 2? Etter min vurdering ville figuren vært langt tydeligere dersom man bare skilte mellom 1) oversikter uten systematisk og transparent fremgangsmåte og 2) systematiske oversikter, der de kjennetegnene som definerer systematikk og transparens faktisk er til stede. Et tredje, uklart mellomnivå bidrar ikke til forståelsen, men gjør grensedragningen mer uklar enn nødvendig.

Scoping reviews ligger ofte mye nærmere «forskning på forskning» som metode, fordi man undersøker hva forskerne har gjort og ikke gjort, mens systematiske oversikter som syntetiserer enten kvalitative eller kvantitative data, forsøker å gi et direkte svar på basis av funn i eksisterende forskning. Mange som prøver seg på et scoping review, for eksempel masterstudenter, opplever en stor skuffelse over at de faktisk ikke har fått et svar som kan anvendes direkte i praksis. De har fått en oversikt over et tema eller begreper, som er et godt utgangspunkt for senere systematiske oversikter eller andre typer studier, men funnene i et scoping review kan svært sjelden danne et direkte grunnlag for praksisbeslutninger.

Dessverre kan ikke utfordringen om at en ofte må inkludere mange studier i et scoping review avhjelpes med en tilbakevendende anbefaling fra forfatterne – hold deg bare til Norge og norsk litteratur. En slik anbefaling undergraver i realiteten hele ideen med et scoping review, som nettopp er å få oversikt. En geografisk avgrensning har dessuten store konsekvenser for alle typer systematiske oversiktsstudier.

For det første kan det være vanskelig å definere klart hva et «norsk» studie er (er det norskspråklig, er forfatterne fra Norge, er dataene kun hentet fra Norge, osv.). Mer alvorlig er det at forståelsen av problemet man ønsker å få oversikt over uunngåelig vil mangle mange (ofte de fleste) relevante studier, fordi den mest relevante forskningen av åpenbare grunner ofte er utenlandsk. Det fører til redusert ekstern validitet og dermed lavere anvendbarhet, samtidig som et så snevert inklusjonskriterium skaper problemer for å oppnå et rettferdig og representativt resultat.

Det kan være vanskelig å begrunne at studenter skal lære å forstå vitenskap ved å gjennomføre små prosjekter som ofte har begrenset faglig verdi, men problemet forsterkes når manglende forutsetninger (kunnskap, ferdigheter og kompetanse) i praksis fører til at de ender med å gjennomføre prosjekter som metodisk sett ikke er valide.

Forfatterne anbefaler ikke bare geografiske avgrensninger, men flere steder også avgrensninger etter språk og publiseringsdato. Ja, de går faktisk så langt som å anbefale at man fint kan gjennomføre et litteratursøk på en måte (færre databaser, avgrensninger etter språk, geografi og publiseringsdato) slik at man bare får 500–1000 treff. Forfatterne anbefaler dessuten at man i studentoppgaver bør begrense seg til mellom fem og 25 inkluderte studier. På den måten har man jo virkelig lykkes med å ta luften helt ut av et scoping review. Det er ikke mye poeng i å gjennomføre en studie for å skape oversikt dersom man på denne måten fjerner selve forutsetningen for oversikten.

Til slutt kan det nevnes at dersom forfatterne hadde byttet om på kapittel 2 og 3, ville leserne langt lettere ha forstått det særegne ved scoping review, fordi de da først ville ha lest hva en systematisk oversiktsstudie grunnleggende går ut på. Det er også passende å nevne at et scoping review faktisk aldri bør beskjeftige seg med de inkluderte studienes resultater, siden man i et scoping review ikke ønsker å finne et kort svar på et spesifikt spørsmål, men derimot ønsker å få oversikt over forskning, begreper eller metoder innenfor et bestemt felt. Uten de krevende forutsetningene som trengs for en metasyntese av kvalitative data eller en metaanalyse av kvantitative data, bør man ikke presentere en form for oversikt eller oppsummering av resultatene fra de inkluderte studiene, fordi det vil skape en falsk forventning hos leseren.

Dersom man likevel har kjøpt boken, inneholder den – for eksempel i kapitlene om litteratursøk – mange gode beskrivelser og anbefalinger. Det bør også understrekes at forfatternes visjon om å tilby en lærebok om scoping review på norsk er en svært god idé, men dessverre lever den ikke opp til forventningene.