Debatt
Mange slags røvertidsskrifter
Sammendrag
Undersøkelser av det internasjonale publiseringssystemet for vitenskap viser betydelige utfordringer både med kvaliteten på fagfellevurderinger og tilgang til forskning. Åpen tilgang fører med seg sine egne utfordringer og det er uvisst om den strategien Kunnskapsdepartementet har lagt seg på for å endre publiseringssystemet vil kunne løse problemene.
Referanser
Academic, Anonymous (2015, 4. september). Academics are being hoodwinked into writing books nobody can buy. The Guardian.
Alper, Brian S., Hand, Jason A., Elliott, Susan G., Kinkade, Scott, Hauan, Michael J., Onion, Daniel K. & Sklar, Bernard M. (2004). How much effort is needed to keep up with the literature relevant for primary care? J Med Libr Assoc 92. s. 429-37.
American Society for Cell Biology (2012). The San Francisco Declaration on Research Assessment. Hentet fra http://www.ascb.org/dora/
Balietti, Stefano, Goldstone, Robert L. & Helbing, Dirk (2016). Peer review and competition in the Art Exhibition Game. PNAS 113 (30)
Beall, Jeffrey (2017). Beall’s List of Predatory Journals and Publishers. Hentet fra: http://beallslist.weebly.com/
Bell, Kirsten (2017). ‘Predatory’ Open Access Journals as Parody: Exposing the Limitations of ‘Legitimate’ Academic Publishing. tripleC 15(2). s. 651-662.
Bohannon, John (2013). Who’s Afraid of Peer Review? Science Vol. 342, Issue 6154. s. 60-65. doi: 10.1126/science.342.6154.60
Boye, Erik (2015, 20. mars). Publiser mindre, Ikke mer. Morgenbladet.
Campanario, Juan M. (2009). Rejecting and resisting Nobel class discoveries: accounts by Nobel Laureates. Scientometrics, Vol. 81, No. 2. s. 549–565. doi: 10.1007/s11192-008-2141-5
Eve, Martin P. & Priego, Ernesto (2017). Who is Actually Harmed by Predatory Publishers?. tripleC 15(2). s. 755-770.
Eveleth, Rose (2014). Academics Write Papers Arguing Over How Many People Read (And Cite) Their Papers. Smithsonian Magazine. Hentet fra: http://www.smithsonianmag.com/smart-news/half-academic-studies-are-never-read-more-three-people-180950222/
Ferguson, Cat, Marcus, Adam & Oransky, Ivan (2014). The peer-review scam. Nature 515, s. 480–482. doi:10.1038/515480a
Helbing, Dirk & Balietti, Stefano (2011). How to create an innovation accelerator. Eur. Phys. J. Special Topics 195. s. 101–136. doi: 10.1140/epjst/e2011-01403-6
Frantsvåg, Jan Erik & Hem, Erlend (2016). Divergerende oppfatninger om Open Access. Forskningspolitikk. Hentet fra: http://fpol.no/divergerende-oppfatninger-om-open-access/.
Fyfe, A., Coate, K., Curry, S., Lawson, S., Moxham, N. & Røstvik, C. M. (2017). Untangling Academic Publishing A history of the relationship between commercial interests, academic prestige and the circulation of research. University of St Andrews. doi:10.5281/zenodo.546100
Gauchat, Gordon (2012). Politicization of Science in the Public Sphere. American Sociological Review 77, s. 167-187.
INTACT (2017). Transparent Infrastructure for Article Charges. Hentet fra: https://www.intact-project.org/
Kunnskapsdepartementet (2016). Nasjonale retningslinjer for åpen tilgang til forskningsresultater. Rapport til Kunnskapsdepartementet 14.06.2016. Hentet fra: https://www.regjeringen.no/contentassets/72e9794a183647e5b53ec39ba8cf516a/rapport-nasjonale-retningslinjer-for-apen-tilgang-til-forskningsresultater.pdf
Kunnskapsdepartementet (2017a). Nasjonale mål og retningslinjer for åpen tilgang til vitenskapelige artikler. 22. august 2017. Hentet fra: https://www.regjeringen.no/contentassets/ae7f1c4b97d34806b37dc767be1fce76/nasjonale-mal-og-retningslinjer-for-apen-tilgang-til-vitenskapelige-artikler.pdf
Kunnskapsdepartementet (2017b). Statsbudsjettet for 2018, kap. 260 - Tildelingsbrev for Norges teknisk-naturvitenskapelige universitet 21. desember 2017. Hentet fra https://www.regjeringen.no/contentassets/549eeb4245384a018368ba98f0e225b2/tildelingsbrev-2018-ntnu.pdf
Lykkja, Pål Magnus, Myklebust, Jan Petter (2018). Open science in the EU – Will the astroturfers take over? University World News 17.3.2018. Hentet fra http://www.universityworldnews.com/article.php?story=20180317044918836
Meho, Lokman I. (2007). The rise and rise of citation analysis. Physics World 20. s. 32-36.
Moher, D., Shamseer, L., Cobey, K. D., Lalu, M. M., Galipeau, J., Avey M. T. & Ziai, H. (2017). Stop this waste of people, animals and money. Nature 549, s. 23-25. doi: 10.1038/549023a
Morrison, Robbie (2018). Scholars seek open access in academic journal deal. WikiTribune 8.1.2018. Hentet fra: https://www.wikitribune.com/story/2018/01/08/europe/germany/german-scholars-seek-open-access-in-academic-papers-deal/33444/
Noorden, Richard V. (2012). Researchers feel pressure to cite superfluous papers. Nature.com. Hentet fra: http://www.nature.com/news/researchers-feel-pressure-to-cite-superfluous-papers-1.9968
Noorden, Richard V. (2014). Publishers withdraw more than 120 gibberish papers. Nature.com. Hentet fra: http://www.nature.com/news/publishers-withdraw-more-than-120-gibberish-papers-1.14763
PeerJ. (2017). Post-publication peer review history. peerj.com. Hentet fra: https://peerj.com/benefits/review-history-and-peer-review/
Schimmer, Ralf, Geschuhn, Kai K. & Vogler, Andreas (2015). Disrupting the subscription journals’ business model for the necessary large-scale transformation to open access. A Max Planck Digital Library Open Access Policy White Paper 28.04.2015. doi: http://dx.doi.org/10.17617/1.3
Seethapathy, Gopalakrishnan S., Austarheim, Ingvild & Wangensteen, Helle (2017). Skyggesidene ved åpen publisering: indiske forskere utnyttes av røvertidsskrifter. Nytt Norsk Tidsskrift 3/2017. s. 165-173. doi: 10.18261
Siler, Kyle, Lee, Kirby & Bero, Lisa (2015.) Measuring the effectiveness of scientific gatekeeping. PNAS 112(2). s. 360–365. doi: 10.1073/pnas.1418218112
Springer (2015). Retraction of articles from Springer journals. http://www.springer.com/gp/about-springer/media/statements/retraction-of-articles-from-springer-journals/735218
Taxt, Randi E. (2011). Åpenhet i forskning Hva, hvorfor og hvordan?. Hentet fra: https://it.uib.no/ithjelp/images/a/a6/%C3%85penhet_i_forskning_IT-forum_2011v_Taxt.pdf
Universitets- og høgskolerådet (2016). Om bruk av publiseringsindikatoren på lokalt nivå eller for enkeltforskere. Hentet fra: http://www.uhr.no/documents/Om_bruk_av_publiseringsindikatoren_p__lokalt_niv__eller_for_enkeltforskere.pdf
Wenaas, Lars (2012). Publikasjoner, delingskultur og tilgang til forskning. I Hallvard Fossheim, & Helene Ingierd (Red.) Forskning og penger. Oslo: De nasjonale forskningsetiske komiteer.
Ronny Kjelsberg
Universitetslektor, IE-fakultetet, NTNU
ronny.kjelsberg@ntnu.no
Det tradisjonelle, ofte betegnet Humboldtske, universitetsidealet tilsier at akademia og forsk-ningen må være fri fra bindinger, fri fra både børs og katedral for å komme fram til den beste kunnskapen, eller i nyere tid kanskje heller fra stat og næringsliv.
Det er ikke et ukjent fenomen at eksterne aktører forsøker å påvirke forskningsprosessen av politiske eller økonomiske hensyn, men også innenfor akademias eget kvalitetssikringssystem kan økonomiske hensyn påvirke vitenskapelig aktivitet i en negativ retning.
Det har kommet en betydelig kritikk på at interne økonomimodeller som belønner antall publikasjoner fører til en overproduksjon av middelmådig forskning (Boye, 2015) og presentert på måter og i mengder som gjør den utilgjengelig for dem som kunne nyttiggjort seg den (Alper et al., 2004). Generelt tyder mye, på tross av noe sprikende analyser, på at svært mange akademikere internasjonalt i dag bruker svært mye tid på produsere artikler og bøker som (nesten) ingen leser (Meho, 2007; Eveleth, 2014; Academic, 2015).
Tilsvarende har bruken av siteringer som «kvalitetsindikator» ført til oppblomstring av sitering som vennetjenester og press fra tidsskriftredaktører på forfattere om å sitere deres publikasjoner (Noorden, 2012).
Hva ligger bak denne utviklingen? Rapporten Untangling Academic Publishing (Fyfe et al., 2017) beskriver hvordan de vitenskapelige tidsskriftene dramatisk endret karakter i perioden etter andre verdenskrig. Fra å ha vært idealistiske foretak hvor formålet var å formidle forskning, dominerer i dag kommersielle konglomerater hvis formål er å tjene penger. I tillegg har både finansieringssystemer, konkurranse mellom institusjoner på ulike internasjonale rangeringer, samt konkurranse mellom ansatte om stillinger i akademia gjort vitenskapelige publikasjoner stadig viktigere og dermed skapt et betydelig publiseringspress.
Også i Norge oppleves den vekten som legges på «produksjon av publikasjonspoeng» som et problem. Også av de som har vært med å etablere systemene. I 2016 fant Universitets- og høgskolerådets forskningsutvalg og Det nasjonale publiseringsutvalget det nødvendig å komme med en felles uttalelse som bl.a. sier at «indikatoren bør brukes med forsiktighet og i samspill med annen informasjon jo lenger ut i institusjonen man kommer» og at «Som hovedregel bør derfor publiseringsindikatoren ikke brukes som et avgjørende beslutningsgrunnlag for budsjett- ressursfordeling, karriereoppfølging, fordeling av oppgaver, interne ressurser og goder samt i ansettelsessammenhenger. […] Ren mekanisk bruk av indikatoren frarådes.» (Universitets- og høgskolerådet [UHR], 2016)
Lignende toner kommer fra San Francisco Declaration on Research Assessment (DORA). Med utgangspunkt i en gruppe akademikere og forleggere som møttes i regi av the American Society for Cell Biology i 2012, har erklæringen nå blitt signert av snart 12 000 individuelle akademikere og 500 akademiske organisasjoner. Før 2018 var Tromsø det eneste norske universitetet på underskriftslisten. Deres hovedbudskap er å ikke benytte seg av «journal impact factor» og «publication metrics» som en erstatning for kvalitative vurderinger av det vitenskapelige innholdet i alle deler av forskningen (American Society for Cell Biology [ASCB], 2012).
Når publiseringspresset møtes av kommersielle aktører som utnytter dette behovet til å skaffe seg gratis arbeidskraft og gode inntekter, skapes en situasjon hvor forlag selger svært dyre tidsskriftabonnementer og fagbøker til universitetsbiblioteker. Dermed blir kunnskapen utilgjengelig for alle unntatt noen svært få.
Åpen tilgang
Både akademikere og politiske aktører har derfor de siste årene sett et behov for å gjøre mer av forskningen lettere tilgjengelig, og Kunnskapsdepartementet kom nylig med mål og retningslinjer for åpen tilgang (Kunnskapsdepartementet, 2017). Dette er en internasjonal trend hvor stadig flere såkalte open access (OA)-tidsskrifter har blitt etablert.
Begrunnelsene for åpen tilgang til forskningsresultater varierer. Det innebærer ofte enkelte momenter som nok er ment å appellere til forskere og institusjoners egeninteresse, som at det fører til mer lesning, flere siteringer og høyere «impact factor» (Taxt, 2011). I tillegg handler det tidvis om effektiviteten til det internasjonale kollektivet som forskningsutviklingen utgjør, som blir bedre og mer effektivt når kunnskapen er åpen for alle (Frantsvåg & Hem, 2016). Ellers sprer argumentene seg rundt to linjer som retter seg mer mot allmennheten.
Den ene har ett kundefokus. Som Lars Wenaas fra Cristin skriver (Wenaas, 2012, s. 171): «Hvordan ville du reagert hvis det ble forlangt at du var med på å betale for en og samme ting tre ganger, men likevel ikke fikk tilgang til det du hadde bidratt med penger til?»
Men det er et annet moment, som jeg mener er viktigere. Det er det samme argumentet som ligger bak mye av tanken om et gratis og allment utdanningssystem, folkeopplysningstanken fra Grundtvig og folkebibliotekene. Det er et demokratiargument. Demokratiet betyr at alle skal kunne være med og ta beslutninger i fellesskap. Men da må selvsagt alle også ha lik, fri og åpen tilgang til den kunnskapen de beslutningene må tas på grunnlag av.
Det bør selvsagt også gjelde akademisk kunnskap som gjøres tilgjengelig i akademiske bøker og tidsskrifter. Som Erlend Hem sier til Forskningspolitikk (Frantsvåg & Hem, 2016): «Det er viktig for å spre kunnskap til folk flest, og på den måten er det en viktig del av demokratiet.»
I en global situasjon hvor tilliten til forskning er under press i deler av verden (Gauchat, 2012), med potensielt alvorlige politiske og samfunnsmessige konsekvenser, er det kanskje enda mer maktpåliggende at de akademiske miljøene ikke isolerer seg i sine egne institusjoner og tidsskrifter med liten samhandling med verden utenfor. Derfor er det ikke bare forskningen selv, men kanskje samfunnet som en helhet som «trives best når [forskningen] er kvalitetssikret, åpent tilgjengelig og kan leses og utnyttes fritt.» (Wenaas, 2012, s. 187)
Røvertidsskrifter og fagfellevurdering
En del OA-tidsskrifter opererer med en finansieringsmodell hvor forfattere betaler publiseringsavgift (APC – article processing charge). Selv om OA-tidsskrifter i utgangspunktet har like gode kvalitetssikringssystemer som andre, har slike avgifter dessverre ført til at det på dette området har dukket opp utgivere som primært er opptatt av å ta inn avgiften, og gjøre minst mulig jobb med kvalitetssikringen av artiklene de trykker. Det har derfor vært en lang internasjonal debatt om den illusoriske fagfellevurderingen til enkelte tidsskrifter, som har gitt disse betegnelsen «røvertidsskrifter» (Moher et al., 2017).
I 2013 sendte John Bohannon inn en artikkel med grove og åpenbare feil til 304 OA-tidsskrifter under falskt navn som ble antatt av over halvparten av dem. Dette er et godt eksempel på realiteten bak eksistensen av slike røvertidsskrifter. Disse er ute etter publiseringsavgiften, men tilbyr ingen kvalitetssikring av innholdet. Bibliotekaren Jeffrey Beall er kjent for å ha laget en oversikt over disse. Beall har i 2017 fjernet det meste av informasjon fra nettsiden sin, men andre har uavhengig av ham republisert listen, slik at den fortsatt er tilgjengelig (Beall, 2017).
Det har blitt stilt spørsmål rundt hvilken skade disse røvertidsskriftene gjør. Kirsten Bell (2017) påpeker at invitasjonene som masseutsendes til forskere fra disse forlagene ofte er over grensen til det parodiske og lettgjenkjennelige. Samtidig er det på det rene at enkelte faktisk velger å publisere der. Dermed blir kanskje røvertidsskriftene akademias variant av de såkalte «nigeriabrevene» som masseutsendes til alle og en. Noe de fleste ler av og sletter, men noen – kanskje da særlig akademikere i posisjoner med dårligere muligheter for å publisere i andre kanaler, herunder mange fra det globale sør (Seethapathy et al. 2017; Bell 2017) – lar seg mer eller mindre bevisst lure. Det synliggjør også at ikke bare dyre abonnementstidsskrifter, men også dyre publiseringsavgifter er ekskluderende for forskere fra sør.
Når man betaler for kvalitetssikring som er ikke-eksisterende, er det åpenbart svindel selv om avgiften er overkommelig, men det har også vært anklager om at mindre tidsskrifter fra sør er blitt feilaktig vurdert som røvertidsskrifter på bakgrunn av fordommer (Bell, 2017).
Mye tyder også på at det ikke bare er hos røvertidsskriftene fagfellevurderingen er svak. I 2014 måtte de anerkjente utgiverne Springer og IEEE trekke tilbake 120 artikler etter at informatikkforskeren Cyril Labbé i et stunt hadde fått publisert rent datagenererte artikler i til sammen 30 konferanseartikkelsamlinger, hvor utgiverne hadde garantert fagfellevurdering (Noorden 2014; Springer 2015). Man finner også de motsatte eksemplene – nobelprisvinnende og grensesprengende arbeider, og arbeider som senere er blitt blant de mest siterte, som er blitt avvist av elitejournaler (Campanario, 2009; Helbing & Balietti, 2011; Siler et al., 2015).
Et eksperiment fra 2016 konkluderte til og med med at det presset vi har beskrevet på akademikere og den påfølgende konkurransen dem imellom, i seg selv bevisst eller ubevisst, påvirker fagfellevurderingsprosesser på en negativ måte. En dårlig vurdering vil nemlig sette den som gir vurderingen selv i en bedre relativ posisjon i framtidig konkurranse om midler og posisjoner (Balietti et al., 2016).
Mye tyder altså på at svak fagfellevurdering er et generelt problem i akademia, og ikke noe som er knyttet spesielt til OA-tidsskrifter. Eve og Priego (2017) erkjenner at røvertidsskrifter er et problem, men mener også at mange av de store tradisjonelle kommersielle vitenskapelige forlagene har interesser av å overdrive dette problemet for å forsvare sin egen forretningsmodell. Dette altså på tross av mye dokumentasjon på at fagfellevurderingen ikke alltid fungerer bedre i den tradisjonelle modellen. Det er også viktig å huske at flertallet av OA-tidsskrifter ikke krever publiseringsavgift og drives av mindre og mer ideelle akademiske miljø (Bell, 2017), men samtidig er publiseringsavgiftene hos de kommersielle, som publiserer de fleste artiklene, økende (Seethapathy et al., 2017).
Hovedkritikken mot OA-tidsskriftene som betegnes som røvertidsskrifter, er at de tar seg betalt for en kvalitetskontroll de ikke utfører (Eve & Priego, 2017). Hva skal man da si om tradisjonelle utgivere når det viser seg at de ikke alltid har så mye bedre kvalitetssikring av innholdet sitt de heller, og ofte tar seg vel så godt betalt i form av abonnementer? Bør kanskje noen av dem også betegnes som røvere?
Bedre publiseringsmodeller og fagfellevurdering
De ulike uheldige utviklingstrekkene som er diskutert her har ført til mange debatter i akademia, og mange forslag til løsninger de siste årene.
For Norges del staker Kunnskapsdepartementets mål og retningslinjer for åpen tilgang ut en noe uklar vei framover (Kunnskapsdepartementet, 2017a). På tross av ambisjonen om full åpen tilgang innen 2024, er de konkrete tiltakene beskjedne. I tillegg preges retningslinjene av den samme troen på økonomiske insentiver basert på bibliometriske indikatorer som har blitt kritisert for å skape mange av problemene i første omgang. Deponering i vitenarkiv skal kreves for at en publikasjon telles i den resultatbaserte finansieringen, og man skal «utvikle indikatorer og statistikk for åpen tilgang».
Det er ikke noe skrik etter flere tellekanter i finansieringsmodellene blant norske forskere, og også internasjonalt advares det mot kvantitativ vurdering av forskning som referert i diskusjonen rundt DORA. Alt dette peker strengt tatt i motsatt retning av Kunnskapsdepartementets insentiver. I forlengelsen av dette er det derfor interessant at departementet i sitt tildelingsbrev til institusjonene for 2018 har oppfordret dem om å tilslutte seg DORA (Kunnskapsdepartementet, 2017b). NTNU er lydhøre for signaler fra departementet og signerte dermed prompte i januar 2018. Flere andre har fulgt etter. Det kan tyde på at problemstillinger som lenge er blitt diskutert i akademiske miljø er i ferd med å trenge inn de politiske miljøene, og dermed også inn i ledelsen ved alle institusjonene i Norge. Hvilke endringer dette kan medføre for institusjonenes interne politikk, gjenstår å se.
I første omgang ser det likevel ut til at økt bruk av deponeringsfunksjonen i forskningsregistreringssystemet Cristin kan bli det mest konkrete resultatet av de nye retningslinjene. For øvrig vil departementet «bidra til videreutvikling av nye og bærekraftige modeller for finansiering av åpen publisering nasjonalt og internasjonalt», uten ytterligere konkretiseringer. Rapporten i forkant av retningslinjene (Kunnskapsdepartementet, 2016) peker derimot på et White Paper fra Max Planck Digital Library. Det slår fast at det er nok penger i systemet i dag til å finansiere de faktiske kostnadene med publisering av artiklene (Schimmer et al., 2015), men en slik modell vil selvsagt bety at profittmarginene vil bli betydelig mindre for en del forlag. Videre pekes det på initiativet som i dag heter INTACT - Transparent Infrastructure for Article Charges, for å bygge en infrastruktur for å standardisere publiseringsavgifter slik at de dekker den reelle kostnaden med publiseringen (INTACT, 2017).
Konkrete planer for hvordan forlag som tjener godt på dagens system skal presses til en overgang mangler derimot fortsatt. Det er vanskelig å se hvordan det skal skje uten at de uansett risikerer å miste disse inntektene. Klarer institusjoner å samarbeide godt nok internasjonalt til å skape et slikt press mot forlagene, samtidig som publiseringspress og konkurranse mellom institusjonene kan gjøre det krevende å nettopp avvise tradisjonelt prestisjefylte publiseringskanaler? Det må sies å være et svært åpent spørsmål. 2018 startet med en åpen konfrontasjon mellom det store forlaget Elsevier og 200 tyske forskningsinstitusjoner (Morrison, 2018). Sammen med et økt påtrykk fra EU-systemet (Lykkja, Myklebust, 2018) kan dette muligens få store ringvirkninger.
Et forslag for å bedre selve fagfellevurderingen, er mer åpne prosesser, slik f.eks. OA-utgiveren PeerJ har gjort, hvor enkeltblinding er beholdt til etter publisering, men hvor hele vurderingsprosessen blir offentliggjort i etterkant (PeerJ, 2017). På denne måten vil ikke bare forskningen, men også fagfellevurderingen være åpen for faglig diskusjon i etterkant, og det vil være vanskelig å påberope seg ikke-eksisterende vurderinger. Hos PeerJ er dette frivillig, men man kan se for seg at det gjøres obligatorisk. Det gir også anerkjennelse til arbeidet fagfellene gjør.
Hvor man ender opp til slutt er uvisst, men en kombinasjon av åpen tilgang, mer åpen fagfellevurdering og større fokus på innholdet i forskningen enn på hvilken journal den er publisert i framstår samlet sett som en fornuftig retning.
Sammendrag
Undersøkelser av det internasjonale publiseringssystemet for vitenskap viser betydelige utfordringer både med kvaliteten på fagfellevurderinger og tilgang til forskning. Åpen tilgang fører med seg sine egne utfordringer og det er uvisst om den strategien Kunnskapsdepartementet har lagt seg på for å endre publiseringssystemet vil kunne løse problemene.
Referanser
Academic, Anonymous (2015, 4. september). Academics are being hoodwinked into writing books nobody can buy. The Guardian.
Alper, Brian S., Hand, Jason A., Elliott, Susan G., Kinkade, Scott, Hauan, Michael J., Onion, Daniel K. & Sklar, Bernard M. (2004). How much effort is needed to keep up with the literature relevant for primary care? J Med Libr Assoc 92. s. 429-37.
American Society for Cell Biology (2012). The San Francisco Declaration on Research Assessment. Hentet fra http://www.ascb.org/dora/
Balietti, Stefano, Goldstone, Robert L. & Helbing, Dirk (2016). Peer review and competition in the Art Exhibition Game. PNAS 113 (30)
Beall, Jeffrey (2017). Beall’s List of Predatory Journals and Publishers. Hentet fra: http://beallslist.weebly.com/
Bell, Kirsten (2017). ‘Predatory’ Open Access Journals as Parody: Exposing the Limitations of ‘Legitimate’ Academic Publishing. tripleC 15(2). s. 651-662.
Bohannon, John (2013). Who’s Afraid of Peer Review? Science Vol. 342, Issue 6154. s. 60-65. doi: 10.1126/science.342.6154.60
Boye, Erik (2015, 20. mars). Publiser mindre, Ikke mer. Morgenbladet.
Campanario, Juan M. (2009). Rejecting and resisting Nobel class discoveries: accounts by Nobel Laureates. Scientometrics, Vol. 81, No. 2. s. 549–565. doi: 10.1007/s11192-008-2141-5
Eve, Martin P. & Priego, Ernesto (2017). Who is Actually Harmed by Predatory Publishers?. tripleC 15(2). s. 755-770.
Eveleth, Rose (2014). Academics Write Papers Arguing Over How Many People Read (And Cite) Their Papers. Smithsonian Magazine. Hentet fra: http://www.smithsonianmag.com/smart-news/half-academic-studies-are-never-read-more-three-people-180950222/
Ferguson, Cat, Marcus, Adam & Oransky, Ivan (2014). The peer-review scam. Nature 515, s. 480–482. doi:10.1038/515480a
Helbing, Dirk & Balietti, Stefano (2011). How to create an innovation accelerator. Eur. Phys. J. Special Topics 195. s. 101–136. doi: 10.1140/epjst/e2011-01403-6
Frantsvåg, Jan Erik & Hem, Erlend (2016). Divergerende oppfatninger om Open Access. Forskningspolitikk. Hentet fra: http://fpol.no/divergerende-oppfatninger-om-open-access/.
Fyfe, A., Coate, K., Curry, S., Lawson, S., Moxham, N. & Røstvik, C. M. (2017). Untangling Academic Publishing A history of the relationship between commercial interests, academic prestige and the circulation of research. University of St Andrews. doi:10.5281/zenodo.546100
Gauchat, Gordon (2012). Politicization of Science in the Public Sphere. American Sociological Review 77, s. 167-187.
INTACT (2017). Transparent Infrastructure for Article Charges. Hentet fra: https://www.intact-project.org/
Kunnskapsdepartementet (2016). Nasjonale retningslinjer for åpen tilgang til forskningsresultater. Rapport til Kunnskapsdepartementet 14.06.2016. Hentet fra: https://www.regjeringen.no/contentassets/72e9794a183647e5b53ec39ba8cf516a/rapport-nasjonale-retningslinjer-for-apen-tilgang-til-forskningsresultater.pdf
Kunnskapsdepartementet (2017a). Nasjonale mål og retningslinjer for åpen tilgang til vitenskapelige artikler. 22. august 2017. Hentet fra: https://www.regjeringen.no/contentassets/ae7f1c4b97d34806b37dc767be1fce76/nasjonale-mal-og-retningslinjer-for-apen-tilgang-til-vitenskapelige-artikler.pdf
Kunnskapsdepartementet (2017b). Statsbudsjettet for 2018, kap. 260 - Tildelingsbrev for Norges teknisk-naturvitenskapelige universitet 21. desember 2017. Hentet fra https://www.regjeringen.no/contentassets/549eeb4245384a018368ba98f0e225b2/tildelingsbrev-2018-ntnu.pdf
Lykkja, Pål Magnus, Myklebust, Jan Petter (2018). Open science in the EU – Will the astroturfers take over? University World News 17.3.2018. Hentet fra http://www.universityworldnews.com/article.php?story=20180317044918836
Meho, Lokman I. (2007). The rise and rise of citation analysis. Physics World 20. s. 32-36.
Moher, D., Shamseer, L., Cobey, K. D., Lalu, M. M., Galipeau, J., Avey M. T. & Ziai, H. (2017). Stop this waste of people, animals and money. Nature 549, s. 23-25. doi: 10.1038/549023a
Morrison, Robbie (2018). Scholars seek open access in academic journal deal. WikiTribune 8.1.2018. Hentet fra: https://www.wikitribune.com/story/2018/01/08/europe/germany/german-scholars-seek-open-access-in-academic-papers-deal/33444/
Noorden, Richard V. (2012). Researchers feel pressure to cite superfluous papers. Nature.com. Hentet fra: http://www.nature.com/news/researchers-feel-pressure-to-cite-superfluous-papers-1.9968
Noorden, Richard V. (2014). Publishers withdraw more than 120 gibberish papers. Nature.com. Hentet fra: http://www.nature.com/news/publishers-withdraw-more-than-120-gibberish-papers-1.14763
PeerJ. (2017). Post-publication peer review history. peerj.com. Hentet fra: https://peerj.com/benefits/review-history-and-peer-review/
Schimmer, Ralf, Geschuhn, Kai K. & Vogler, Andreas (2015). Disrupting the subscription journals’ business model for the necessary large-scale transformation to open access. A Max Planck Digital Library Open Access Policy White Paper 28.04.2015. doi: http://dx.doi.org/10.17617/1.3
Seethapathy, Gopalakrishnan S., Austarheim, Ingvild & Wangensteen, Helle (2017). Skyggesidene ved åpen publisering: indiske forskere utnyttes av røvertidsskrifter. Nytt Norsk Tidsskrift 3/2017. s. 165-173. doi: 10.18261
Siler, Kyle, Lee, Kirby & Bero, Lisa (2015.) Measuring the effectiveness of scientific gatekeeping. PNAS 112(2). s. 360–365. doi: 10.1073/pnas.1418218112
Springer (2015). Retraction of articles from Springer journals. http://www.springer.com/gp/about-springer/media/statements/retraction-of-articles-from-springer-journals/735218
Taxt, Randi E. (2011). Åpenhet i forskning Hva, hvorfor og hvordan?. Hentet fra: https://it.uib.no/ithjelp/images/a/a6/%C3%85penhet_i_forskning_IT-forum_2011v_Taxt.pdf
Universitets- og høgskolerådet (2016). Om bruk av publiseringsindikatoren på lokalt nivå eller for enkeltforskere. Hentet fra: http://www.uhr.no/documents/Om_bruk_av_publiseringsindikatoren_p__lokalt_niv__eller_for_enkeltforskere.pdf
Wenaas, Lars (2012). Publikasjoner, delingskultur og tilgang til forskning. I Hallvard Fossheim, & Helene Ingierd (Red.) Forskning og penger. Oslo: De nasjonale forskningsetiske komiteer.