Stefan Wiens betonar vikten av transparens, och att forskaren har en skyldighet att öppet tillgängliggöra sina forskningsresultat och forskningsdata för allmänheten. Wiens argumenterar för preregistrering som en enkel men kraftfull metod för att förbättra kvaliteten och insynen i forskningen. ”Preregistrering tvingar forskarna att binda sig vid vissa hypoteser och analysmetoder innan själva datainsamlingen börjar. Resultaten från förhandsregistrerade forskningsstudier ser kanske inte lika ”rena” och ”snygga” ut, däremot ger de verklig övertygande bevisning för att betrakta något som ett vetenskapligt faktum”.

 

7 maj: Stefan Wiens föreläser på temat öppen vetenskap och preregistrering. Plats: Scenen, Frescatibiblioteket, SUB. Se filmen i spelaren ovan.

Länk till Stockholms universitetsbiblioteks podd Bakom bokhyllan avsnitt #17 - Forskningsfiffel, spektakulära halvsanningar och botemedlet mot alltihop, där Stefan Wiens pratar vidare i ämnet.

 

Vad ser du som de största fördelarna med open science?

Professor Stefan Wiens
Professor Stefan Wiens

– Den största fördelen är att det inte finns några nackdelar för forskningen. Vetenskap som inte är öppen och transparent är inte vetenskap. För att räknas som ett vetenskapligt faktum måste det finnas övertygande bevis som stöd för det. Om andra ska kunna bedöma evidensgraden måste forskaren vara beredd att dela sitt material och sina data. Eftersom vetenskapen är komplicerad, och fel uppstår, bör alla steg i forskningsprocessen vara transparenta och öppna för granskning. Genom öppenheten möjliggörs också framtida forskning, då forskare kan återanvända dessa data (till exempel för meta-analys) och bygga vidare på det material som delats. Eftersom forskning till stor del finanserias av offentliga medel är forskaren skyldig att öppet tillgängliggöra sina forskningsresultat och forskningsdata för allmänheten.

Vilka praktiska tillämpningar av open science ser du som mest betydelsefulla för god forskningspraxis?

– Psykologi och andra discipliner har haft svårigheter att reproducera och replikera tidigare resultat. Detta är allvarligt eftersom det undergräver förtroendet för forskningen. Strävan efter öppen vetenskap har dock hjälpt enormt i arbetet med att identifiera och lösa de underliggande problemen.

– För det första finns det många hjälpmedel som uppmuntrar till öppen vetenskap och som erbjuder enkla, men kraftfulla verktyg för att dela data och material öppet (till exempel COS.io, figshare.com). I princip kan vem som helst gå igenom materialet och kontrollera att alla steg är korrekta och rimliga. Till exempel, om det finns fel eller märkliga analysbeslut, kommer det inte som någon överraskning att andra inte kan få liknande resultat.

– För det andra bör en bra teori förklara tidigare resultat men också skapa hypoteser som förutsäger nya resultat. Tyvärr har det varit vanligt att generera hypoteser efter att ha undersökt (insamlade) data (HARKing  - Hypothesizing After Results are Known). Om hypoteserna genereras efter forskningsdata, matchar de självklart perfekt. En perfekt matchning är vilseledande eftersom den tyder på att teorin är bättre än vad den faktiskt kan vara. För att motverka detta måste forskare preregistrera sina hypoteser. Preregistrering tillåter forskare att definiera sina faktiska förutsägelser och bevisa att deras hypoteser kom före forskningsdatat. Preregistrering uppmuntrar också forskare att definiera metoder och analyser för att minska problematiken med analytisk flexibilitet.

– För det tredje är Registered Reports ett utmärkt publikationsformat som bör maximera förtroendet för resultaten. För närvarande utövar många tidskrifter en tabloidkultur. För att ett manuskript ska bli accepterat, måste resultaten vara nya och slutsatserna rena och entydiga. Detta fokus på rena resultat är tyvärr missledande eftersom forskning huvudsakligen bör utvärderas utifrån om idéerna är värda att driva, och om de planerade metoderna och analyserna är rimliga. Givet att dessa villkor är uppfyllda så bör resultaten alltid publiceras och vara upplysande. I en Registrered Report presenterar forskaren ett manus som innehåller idéer för en studie och hur forskaren planerar att genomföra den. Manuset granskas och accepteras i princip innan några forskningsdata har samlats in. Uppenbara problem med idén och designen kan behandlas tidigt. Denna procedur reducerar eventuell kritik efter att resultaten blivit kända (CARKing - Critiquing After the Results are Known). Det minskar också drivkraften hos forskare att tillgängliggöra överdrivet ”rena” resultat som kanske förvränger sanningen.

Vad ser du som de största utmaningarna med att tillämpa open science?

– Om forskare främst belönas för publikationer som innehåller nya, spektakulära idéer med överdrivet rena resultat, kommer de att fortsätta att leverera därefter. Alla måste inse att det sättet att bedriva forskning har allvarliga problem och vi behöver agera i enlighet med detta. Även om forskare erkänner att de har gjort misstag, är många långsamma att praktisera öppen vetenskap. På samma sätt behöver tidskrifter och forskningsfinansiärer anpassa sina riktlinjer för att underlätta för öppen vetenskap. Det vill säga, alla bör driva på arbetet för transparens, öppenhet och reproducerbarhet. En stor utmaning i processen blir att tillhandahålla utbildning och verktyg för att genomföra nödvändiga förändringar. Få forskare är utbildade i hur man hanterar och dokumenterar forskningsdata på ett korrekt sätt. Dessutom har många open access-tidskrifter fina titlar, men de publicerar forskningsresultat utan att dessa är sakkunniggranskade (peer review), (så kallade rovdjurstidskrifter, predatory journals). Såväl forskare som allmänheten behöver experthjälp för att identifiera och undvika sådana tidskrifter.

Vilka förändringar i forskningspolitiken och i forskarsamhället skulle kunna möta dessa utmaningar?

– Öppen vetenskap reducerar vinklad forskning och incitamenten måste förändras så att forskare belönas för att praktisera öppen vetenskap. Följaktligen bör forskningspolitiken belöna forskare som öppet tillgängliggör forskningsdata och som använder verktyg som möjliggör öppen och transparent forskning. Forskningspolitiken ska ge forskare möjligheter att utbilda sig i frågor om öppen vetenskap (till exempel datahantering och dokumentation). Politiken bör också stödja open access-tidskrifter och verktyg som möjliggör tillgängliggörande av forskningsdata då många av dessa idag är utvecklade och upprätthållna av ideella organisationer. Dessutom, vid bedömning av andra forskarkollegors arbete, bör insatser för öppen vetenskap betraktas som viktiga bidrag till forskarsamhället.

Har du något konkret exempel – positivt eller negativt – på där tillämpningen av open science har gjort skillnad i praktiken?

– En ögonöppnare för mig var en studie av Eyding et al. (2010, BMJ, https://doi.org/10.1136/bmj.c4737) om reboxetin för akut behandling av depression. Forskarna samlade in och integrerade forskningsresultat från olika publicerade studier (meta-analys) och fann att reboxetin var effektivt med få biverkningar. I arbetet med att hitta studier på området upptäckte forskarna dock många opublicerade studier som de fick kämpa för att få tillgång till. När de slutligen kombinerade de opublicerade studierna med de publicerade studierna visade resultatet av den sammanlagda studien att reboxetin var ineffektivt och potentiellt skadligt. I detta sammanhang är det kanske inte så förvånande att läkemedelsföretag inte var intresserade av att publicera resultat som inte var positiva. Detta är dock verkligheten även för många forskare vid universiteten, då flera tidskrifter avvisar artiklar där resultaten inte är positiva eller entydiga. Till exempel avvisades ett av mina manuskript med argumentet att även om studien var väl utformad och utförd, måste vi ha gjort något fel eftersom vi inte hittade någon statistiskt signifikant, positiv effekt. Studier ska utvärderas på grundval av idén och metoden, inte på de faktiska resultaten. Om någon genomför en grundlig studie är det viktigt att studien publiceras oavsett resultat. Detta är avgörande för att få en objektiv uppskattning av den verkliga effekten. I annat fall kommer resultaten att vara ensidiga, såsom visas av Eyding et al. (2010). Öppen vetenskap är nödvändig för att möjliggöra kvalitetskontroll och för att säkerställa att forskningsmaterial, metod och resultat bevaras för framtiden.

 

Lyssna mer i ämnet!

Länk till Stockholms universitetsbiblioteks podd Bakom bokhyllan avsnitt #17 - Forskningsfiffel, spektakulära halvsanningar och botemedlet mot alltihop, där Stefan Wiens pratar vidare i ämnet.