Tutkimuksista

Rydenfelt, Puolimatka & tutkimusetiikka

2015-02-06T21:31:00.004+02:00

Olen aiemmin kirjoittanut joitakin kirjoituksia tutkimuksen etiikasta. Olen käsitellyt mm. tutkimusten julkaisemiseen liittyviä asioita esimerkiksi kirjoituksissani tutkimusten julkaisemisesta ja vertaisarvioinnista. Suhtaudun mielenkiinnolla tutkimuseettisiin kirjoituksiin. Joskus tutkimuseettiset kirjoitukset kuitenkin ovat itse ongelmallisia. Törmäsin taannoin nettisivustoon, joka on ottanut mahtipontisesti nettiosoitteekseen etiikka.fi. Siellä törmäsin filosofi Henrik Rydenfeltin tutkimuseettiseen kirjoitukseen. Kirjoituksen keskiössä on erityisesti erään professorin toiminta, jota Rydenfelt kirjoituksessaan kritisoi, käyttäen ilmeisesti lähteenään erästä toista kirjoittajaa, joka on puolestaan käyttänyt lähteenään erästä kolmatta kirjoittajaa. Eduskunnan valiokunnat päättävät itse, keitä kutsuvat antamaan informaatiota päätöksentekonsa tueksi, ja asia liittyy erääseen valiokunnalle annettuun lausuntoon. Rydenfelt taustoittaa kirjoituksessaan asiaa toteamalla, että:

"Suomessa tutkimusetiikka harvemmin herättää intohimoja. Selvityksiä tutkimuseettisistä epäilyistä suoritetaan harvoin. Niissäkin helpoimmin esiin tulevat selvät plagiaatit, joissa toisen tekstiä, havaintoja tai johtopäätöksiä on kopioitu ilman asianmukaista viitettä."

ja kertomalla sitten, että kokeneita tutkijoita on harvemmin helppo osoittaa syyllistyneen tutkimusetiikan rikkomuksiin. Sitten hän esittelee tapauksen, jota aikoo kirjoituksessaan käsitellä:

Jyväskylän yliopiston kasvatuksen teorian ja tradition professori Tapio Puolimatka antoi Suomen Eduskunnalle tasa-arvoista avioliittolakia koskevan asiantuntijalausunnon (Puolimatka 2014)

Henrik Rydenfeltin aloitus on erikoinen. Lausunnon osoitteeksi väitetään Suomen Eduskuntaa, vaikka asiantuntijalausunnot osoitetaan lakiesityksiä käsitteleville valiokunnille. Jostain syystä Rydenfelt on myös nimennyt asiantuntijalausunnon toisin kuin alleviivauksen perässä esitetty lähde.

Kansalaisaloitteen "avioliittolain, rekisteröidystä parisuhteesta annetun lain ja transseksuaalin sukupuolen vahvistamisesta annetun lain muuttamisesta" valiokuntakäsittely tapahtui Lakivaliokunnassa. Edellä mainitulla tavalla nimenomaisesti todettiin viitatussa lähteessä (Puolimatka 2014). Rydenfelt on jostain syystä kuitenkin kirjannut viitteeksi lauseensa perään "Puolimatka 2014", vaikka väitteet edellä eivät vastaa lähteen sisältöä.

Rydenfeltin tekstin päähuomio on kahdessa Puolimatkalta poimitussa sitaatissa. Rydenfelt käytännössä väittää näissä sitaateissa olevan sellaista tekstiä, jota kunnollisen tutkijan ei pitäisi voida kirjoittaa. Puolimatkan lausunnossa voi olla virheitä. En tunne kunnolla tuon aihepiirin tutkimuksia, enkä ota alan tutkimusten sisällöllisiin asioihin kantaa. Mutta yleistä tutkimusten lukutaitoa käyttäen kiinnostuksesta tarkistin Rydenfeltin käyttämiä lähteitä, ja vertasin hänen väitteitään viitattuihin lähteisiin. Havaitsin, että lähteiden käyttö Rydenfeltin omassa kirjoituksessa ei vaikuta kestävän tarkempaa tarkastelua.

Ensimmäinen kyseenalainen sitaattikritiikki

Otsikolla "Siteeraukset puolitiessä" Rydenfelt näyttää ensin mallia sitaateista viittamalla lähteeseen "Moore 2002" kahteen kertaan. Tuolla artikkelilla on oikeasti kolme kirjoittajaa, eli viite on puolitiessään. Puolimatkan kirjoituksessa viite on tekstissä samalla tavoin virheellisesti, joskin hänen tekstissään lähdeviitteissä huomioidaan kirjoittajia olevan enemmänkin. Viittausvirheen kopioituminen viittaa siihen, ettei Rydenfelt ole ehkä tarkastellut alkuperäislähdettä, vaan kopioinut lähdeviitteen jostain sekundaarilähteestä. Rydenfeltin tuomio Puolimatkalle tämän lähteen osalta kuuluu:

Lainaus esittää kuitenkin vain puolitotuuden. Artikkelissa todetaan, ettei sen aineistossa voida erotella samasukupuolisia ja adoptiolasten vanhempia. Kirjoittajat siis nimenomaisesti huomauttavat, ettei aineiston perusteella voi tehdä johtopäätöksiä juuri samasukupuolisista vanhemmista ja lapsista:

En edes etsimällä ole löytänyt tällaista väitettyä toteamusta artikkelista. On tutkijan etiikan kannalta hyvin kyseenalaista kirjoittaa julkinen mielipidekirjoitus, jossa arvioi, onko joku toinen tulkinnut tiettyä artikkelia oikein, jos ei ole itse edes vaivautunut tutustumaan kyseiseen artikkeliin sen vertaa, että tietäisi, mitä artikkelissa todetaan ja mistä siinä ei edes kirjoiteta. Jos joku löytää artikkelista Rydenfeltin väittämän toteamuksen, voi sitaatin laittaa tämän kirjoituksen kommenttikenttään.

Tuo teksti löytyy nyt viitatun artikkelin yhteydestä artikkelin julkaisseen lehden Internet-sivuilta, mutta se ei ole osa varsinaista artikkelia, vaan erillisenä sivuna julkaistu artikkelin yhteyteen kirjoitettu kannanotto. Artikkelin sähköiseen PDF-versioon on sen alkuun jälkikäteen lisätty ylimääräinen sivu, jossa artikkelin yksi kirjoittaja (alkuperäisessä artikkelissa kirjoittajia oli kolme) ja lehden toimituskunnan edustaja menneessä aikamuodossa informoivat ne sanat, joita Rydenfelt väittää artikkelissa todetuiksi:

"Note: This Child Trends brief summarizes research conducted in 2002, when neither same-sex parents nor adoptive parents were identified in large national surveys. Therefore, no conclusions can be drawn from this research about the wellbeing of children raised by same-sex parents or adoptive parents."

Kannanotto on kokonaisuudessaan tuon mittainen. Jälkikäteiset lisäykset artikkeleihin ovat varsin harvinaisia, ja varsinkin sellaiset, joissa allekirjoittajana on vain osa alkuperäisistä kirjoittajista. Etiikka.fi -sivun kirjoitusta lukeva ei osaa arvata, että taustalla on artikkelin jälkikäteen tehty lisäys, sillä Rydenfelt antaa lukijalle kuvan, että tuo teksti olisi poimittu alkuperäisestä artikkelista.

Lisäyksessä itsessään ei ole mainittu sen julkaisupäivämäärää. Milloin tuo lisäys artikkeliin on tehty? Varmaa tietoa asiasta ei minulle ole, mutta kyseisen sitaatin historiaa Googlessa tarkasteltaessa löytyy yksi esiintymä vuodelta 2013 ja useampia vuodelta 2014. Nykyisen PDF-tiedoston viimeisenä muokkausvuotena näkyy vuosi 2013, joten on mahdollista, että kyseinen muutos artikkeliin on tehty vuoden 2013 puolella. Puolimatkan kirjoituksessa oleva lähdeluettelon PDF-linkki artikkeliin ei enää toimi. Edellä kuvatun historian johdosta on mahdollista, että kyseistä tekstiä ei ollut artikkelin PDF-versiossa siinä vaiheessa, kun Puolimatka on kirjoittanut lausuntoaan, tai sellaista varhaisempaa tekstiä, johon hänen asiantuntijalausuntonsa pohjautuu.

Henrik Rydenfelt viittaa tuohon lisäykseen viittamalla vuoteen 2002, joka ei pitäne siis tuon lisäyksen osalta paikkaansa. Rydenfelt jättää myöskin millään tavoin mainitsematta että kyse on jälkikäteen lisätyllä ylimääräisellä sivulla olevasta lisäystekstistä, joka ei ole alunperin ollut osa artikkelia.

Syy toimintaan saattaa olla joko siinä, ettei hän ole artikkelia lukenut, vaan siteerannut tekstipätkän toissijaisista lähteistä, tai siinä, ettei hän ole asiaa huomannut, tai siinä, ettei hän ole halunnut asiasta mainita. Vielä tätäkin suurempi ongelma kritiikissä on kuitenkin se, että alkuperäisessä kannanotossaan Puolimatka ei Rydenfeltin väitteistä huolimatta näytä näköjään Mooreen viitaten edes toteavan mitään "samasukupuolisista vanhemmista ja lapsista". Puolimatka näyttää toteavan asiaan liittyen, että

"Lapsen edut tulevat parhaiten huomioiduksi perhemallissa, jossa hän saa elää biologisen isänsä ja äitinsä kanssa."

Mooren, Jekielekin ja Emigin alkuperäisessä artikkelissa kohdassa "Implications for Public Policy" sanottiin vastaavasti:

"There is thus value for children in promoting strong, stable marriages between biological parents."

Alkuperäisessä artikkelissa puhutaan johtopäätöksissä nimenomaan biologisista vanhemmista, millä tarkoitetaan lapsen hedelmöittänyttä miestä ja lapsen synnyttänyttä naista. Nimenomaan biologisia vanhempia koskevat johtopäätökset myös Puolimatka näkyy tähän artikkeliin liittyen esittäneen.

Toinen kyseenalainen sitaattikritiikki

Toinen sitaatti, jota Rydenfelt käsittelee, on peräisin lähteestä Frank Furstenberg et al. (2003). Siitä Rydenfelt toteaa:

"Käytännön mukaisesti katkoviivalla (− −) on merkitty kohta, jossa alkuperäisestä tekstistä on jätetty pois joitakin sanoja.

Mitä sanoja? Alkuperäinen Furstenbergin ym. muotoilu kuuluu näin"

"Molempien biologisten vanhempiensa kanssa kasvaneet lapset pärjäävät tutkijoiden mukaan paremmin siksi, että yksinhuoltajien ja eronneiden äitien lapset ovat taloudellisesti heikommassa asemassa.

Kyse on yhden ja kahden vanhemman perheiden välisestä erosta, ei eri- tai samasukupuolisten vanhempien ja lasten muodostamien perheiden välisestä erosta. Tämä tulisi tekstistä ilmi, ellei Puolimatka olisi puolivälistä poistanut olennaista virkettä."

Koska aiemman sitaatin kohdalla Rydenfelt vaikutti jättäneen perehtymättä alkuperäislähteeseen, katsoin kiinnostuksesta, mitä Puolimatka aiheesta oli kirjoittanut. Seurauksena oli tutkimuseettisesti yllättävä löytö. Rydenfelt kritisoi näköjään ensin Puolimatkaa siitä, että tämä on jättänyt alkuperäisestä tekstistä pois sanoja, jotka vaikuttavat tekstin merkitykseen. Rydenfelt näkyy kuitenkin itse katkaisseen sitaattinsa Puolimatkan tekstistä kohdasta, jota seuraavassa virkkeessä Puolimatka näkyy kirjoittavan vertailukohteissa olevista yksinhuoltajuustaustoista, joiden mainitsematta jättämisestä Rydenfelt Puolimatkaa kritisoi. Puolimatkan teksti jatkuu nimittäin näin (Rydenfelt jätti sitaatistaan pois lihavoidun tekstin):

"Yksinkertaisesti sanoen, lapset hyötyvät yhdessä jatkuvasti asuvien vanhempien taloudellisesta ja emotionaalisesta panoksesta, ja tämä panostus on yleisesti ottaen suurempaa biologisten vanhempien kuin korvaavien vanhempien kohdalla." Tällaista tutkimustietoa on olemassa paljon, kun vertailukohteina ovat yksinhuoltajaperheet, uusperheet tai avosuhteet (Brown 2004, Manning et al 2004, McLanahan & Sandefur 1994). "

Miten tutkimuseettistä keskustelua kannattaisi käydä?

Henrik Rydenfeltin kirjoitus on julkaistu etiikkasivustolla, esiintyen etiikan asiantuntijana. Tutkimusetiikasta artikkelia kirjoitettaessaan tutkijan olisi aivan erityisellä tavalla syytä ennen tekstinsä julkaisua tutustua lähteisiin, joiden sisällöstä hän esittää kirjoituksessaan väitteitä, vieläpä lähdeviitteitä esittäen. Kirjoituksen ytimessä on kaksi sitaattia, joista molempien esittämisen kohdalla Rydenfelt informoi lukijaa kyseenalaisella tavalla. Virheet voivat olla kopioituneet toissijaisista lähteistä, joita Rydenfelt myös kirjoituksessaan mainitsee (Mattson ja Tamminen), tai sitten ne ovat peräisin jostain muualta. Niitä en ole lukenut, mutta en myöskään esitä väitteitä niiden sisällöstä. Olen tätä kirjoitusta laatiessa tarkastellut lähteinä etiikka.fi -sivustolla olevaa Rydenfeltin kirjoitusta, siinä käsiteltyä Puolimatkan kirjoitusta ja niitä Puolimatkan käyttämiä lähteitä, joiden käyttöä Rydenfelt on kirjoituksessaan käsitellyt.

Ensimmäisen Puolimatkalta poimitun sitaatin kohdalla kirjoittaja väitti Puolimatkan väittävän jotain sellaista, jota häneltä siteeratussa tekstissä ei lue. Ensimmäisen sitaatin kohdalla Rydenfelt esitti sitaatin, jota väitti artikkelissa olleeksi tekstiksi, mutta jätti kertomatta, että hänen esittämänsä sitaatti ei ole ollut alunperin osa artikkelia, ja että kyseinen teksti on lisätty jopa mahdollisesti Puolimatkan artikkeliin tekemän viittauksen jälkeen. Toisen sitaatin kohdalla Rydenfelt jätti mainitsematta sitaattiaan seuraavan virkkeen, jonka sisältö on tuossa kontekstissa olennainen, koska se sisältää juurikin sitä informaatiota, jonka puutteesta Rydenfalk sen sitaatin kohdalla kritiikkiä esittää. Henrik Rydenfeltin tutkimuseettinen kirjoitus sisältää varsin kyseenalaista lähteiden käyttöä, joka ei vastaa sen enempää hyvää tieteellistä käytäntöä kuin journalistien eettisiä ohjeitakaan.

Epäiltyihin virheisiin toisten kirjoituksissa tulisi vastata asiallisesti, ei tutkimus- tai toimituseettisesti kyseenalaisin tavoin, kuten toisen lausuntoja vääristellen. Tutkimusetiikkaa käsittelevissä kirjoituksessa tulisi olla erityisen tarkka siitä, että kirjoittaja ei tule esitelleeksi muunneltua totuutta muista ihmisistä tai näiden väitteistä.

YLE ja palkkojen nousu valmistuessa

2012-09-03T19:22:00.000+03:00

Tänään useiden uutismedioiden pääuutisena ainakin näiden verkkosivuilla on ollut YLE:n toimittajan tekemä uutinen siitä, paljonko valmistuminen vaikuttaa palkkaan. Uutisen otsikkona on: "Nousiko palkkasi valmistuttuasi?" tai "Näin paljon valmistuminen lihottaa palkkapussiasi". Molemmilla otsikoilla olevien juttujen sisältö ja kuvitus on suurinpiirtein sama.

YLE:n toimittaja Maria Blomberg kirjoittaa mm. näin:

"Joissakin ammateissa työkokemus vaikuttaa palkkaan tutkintoa enemmän. Toisissa tutkinnon tuoma pätevyys nostaa palkkaa tuntuvasti: Esimerkiksi juristi voi lähes tuplata ansionsa valmistumalla."

Kuvatekstissä julistetaan:

"Valmistunut lakimies tienaa 2452 € enemmän kuin ilman tutkintoa. Tarjoilijalle, toimittajalle ja kirvesmiehelle tutkinto tuo lisää 0 €."

Uutinen valitettavasti perustuu tilastojen väärinkäyttöön. Uutisessa on sekoitettu keskenään "työehtosopimuksen mukaisia vähimmäispalkkoja" (jotka on kuulemma merkitty tähdellä *), palkkatutkimusten mukaisia keskipalkkoja ja jotain muita tietoja.

Vaikka toimittaja muuta väittää, ainakaan ekonomeilla ja diplomi-insinööreillä ei ole edes olemassa mitään yhtä ja yleistä "työehtosopimuksen mukaista vähimmäispalkkaa". (Minimi)palkan suuruus riippuu siitä, mihin menee töihin, vai alkaako yrittäjäksi. Palkkaan vaikuttaa niin toimiala kuin työtehtäväkin. Lääkäreidenkin palkat riippuvat paljon työnantajasta. Sairaalalääkärin palkka, terveyskeskuslääkärin palkka tai yksityisen keikkalääkärin palkka määrittyvät eri tavoin.

Kampaajista puolestaan merkittävä osa on yrittäjiä. Toimittaja näkyy poimineen kampaajan palkaksi 1675 euroa, joka ei ole kuitenkaan edes alan TESin mukainen vähimmäisansio (hiusalan vähimmäisansioksi on TESissä määritelty 1332 €, jonka saa, jos on palkkaryhmässä 1-2 ja kuuluu alueluokkaan II). Toimittajan poimima luku puolestaan on 1. palkkaryhmän mukainen takuupalkka pääkaupunkiseudulla aikavälillä 1.5.2012-31.12.2012 (lähde sivu 22). Pääkaupunkiseudulla vähäisen työkokemuksen omaavan kampaajan vähimmäisansio on TESin mukaan 1446 euroa kuussa.

Moni luokanopettaja (eli luokkien 1-6 opettaja) on aiheellisesti kysellyt, missä he voisivat tienata heti valmistumisen jälkeen mainitun 3278 euroa. Tavallisten luokanopettajien palkkataulukot (OVTES) kun eivät nouse niin korkealle edes ikälisien kanssa, saati heti valmistumisen jälkeen. Rehtorin asemassa luokanopettaja voi kyllä päästä mainittuun tuloluokkaan, mutta heti valmistumisen jälkeen ei ainakaan kuntatyönantajalla ole mainittuihin tuloluokkiin luokanopettajilla yleensä asiaa.

Osa vertailuista puolestaan perustuu johonkin "keskimääräiseen" ansioon. Ei voida kuitenkaan väittää, että esimerkiksi vasta lakimiehen palkka ponnahtaisi 2462 euroa sillä hetkellä kun tämä valmistuu. Lakimies kuin ei siinä hetkessä muutu 20 vuotta vanhemmaksi, ja aiempaa selvästi kokeneemmaksi. Keskimääräinen lakimiehen palkka puolestaan tarkoittaa kuitenkin käytännössä juuri suhteellisen kokeneen, keski-ikäisen lakimiehen palkkaa. Luvut ovat keskenään vertailukelpoisia, mutta eivät sillä tavalla kuin toimittaja asian esittää.

Vaikka uutinen on esitetty niin, että valmistuminen johtaisi uutisessa mainittuihin palkkatason muutoksiin, vertailukohtina eivät ole olleet juuri valmistumassa olevat ja juuri valmistuneet todellisine palkkatasoineen. Taulukossa ei siksi tosiassa ole vertailtu valmistumisen vaikutusta palkkapussin suuruuteen, vaan jotain ihan muuta.

Higgs heinäkuussa 2012

2012-07-06T18:47:00.000+03:00

Viime päivinä on lehdistössä ollut paljon uutisia Higgsin hiukkasen metsästyksestä ja aiheesta julkaistuista tuloksista. Higgsin hiukkasen metsästys on ollut tuhansien tutkijoiden yhteisprojekti. Se on ollut ehkä monessakin mielessä monitieteellistä tutkimusta parhaimmillaan.

Vähemmälle huomiolle on jäänyt se, minkälaisia ennustuksia Higgsin hiukkaseen liittyen oli tehty, miten ne nyt täyttyivät - ja mitä ennusteita tällä hetkellä on olemassa, joihin odotetaan jatkotutkimuksista joko vahvistusta tai poikkeamia. Näihin kysymyksiin on vastannut Lauri A Wendland erinomaisessa yleistajuiseksi muotoillussa tiivistelmässään, joka kannattaa lukea kokonaisuudessaan. Tulevasta hän kirjoittaa:

"Teoria ennustaa, että standardimallin Higgsin bosonin spin-kvanttiluku on, toisin kuin millään tunnetulla alkeishiukkasella, nolla. Teoria ennustaa myös, että hiukkanen käyttäytyy symmetrisesti vasenkätisen ja oikeakätisen koordinaatiston välillä, ts. sen pariteetin odotetaan olevan +1. Lisäksi standardimallin Higgsin bosonin hajoamissuhteet, ts. millä todennäköisyydellä se hajoaa mihinkin hajoamiskanavaan, ovat tarkkaan ennustetut tapauksille, jossa Higgsin bosoni hajoaa välibosoneihin tai fotoneihin. Kesäkuun loppuun mennessä kerätty datamäärä ei riitä tekemään luotettavaa johtopäätöstä näistä ominaisuuksista. Eräs avoin kysymys on myös se, että jos havainto osoittautuisi Higgsin bosoniksi, onko niitä useampia kuin yksi?

Hyvä uutinen on se, että LHC-kiihdyttimen odotetaan tuottavan tänä vuonna dataa vielä n. 15/fb verran. Ennusteiden mukaan tämän pitäisi riittää uuden hiukkasen ominaisuuksien tutkimiseen ja vastaamaan kysymykseen siitä, onko kyseessä Higgsin bosoni vai ei."

Vielä vuosi sitten oli aika toisenlainen ääni kellossa. Osa piti jo Higgsin löytymättömyyttä varsin todennäköisenä asiana. Muun muassa Hawkinsin vanha veto vuodelta 2000 kaivettiin esiin, ja esitettiin, että Hawkins olisi mahdollisesti voittanut vetonsa. Nyt vaikuttaa siltä, että Hawkinsille on käymässä kuten aiemminkin tiedettä koskevan veikkauksen kohdalla. Vedonlyönti näyttäisi menneen metsään. Suurista summistahan näissä tieteen tulevia löytöjä koskevissa vedonlyönneissä ei ole ollut kyse, vaan ennemminkin julkisuustempauksista.

Julkisuustempauksesta oli kyse myös Cernin tiedotustilaisuudessa Higgsiin liittyen: mediat ympäri maailman saatiin seuraamaan samanaikaisesti tiedotustilaisuutta ja sen tuloksia - siitä huolimatta, että hyvin pieni osa toimittajista ymmärsi, mistä tilaisuudessa edes puhuttiin. Eräänlainen saavutus sekin. On hyvä, että korkeampaa fysiikkaa vähemmän tuntevillekin kirjoitetaan Wendlandin kirjoituksen tapaisia tiivistelmiä aiheesta. Vaikeista asioista on vaikea kirjoittaa riittävän yksinkertaisesti, jotta sellainenkin lukija, joka ei ole juuri kyseisen alan asiantuntija, voisi kokea ymmärtävänsä asiasta jotain.

JCDecaux Finland, BOB Helsinki ja alkoholimainonta

2012-06-18T19:03:00.002+03:00

Lähikuukausina mainospaikkoja myyvä JCDecaux Finland, mainostoimisto BOB ja Panimoliitto ovat käyneet voimakkaasti erikoislaatuista kampanjaa alkoholimainontaan liittyen. Tänään uutisissa kerrottiin, kuinka Ehkäisevä päihdetyö EHYT ry on arvostellut tätä kampanjaa. Kiistan aiheena on se, vaikuttaako alkoholimainonta kulutuskäyttäytymiseen. Mainostoimistot ovat väittäneet, että alkoholimainonta ei lisää alkoholin kulutusta, vaan että mainonta vaikuttaa lähinnä vain alkoholimerkin valintaan. Tämän kampanjalaiset väittävät olevan suorastaan faktan. He vetoavat myös tutkimustietoon:

"Kampanjan yhteydessä tehdyn kyselyn mukaan 93 prosenttia suomalaisista ei usko, että markkinoinnin rajoittaminen vähentäisi omaa alkoholin käyttöä (4 % uskoo sen vähentävän, ja 3 % ei osaa sanoa vähentäisikö). Tutkimuksessa kysyttiin 500 suomalaiselta, uskovatko he, että alkoholimainonnan kielto vähentäisi omaa alkoholin käyttöä. Tutkimuksen virhemarginaali on 2 prosenttiyksikköä suuntaansa." (Lähde: JCDecauxin kampanjasivu)

Tällaisen vetoamisen ongelma on ilmeinen. Mainostoimistot tietävät takuulla sen, että suuri osa mainosten vaikutuksesta on sellaista, jota ihminen ei itse tiedosta. Mainoksillahan pyritään vaikuttamaan ihmisen vähemmän rationaaliseen päätöksentekoon: mielikuviin ja vastaavaan, ja näiden vaikutusten kautta heidän käyttäytymiseensä. Siksi mainostamisen vaikuttavuutta EI OLE MIELEKÄSTÄ mitata kysymällä ihmisiltä, vaikuttaako jokin mainonta heihin vai ei. Lukuisia kertoja tutkimuksissa ihmiset ovat sanoneet, ettei mainonta vaikuta heihin - ja havaittu mainonnan vaikutusten ihmisten luuloista huolimatta näkyneen kuitenkin ihmisten käyttäytymisessä. Ihmisten paikkansapitämättömistä vastauksista johtuva virhemarginaali on tällaisissa kysymyksissä paljon suurempi kuin virhemarginaaliksi esitetty 2 prosenttiyksikköä. Mielekkäämpi tapa tutkia mainonnan vaikuttavuutta olisi ollut vaikka se, jos olisi kysytty haastatelluilta 500 henkilöltä sekä alkoholin käytön määrää että sitä, muistavatko nämä nähneensä alkoholimainontaa, minkä jälkeen olisi voitu verrata sitä, ovatko nämä kaksi asiaa yhteydessä toisiinsa. Sellainen kysely olisi voinut tuottaa kiinnostavampia tuloksia. Yhdysvalloista on raportoitu, että sillä, kuinka paljon etenkin nuoret näkevät alkoholimainontaa, olisi yhteys siihen, paljonko he alkoholia käyttävät (Snyder et al. 2006). JCD:n toimitusjohtaja on kirjoittanut vähän vastaavasti kampanjan Facebook-sivulla:

"Eri tuotekategorioiden kokonaiskulutusta kasvattavat parhaiten ns tuoteinnovaatiot, jotka aikaansaavat syitä kuluttaa jopa lisää. Jos tuoteonnovaatioita ei ole, alkaa tuotekategorian kokonaiskulutus vähitellen hiipua. Tällöin usein luodaan markkinoinnillisia innovaatioita aikaansaamaan innovatiivisuuden mielikuvaa ja tätä myötä ylläpitämään kulutusta. [...] on tuotekategorioita jossa edellä esitettyjä innovaatioita on vähemmän. Alkoholijuomat on tällainen etabloitunut tuotekategoria - innovaatiot ovat pääsääntöisesti uutuusmakuja, pakkausuudistuksia ja muita mielikuvallisia toimenpiteitä. Kyseiset innovaatiot eivät kasvata kokonaiskulutusta, koska ne eivät luo kuluttajille riittäviä rationaalisia syitä tähän. Siksi mietojen alkoholijuomien kokonaismarkkina ei kasva. [...] Kun yksi tuotemerkki onnistuu kasvattamaan osuuttaan markkinasta, ja siis myyntiään sekä kulutustaan, jokin toinen merkki häviää samalla. Kokonaismarkkina kun ei kasva. Tämä on fakta, ei fiktio, suomalaisesta mietojen alkoholijuomien markkinasta." (Lähde: Kommentti kampanjan Facebook-sivulla, korostus lisätty)

Toimitusjohtaja tulee sivumennen vahvistaneeksi kommentissaan sen asian, jota koko kampanja pyrkii kieltämään: alkoholimainonnalla on tarkoitus ylläpitää kulutuksen tasoa, ja estää kuluttajille tietynlaisia mielikuvia luomalla kulutusta alentamasta, mitä ilman mainontaa voisi tapahtua. Vastaavasti alkoholimainosten näkemättä jäämisellä saattaisi olla ainakin joidenkin ihmisten kohdalla alkoholin kulutusta vähentäviä vaikutuksia.

Panimoteollisuuden aiheesta esittämä kuvaaja

Panimoliitto on osana kampanjaa laittanut kotisivuillaan etusivulleen kuvaajan, jossa esitetään alkoholin kokonaiskulutusta Suomessa sekä alkoholimainontaan (ilmeisesti Suomessa) käytettyä rahaa tuhansina euroina. Kuvaan on valittu 8 tarkasteluvuotta, eikä esimerkiksi kokonaisen vuosikymmenen (tai useamman vuosikymmenen) tarkastelujaksoa, mikä olisi ollut normaalimpi käytäntö. Pohdin syytä sille, miksi tarkasteluvuosiksi on valittu juuri nämä. Mahdollinen selitys löytyi tilastoista (ks. alempi kuvaaja): jos tarkasteluun olisi otettu koko vuosikymmen, kulutuskäyrä olisi näyttänyt nousua, mitä Panimoteollisuus ei ehkä erityisesti halunnut kuvaajalla näyttää. Vuoden 2004 jälkeen alkoholin kulutuksen kasvu on Suomessa pysähtynyt.

Panimoliitto: "Alkoholijuomien mainontaan käytetty raha ei vaikuta alkoholin kokonaiskulutukseen." (Lähde sekä yllä olevalle kuvaajalle että sen yhteydessä olevalle tekstille: Panimoliiton etusivu).

Alkoholijuomien kulutus asukasta kohti 100-prosenttiseksi alkoholiksi muutettuna Suomessa vuosina 1960-2010. (Lähde: Stakes)

Panimoteollisuuden esittämää väitettä, että "Alkoholijuomien mainontaan käytetty raha ei vaikuta alkoholin kokonaiskulutukseen"ei ainakaan tuo kahta muuttajaa esittävä kuvaaja osoita. Kuten lukuisista tutkimuksista tiedetään, alkoholin kulutukseen vaikuttaa samanaikaisesti monta tekijää. Tällainen kahden muuttujan tarkastelu on tietämätöntä lukijaa herkästi harhaanjohtava. Vastaavalla tavalla voisi koittaa osoittaa suuren osan mainonnasta olevan sellaista, jossa "mainontaan käytetty raha ei vaikuta kokonaiskulutukseen." Se, että jokin vaikuttaa, ei tarkoita sitä, että tämän täytyisi olla ainoa vaikuttava muuttuja - tai edes pääasiallinen vaikuttaja.

Mainonnan lisäksi alkoholin käyttöön vaikuttaa mm. alkoholin hinta ja saatavuus. Eri tekijöiden vaikutuksen suuruus on erilainen eri kuluttajasegmenteissä. Kun alkoholin hinta nousee selvästi, etenkin eräissä kuluttajasegmenteissä kulutus laskee herkästi, tai jos alkoholin hinta laskee selvästi, kulutus eräissä kuluttajasegmenteissä vastaavasti herkästi nousee. Tämä ilmiö näkyy myös alla olevasta kuvaajasta, johon on lisätty myös alkoholin hintamuuttuja. Vuoden 2004 alkoholin hinnanlaskua seurasi alkoholin kulutuksen kasvu. Sen jälkeen alkoholin hinta pysyi suurin piirtein paikoillaan, samoin alkoholin kulutus. Vuoden 2008 jälkeen alkoholin hinta on ollut nousussa - ja kulutus laskussa.

Alkoholijuomien kulutus, mainonta, sekä Koskenkorvan ja III-oluen hinta. Tiedot esitettiin niiltä vuosilta, joilta löysin nopeasti etsiessäni ainakin kahdelle muuttujalle tilastoidun arvon. Vuotta 2006 edeltäviä III-oluen hintatietoja ei Tilastokeskuksen sivustolta löytynyt.

Kokeilin lähinnä huvin vuoksi sitä, miltä Panimoteollisuuden esittelemä kuvaaja näyttäisi laskettuna 2 vuoden keskiarvoilla. Tällainen tarkastelu tasoittaa sen vaikutusta, minkä vuoden puolelle alkoholin mainonta tai kulutus on tilastoitunut, ja näyttää paremmin kehitystrendejä. Lopputuloksena oli kuvaaja, jossa alkoholin kulutus ja mainonta näyttäisivät olevan toistensa kanssa yhteydessä. Korreloimista voinee selittää sillä, että alkoholiteollisuus panostanee mainontaan suurin piirtein tietyn prosenttiosuuden myynnistä vuosittain. Mutta pieni osaselitys korrelointiin voi olla myös mainonnan roolilla kysynnän ylläpitäjänä

Alkoholin kulutus ja mainonta Suomessa kahden vuoden keskiarvoina vastaavina vuosina.

Tutkimuksista

On aiheesta julkaistu kunnollisiakin tutkimuksia. Niistä voisi kirjoittaa pidemmältikin, mutta esitän nyt vain pintaraapaisun aihepiirin tutkimuskirjallisuuteen. Arvovaltaisessa lääketieteellisessä Lancet-julkaisussa tehdyssä laajassa katsauksessa aihepiiristä tehtyihin tutkimuksiin päädyttiin siihen, että kustannustehokkaita tapoja vähentää alkoholin käytön aiheuttamia haittoja olisivat tutkimusten mukaan alkoholin tekeminen kalliimmaksi, vaikeammin saatavaksi sekä - mikäs muukaan kuin - alkoholimainonnan rajoittaminen (Anderson et al. 2009). He tuovat myös esiin sen, että informointi ja koulutus eivät ole osoittautuneet pitkävaikutteisiksi tavoiksi alkoholin käyttöön vaikuttamisessa. Itse asiassa muutama tutkimus on viitannut jopa siihen, että esimerkiksi alkoholiteollisuuden harjoittamat kampanjat "vastuullisen" alkoholin käytöstä sisältävät monimerkityksellisiä viestejä. Markkinointia on rakennettu niin, että nämä mainokset itse asiassa saattavat lisätä alkoholin myyntiä, samaan aikaan pyrkien kiillottamaan alkoholiteollisuuden julkisuuskuvaa (Smith et al. 2006).

Kännissä olet ääliö?

Alussa mainitsemassani uutisessa EHYT ry:n edustaja viittasi "Kännissä olet ääliö" -nimiseen kampanjaan, jota JCD oli myös aiemmin toteuttamassa. Pyrin tutustumaan hieman tuohon menneeseen "Kännissä olet ääliö" -kampanjaan. Alkoholiteollisuuden (näennäis)"kestävän" mainonnan merkki on mm. tosiallinen pyrkimättömyys vähentää alkoholin kokonaiskulutusta. Mitään alkoholibrändiä ei pseudomainoskuvissa tapaa näkyä, ettei katsoja saisi vahingossakaan negatiivista kuvaa mistään alkoholimerkistä. Kuvissa huomiota ei ylipäätään kiinnitetä alkoholiin, vaan ihmisiin ja näiden ympäristöön. Pyrkimys on luoda alkoholiteollisuudesta vastuullista kuvaa vanhemmalle väestölle, tavalla jonka nuoret kokevat loppujen lopuksi viestinnällisesti rennoksi ja trendikkääksi. Miten "Kännissä olet ääliö" -kampanja tähän sopii? Erinomaisesti. Missään kampanjan kuvassa ei näy yhtään alkoholimerkkiä. Ei edes tölkin kyljessä. Lopputulos on mahdollisesti se, että kampanjan katsova nuori ei sen nähtyään keskimäärin suhtaudu ainankaan pitkäaikaisvaikutuksellisesti alkoholiin ja etenkään alkoholiteollisuuteen ainakaan kielteisemmin kuin mitä ennen tuon alkoholiteollisuuden tuottaman kampanjamateriaalin näkemistä. Kampanja näkyy seuraavan sellaisia kansainvälisiä "alkoholivalistus"-esimerkkejä, joiden on raportoitu saattavan olla ennemminkin alkoholin käytön piilomainontaa kuin alkoholin käyttöä ehkäisevää toimintaa.

Kirjallisuutta

Anderson, P.; Christholm, D. & Fuhr, D. 2009. Effectiveness and cost-effectiveness of policies and programmes to reduce the harm caused by alcohol. Lancet 2009; 373: 2234-46.

Hastings, G.; Anderson, S.; Cooke, E. & Gordon, R. 2005. Alcohol Marketing and Young People's Drinking: A Review of the Research. Journal of Public Health Policy. 26:3. 296-311.

Smith, A.; Atkin, C. & Roznowski, J. 2006. Are "Drink Responsibly" Alcohol Campaigns Strategically Ambiguous?. Health Communication. 20:1-11.

Snyder, L.; Milici, F; Slater, M.; Sun, H, & Strizhakova, Y. 2006. Effects of Alcohol Advertising Exposure on Drinking Among Youth. Archives of Pediatrics & Adolescent Medicine. 160:1.

Sammakon hapenottokyky ja genomin muutosnopeus korreloivat?

2012-04-13T17:20:00.001+03:00

Erilaisten myrkkysammakoiden tutkimukseen erikoistuneen Juan C. Santos uusi tutkimus on julkaistu hiljattain Biology and Evolution -nimisessä lehdessä.

Tuloksista merkittävin lienee se, että hän raportoi löytäneensä yhteyden sammakoiden fysikaaliselle kunnolle ja genomin muutosnopeudelle. Hyvässä fysikaalisessa kunnossa olevilla sammakoilla genomin muutosnopeus vaikutti suuremmalta.

Santos tutki lähes 500 myrkkysammakkoa, jotka edustivat reilua 50 lajia. Hän laittoi sammakot 4 minuutin mittaiseen "kuntotestiin" ja mittasi sitten näiden hapenottokykyä. Hapenottokyky oli tämän mittarin mukaan fysikaalisilta edellytyksiltään parhailla lajeilla jopa viisinkertainen sen osalta heikoimpiin nähden.

Toisena osana tutkimustaan Santos tarkasteli sitä, kuinka paljon kunkin lajin sammakoiden genomit olivat muuttuneet sukupolvien välillä. Verratessaan tuloksia hapenottokykytuloksiin hän huomasi tulosten korreloivan.

Jo ennestään on tiedetty genomin muutosnopeuden vaihteluista, ja esitetty erilaisia syitä sille, miksi muutosnopeus vaihtelee eri lajeilla (esim. lajin koko, elinaika jne.). Yksi tekijä ei selittäne koko ilmiötä, vaan ilmiön taustalla lienee monenlaisia tekijöitä. Mutta erilaisten ilmiön taustalla olevien tekijöiden joukkoon löytyi tämän tutkimuksen myötä yksi mahdollinen vaikuttava (lisä)tekijä.

Lisätietoa aiheesta:
Juan C. Santos: Fast Molecular Evolution Associated with High Active Metabolic Rates in Poison Frogs

Kaikki tulokset - ei vain osa - tulisi julkaista

2012-04-11T20:59:00.003+03:00

Viime aikoina suomalaisissa medioissa on käyty paljon keskustelua lääketieteellisen tutkimuksen etiikasta. Esimerkiksi Helsingin Sanomissa oli tänään ainakin kolme mielipidekirjoitusta juuri tähän teemaan liittyen. Muualla mailmalla on tällä hetkellä aiheesta kuitenkin ollut aktiivista keskustelua jo jonkin aikaa.

Ongelma voidaan tiivistää siihen, että saadakseen mainetta tutkijan täytyy julkaista merkittäviä tuloksia. Myös lääketieteelliset lehdet haluavat saada julkaistavakseen kiinnostavia ja jopa yllättäviäkin tuloksia. Lääkeyhtiöt puolestaan toivovat, että heidän lääkkeitä koskevat tutkimukset ovat sellaisia, joissa lääkeaineella näkyy positiivisia terveysvaikutuksia.

Näiden tekijöiden yhteissumma on se, että sekä tutkijan uran kannalta, lääketieteellisen lehden kannalta (jotta se saa paljon lukijoita) ja tutkimuksia suoraan ja epäsuorasti rahoittavien lääkeyhtiöiden kannalta on kannattavaa saada lääketieteellisiin lehtiin sellaisia julkaisuja, joissa tulokset ovat positiivisia.

Kansantalouden ja lääkkeitä käyttävän väestön kannalta sen sijaan ei ole toivottavaa, että lääkkeiden seassa on sellaisia aineita, joiden vaikutukset eivät ole niin hyviä kuin mitä julkaistujen lääketutkimusten mukaan pitäisi odottaa. Harva tutkija haluaa varsinaisesti huijata. Tuloksista vain julkaistaan usein sellaiset, jotka ovat lähtöhypoteesin kannalta suotuisia. Vastaavasti ei-niin-toivotut koetulokset jätetään herkästi julkaisematta.

C. Glenn Begley julkaisi hiljattain tuloksiaan syöpätutkimusten parista. Hän oli koonnut ryhmän, joka pyrki toistamaan 53 merkittävää syöpätutkimusta. Niistä monet olivat tulleet hyvin laajamittaisesti siteeratuiksi. Niiden tuloksia oli siis käytetty laajamittaisesti lähdeaineistona muissa lääketieteellisissä tutkimuksissa. Valitettavasti niistä vain 6:n kohdalla tulokset tulivat vahvistetuiksi. Muiden 47:n kohdalla näin ei käynyt.

Syitä on monia. Menetelmät ovat saattaneet erota, samoin kokeissa olleet ihmiset taustoineen, samoin heidän täsmällinen taudinkuvansa. Silti tulos herättää monenlaisia kysymyksiä aivan lääketieteen huippujulkaisuissa julkaistuista tutkimuksista. Raportoitiinko tutkimuksissa kaikesta aivan rehellisesti?

Begley kertoo erään esimerkin. Hän oli tavannut erään sellaisen tutkimuksen vetäjän, jonka tuloksia ei ollut saatu toistettua. Kerrottuaan, että he olivat yrittäneet peräti 50 kertaa toistaa koetta, saamatta samaa tulosta, oli kyseinen merkittävä tutkija vastannut, että heilläkin tuloksen saaminen kesti kuuden yrityksen verran. Tutkimuksessaan he raportoivat kuitenkin vain onnistuneesta yrityskerrasta - mainitsematta sanallakaan epäonnistuneista muista yrityksistä.

Epäonnistuneista yrityksistä kertominen on merkittävä asia siksi, että lääketieteelliset tutkimukset pohjaavat usein tilastolliseen päättelyyn. Varsin usein käytetään sellaista tilastollista rajaa, jossa tulos katsotaan tilastollisesti merkitseväksi, jos laskennallinen riski sen väärässä olemiseen (ns. väärän positiivisen tuloksen saamiseen) on 5 %. Toisinaan käytetään esimerkiksi tiukempaa 1% rajaa. Jos yrityskertoja tehdään lukuisia, tällainen periaate johtaa siihen, että toisinaan jo ihan sattuman takia tulos menee tilastollisesti merkitsevän tuloksen puolelle. Jos tehdään lukuisia yrityksiä, ja näistä vain positiiviseen tulokseen johtaneet tulokset raportoidaan, ei tilastollisia merkitsevyyksiä kannata edes laskea. Tilastollisesta merkitsevyydestä puhumisen edellytys on se, että aineisto vastaa saatuja tuloksia, eikä siitä ole pudotettu pois ei-toivottuja tuloskertoja.

Mikä ratkaisuksi ongelmaan?

Mielestäni keskeinen ratkaisu tähän ongelmaan on siinä, että tilastollisesti ei-merkitseviäkin tuloksia pitäisi alkaa arvostaa ja julkaista enemmän. Usein sellaiset tulokset katsotaan sellaisiksi, joita julkaisuihin ei haluta mielellään lähettää. Mutta potilasturvallisuuden kannalta on tärkeää, että niitäkin julkaistaisiin aktiivisesti, jos tulokset siihen suuntaan viittaavat. Toinen asia on se, että julkaisuissa tulisi vaatia sen kertomista, kuinka monta yrityskertaa tutkimustuloksen taustalla on - ja kannanottamista siihen, miksi muut yrityskerrat on hylätty. Toisinaan osan aineistosta hylkääminen on perusteltua. Mutta aina se ei sitä ole.

Lähteet
Sharon Begley 28.3.2012: In cancer science, many 'discoveries' don't hold up
C. Glenn Begley & Lee M. Ellis. Raise standards for preclinical cancer research. 29.3.2012. Nature. Vol 483. 531-533.

Vielä vertaisarvioinnista

2010-04-20T00:00:00.007+03:00

Edellisessä kirjoituksessani käsittelin vertaisarviointiprosessien eräitä ongelmakohtia. Näen vertaisarvioinnin hyvänä ja positiivisena asiana, mutta niin hyvä idea kuin vertaisarviointi onkin, sekään ei valitettavasti aina takaa julkaistavien tutkimusten hyvyyttä.

Rennie Drummond purki turhautumistaan vertaisarvioinnin ongelmiin ensimmäisessä biokemiaa käsitelleessä vertaisarviointi-aiheisessa konferenssissa näin vuonna 1986:

"One trouble is that despite this system, anyone who reads journals widely and critically is forced to realize that there are scarcely any bars to eventual publication. There seems to be no study too fragmented, no hypothesis too trivial, no literature citation too biased or too egotistical, no design too warped, no methodology too bungled, no presentation of results too inaccurate, too obscure, and too contradictory, no analysis too self-serving, no argument too circular, no conclusions too trifling or too unjustified, and no grammar and syntax too offensive for a paper to end up in print."

(Vapaasti suomennettuna: Eräs ongelma on, että huolimatta systeemistä, kaikkien tieteellisiä julkaisuja laajalti ja kriittisesti lukevien on jossain vaiheessa pakko todeta että on tuskin mitään sellaista virhettä, mikä voisi varmuudella estää julkaisemisen. Ei vaikuta olevaan tutkimusta, joka olisi ollut liian fragmentoitu, yhtään hypoteesiä joka olisi ollut liian triviaali, yhtään kirjallisuussitaatti joka olisi ollut liian virheellinen tai omahyväinen, mitään (tutkimus)suunnitelmaa joka ei olisi ollut liian vääristynyt, mitään metodologiaa joka olisi ollut liian hätiköity, mitään tulosten esitystä, joka olisi ollut liian virheellinen, epämääräinen tai ristiriitainen, mitään analyysiä joka olisi ollut liian omaa etua tavoitteleva, mitään väitettä joka ei olisi ollut liian kehäpäätelmäinen, mitään johtopäätöstä joka olisi ollut liian mitätön tai oikeuttamaton, eikä sellaista kielioppiin tai lauseoppiin liittyvää virhettä - joka olisi estänyt tutkimuksen päätymisen julkaistavaksi."

Havaittuihin ongelmakohtiin on pyritty puuttumaan, mutta siltikin jatkuvasti vertaisarvioinnin läpäisee huonosti laadittuja tutkimuksia. Seuraavaksi aion ottaa käsittelyn alle yhden tutkimuksen, ja käsitellä sen kautta vertaisarviointiin liittyviä ongelmia.

Luettavaa

Drummond, R (1986) Guarding the Guardians: A Conference on Editorial Peer Review JAMA. 256 No 7

Drummond, R (2002) Fourth International Congress on Peer Review in Biomedical Publication JAMA. 287 No 21

Vertaisarviointi

2010-04-18T19:59:00.012+03:00

Vertaisarvioinnin idea

Vertaisarviointi on olennainen osa nykyistä tutkimusmaailmaa. Tutkimukset pyritään saattamaan ennen niiden julkaisua alan muiden ammattilaisten arvioitaviksi. Näin pyritään välttämään ainakin suurimmat kömmähdykset. Vertaisarviointitoiminnan tuottama etu on se, että vertaisarvioinnin läpi käyneet julkaisut ovat yleensä todennäköisesti luotettavampia ja faktatiedoiltaan vähemmän pielessä kuin sellaiset, jotka on julkaistu ilman vertaisarviointiprosessia. Huonoimmat tutkimusluonnokset jäävät vertaisarvioinnin haaviin, eivätkä päädy vertaisarvioituun julkaisuun. Näin ainakin ideaalitapauksessa.

Vertaisarvioinnin haasteet

Vertaisarviointi ei ole kuitenkaan täysin ongelmaton käytäntö. Tutkimusten arvioijat ovat ihmisiä. Toisinaan vertaisarvioijat eivät osaa tunnistaa luonnostekstien pahojakaan virheitä, ja vertaisarvioinnin läpäisee myös erittäin huonosti tehtyjä tutkimuksia. Syitä tähän on monia: usein vertaisarvioijat eivät ole päteviä arvioimaan heille annettua tekstiä. Esimerkiksi jos tutkimus sisältää tilastoja, eikä vertaisarvioija itse hallitse matematiikkaa, hän ei osaa tunnistaa, mikä on oikeanlaista ja mikä tilastojen väärinkäyttöä. Toisaalta moni tutkimus sisältää sellaisia yksityiskohtia, joista vertaisarvioija ei ole perillä. Kyse ei ole kuitenkaan vain tiedon määrästä. Kuten kaikki tohtorintutkinnonkaan omaavat eivät omaa erinomaisia puhetaitoja, eivät kaikki tohtorintutkinnon omaavat hallitse myöskään palautteen antamisen, tiivistämisen ja olennaisten asioiden löytämisen taitoa. Toisille tutkijoille nämä asiat ovat toisia ominaisempia kykyjä, ja onkin osoittautunut aika vaikeaksi löytää hyviä kriteerejä, joilla voisi ennustaa sitä, että henkilö olisi hyvä vertaisarviojana.

Vaikka joitakin tutkimuksia on tehty vertaisarvioinnista, vieläkään ei ole tieteellistä tietoa siitä, millaiset persoonat ovat erityisen hyviä vertaisarvioijia, ja millaiset erityisen huonoja. Seurauksena on se, että vertaisarvioinnista menee läpi sekä (sen hetkisen tiedon mukaan) paikkansapitäviä että jopa sen hetkisen tiedon mukaan täysin virheellisiä väittämiä. Toisaalta toisinaan monet hyvinkään laaditut ja uraa uurtavat tutkimukset eivät läpäise vertaisarviointia.

Yksi huomionarvoinen esimerkki lienee Rosalyn Yalow:n tapaus. Yalow yritti vuonna 1955 saada erästä tutkimustaan julkaistuksi. Hän lähetti sen ensin Science-lehteen. Paperi tyrmättiin. Hän lähetti sen Journal of Clinical Investigations -julkaisuun. Tuloksena oli sama tulos: artikkelia kieltäydyttiin julkaisemasta. Yalow ei kuitenkaan tästä lannistunut, vaan hän lähetti tutkimustaan taas seuraaviin julkaisuihin vertaisarvioitavaksi. Lopulta tutkimus julkaistiin. Vaikka moni vertaisarvioija oli tyrmännyt tutkimuksen, se osoittautui erittäin merkittäväksi. Yalow palkittiin sittemmin nimenomaan tästä tutkimuksestaan vuonna 1977 lääketieteen Nobel-palkinnolla.

Miten haasteisiin voitaisiin ehkä (osin) vastata?

Koska vertaisarviointiprosessin suurin riskitekijä on ihminen, tätä riskiä pitää koittaa pyrkiä pitämään mahdollisimman alhaalla.

Yksi keino tähän on se, että käytetään useita vertaisarvioijia, jotka kukin itsenäisesti arvioivat tutkimusta. Monissa julkaisuissa käytetäänkin useampaa kuin yhtä vertaisarvioijaa: esimerkiksi 2-5 arvioijaa lienee aika tavanomainen määrä. Arvostetuimmissa julkaisuissa 3 vertaisarvioijaa taitaa olla usein minimi. Toisaalta vertaisarvioijien määrä korreloi vertaisarvioinnin työn määrään. Vertaisarvioijille maksetaan harvoin palkkaa. Ja jos esimerkiksi kolmen vertaisarvioijan sijaan käytettäisin neljää vertaisarvioijaa, arviointityön määrä kasvaisi 33 prosenttia.

Yksi kehitysmahdollisuus olisikin se, että vertaisarviointityötä ammattimaistettaisiin. Kaikki nykyisin tutkijana toimivat eivät ole oikeasti erityisen hyviä tutkijoita. Myöskään kaikki nykyiset vertaisarvioijat eivät omaa vertaisarviointiin tarvittavia kykyjä. Ehkä osa tutkijoista ei omaa erityistä kykyä kumpaankaan. Olettaakseni on kuitenkin mahdollista omata hyvä kyky toisten tekemisten arviointiin, vaikkei itse olisikaan yhtä hyvä tekemään samaa asiaa. Nykyisinhän kaikkien hyvien tutkijoiden usein jotenkin oletetaan olevan myös hyviä vertaisarvioijia. Jos osa tutkijoista erikoistuisi nykyistä enemmän vertaisarvioijiksi, voisi tämä hyödyttää sekä muita tutkijoita, että näitä itseään, kun he saisivat tehdä enemmän sellaista työtä, missä ovat hyviä. Tällöin vertaisarviointityön arvostuskin ehkä kasvaisi, ja oman ammatillisen kunnianhimon ja ammattimaisemman vertaisarviointikokemuksen vuoksi vertaisarvioijat eivät niin herkästi päästäisi huonoja väitteitä läpi. Tällainen kehitysehdotus ei sovi kuitenkaan pienille aloille, koska niissä ongelmana on jo nyt potentiaalisten vertaisarvioijien vähyys.

Yksi keskeinen ongelma on kuitenkin myös "piirien pienuus": etenkin pienillä aloilla potentiaalisia vertaisarvioijia ovat lähinnä kollegat. Ja pienissä piireissä kaikki tuntevat toisensa. Edes vertaisarvioinnin nimettömyys, jota joillain aloilla harjoitetaan, ei estä tätä ongelmaa - koska pienillä aloilla kirjoittaja tunnistetaan jo tekstistä, vaikkei nimeä lukisikaan. Jos arvioi jonkun hyvän ystävänsä paperia, paperin päästää ehkä helpommin julkaistavaksi eikä sisältöasioihinkaan puutu niin helposti. Tai jos arvioi jonkun sellaisen tutkimusta, johon oma suhde on ennemminkin "vihamiesmäinen", helposti myös vertaisarvioinnista tulee mahdollisimman objektiivisen sijasta ylikielteinen. Tämän takia vertaisarvioinnista pitäisi - ei vain voida, vaan myös jopa - täytyä kieltäytyä, jos arvioija on jäävi suhteessa arvioitavaan.

Myös toimitusten tulee kantaa vastuunsa

Edellä mainitut asiat eivät toki poista kaikkia vertaisarvioinnin mahdollisia ongelmia. Esimerkiksi eräs tuntemani tutkija kertoi hiljattain minulle siitä, kuinka oli tehnyt eräästä tutkimuksesta varsin yksityiskohtaisen vertaisarvioinnin, jossa oli havainnut artikkeliluonnoksessa olleen useita virheitä. Hän oli lähettänyt vertaisarvioinnin lehden toimitukseen. Sen jälkeen ei lehdestä kuulunut mitään. Myöhemmin hän oli havainnut kyseisen tutkimuksen tulleen julkaistuksi - sellaisenaan, vailla yhtään muutosta hänen näkemästään luonnoksesta. Tällaiset tilanteet lienevät poikkeuksia, mutta on silti syytä huomauttaa siitä, ettei vertaisarviointiprosessin ainoa heikko lenkki ole vertaisarvioijat. Myös vertaisarviointia harjoittavan julkaisun toimituksen pitää seurata lehden politiikkaa ja vastata siitä, että vertaisarviointiprosessin tulokset todella vaikuttavat julkaistavien tutkimusten sisältöön. Mahdolliset tutkimuksissa havaitut virheet, puutteet ja muut ongelmakohdat tulee pyrkiä korjaamaan ja vaatia korjattaviksi (tai ainakin selitettäviksi; mikäli korjausvaatimus on aiheeton, mitä myös toisinaan tapahtuu) ennen kuin tutkimusta annetaan julkaista.

Luettavaa:

Callaham ML, Tercier J (2007) The Relationship of Previous Training and Experience of Journal Peer Reviewers to Subsequent Review Quality. PLoS Med 4(1): e40. doi:10.1371/journal.pmed.0040040

Evans AT. Mcnutt RA, Fletcher SW & Fletcher RH (1993) The characteristics of peer reviewers who produce good-quality reviews. Journal of General Internal Medicine. Volume 8, Number 8 / August.

Raivio K. (2006) Vertaisarviointi tieteellisessä julkaisutoiminnassa. Tieteessä tapahtuu 7/2006.

The PLoS Medicine Editors (2007) Peer Review in PLoS Medicine. PLoS Med 4(1): e58. doi:10.1371/journal.pmed.004005

Tutkimusuutisoinnista

2010-04-17T21:22:00.001+03:00

Turun Sanomissa oli tällä viikolla yllättävä tutkimusuutinen. Turun yliopiston professori Jyrki Kauppinen kertoi siinä uudesta tutkimuksestaan, joka kuulemma osoittaa, että ilmastonlämpeneminen ei pääosin johtuisi kasvihuonekaasujen lisääntymisestä. Suhtaudun positiivisesti tutkijoiden valtavirrasta poikkeavien näkemysten esittämiseen. Uudet ja aiemmasta poikkeavat näkemykset voivat olla tärkeitä tutkimuksen etenemisen kannalta.

Mutta en suhtaudu positiivisesti tällaiseen tutkimusuutisointiin. Yleensä tutkimustuloksista julkaistaan sen jälkeen kun tutkimus on tehty, ja käynyt läpi muiden tutkijoiden arvioinnin ja hyväksynnän. Uutisen mukaan Kauppisen tutkimuksen tilanne on kuitenkin tämä:

Hän aikoo julkaista tutkimustuloksensa Nature-lehden kesäkuun numerossa.

Tutkimusta ei siis ilmeisesti ainakaan vielä ole hyväksytty julkaistavaksi. On epätavallista, että sellaisten tutkimusten tuloksia uutisoidaan lehdissä, jotka eivät ole muiden tiedemiesten tarkistamia. Sanomalehtiuutisten väittämiä on nimittäin hyvin vaikeata kumota, koska lukija ei tiedä, mihin väitteet pohjaavat.

Ilmatieteen laitos onkin aivan asiallisesti kritisoinut Turun Sanomien ja Kauppisen toimintaa. Kauppisen väitteitä heidän on kuitenkin vaikea kumota, koska:

Kauppinen ei ole esitellyt tutkimusmenetelmiään, minkä vuoksi hänen väitteitään hiilidioksidin pienestä vaikutuksesta on hankala kommentoida tarkemmin.

Väitteiden tarkistettavuus on yksi tutkimusten luotettavuuteen vaikuttava tekijä. Jos tutkimusmenetelmää ei ole annettu muiden tietoon, ei tulosten paikkansapitävyyteenkään voi ottaa ainakaan positiivista kantaa. Nature-lehden tiedemiehet tulevat varmaan arvioimaan Kauppisen ryhmän tekemiset. Saa nähdä, pidetäänkö julkaisua tieteelliset kriteerit täyttävänä ja julkaisukelpoisena. Pyrin tässä blogissa seuraamaan, ilmestyykö kyseinen tutkimus Naturessa.

Sitä ennen ei kuitenkaan ole syytä kirjoittaa uutisia Kauppisen ryhmän tutkimustuloksesta, ainakaan sanomalehtiin: sanomalehden toimittaja kun ei ainakaan osaa arvioida väitteiden paikkansapitävyyttä. Tutkijan ammattietiikkaan kuuluu se, ettei sanomalehtitoimittajille kerrota sellaisia asioita totena, mitkä eivät oman ammattialan tarkastelua kestä tai ole sellaista käyneet läpi.

Blogin idea

2010-04-17T20:58:00.002+03:00

Tässä blogissa tulen kommentoimaan erilaisia tutkimuksia: sekä hyviä että huonoja.

Kirjoitusaktiivisuuteni tulee varmaan vaihtelemaan. Blogikirjoitusten taajuus tulee riippumaan sekä kirjoitusmotivaatiostani että siitä, miten paljon aikaa minulla on tällaiseen käytettävissä.

Erilaisia toiveita ja hyviä tutkimusvinkkejä saa minulle vapaasti esittää. Myös kriittistä palautetta otan mielelläni vastaan.