Määrällisen tutkimuksen raportointi ja luotettavuus

Hei taas! Tässä tekstissä käsittelen aiheita "määrällisen tutkimuksen raportointi ja luotettavuus". Toivottavasti osaan tiivistää asian niin ettei mitään oleellista jää pois. Itselleni määrällinen tutkimus on aina ollut jonkinlainen "mörkö" ja siitä on vain herännyt ajatus, että ihmisiä tutkittaessa heitä ei voi muuttaa numeroiksi. Tämä ei tietenkään kuvaa määrällistä tutkimusta lainkaan, mutta ehkä ajatuksen taustalla on jonkinlainen pelko lähteä tekemään johtopäätöksiä pelkistä numeroista.

MÄÄRÄLLISEN TUTKIMUKSEN RAPORTOINTI

Lähdetään liikkeelle tutkimuksen raportoinnista ja erityisesti raportin rakenteesta. Tutkimusraportti sisältää tutkimuksen nimen, tiivistelmän sekä sisällysluettelon. Siinä on määritelty tutkimusongelma tai hypoteesi, sekä tutkimuksen tarkoitus. Raportista käy ilmi tutkimuksen tekijä, tilaaja, mahdolliset taustaorganisaatiot ja rahoittajat. Raporttiin on kirjattu myös tutkimuksen aikataulu, aihepiirin taustat, tutkimusaiheeseen liittyvä teoria ja keskeiset käsitteet. Aineistotyyppi on kuvailtu, eli onko kyseessä esim. posti- tai verkkokysely vai haastattelu. Myös käytetyn mittarin pääkysymykset käyvät vastausvaihtoehtoineen ilmi. (Saarela a.)

Tutkimusraportissa on kuvattu tutkimuksen perusjoukko sekä otantamenetelmä ja otoksen koko.  Tästä käy myös ilmi otoksen kattavuus ja edustavuus perusjoukossa.  Aineistonkeruun ajankohta on ilmoitettu tarkasti, sisältäen myös muistutusten lähettäminen. Vastausprosentti, aneiston katoanalyysi ja arviointi kadon merkityksestä tuloksiin ovat kirjattuna raporttiin. Tulokset on raportoitu sekä esitetty kuvioiden, taulukoiden ja tekstin avulla. Myös tulosten tulkinta on osa raporttia. Tutkimuksen reliabiliteetin ja validiteetin arviointi löytyy pohdinta-osiosta. Lopuksi raportista löytyy vielä lähdeluettelo sekä tarvittaessa tutkimuksen liitteet. (Saarela a.)

Määrällisen tutkimuksen raportoijalla on suuri vastuu, sillä on osattava perustella erittäin hyvin  jos raportista jätetään joitakin tutkimuksen osia pois. Tutkijan täytyy pohtia, miksi ja miten rajauksia on tehty ja onko ne tehty oikein. Tutkijan vastuulla on myös, että lukija saa raportin avulla riittävästi tietoa siitä, miten tutkimus on toteutettu sekä miten uskottavia ja vakuuttavia tulokset ovat. Tulosten raportoinnissa tulisikin keskittyä ennenkaikkea uuden tiedon raportointiin ja jos asiasta löytyy jo ennestään paljon tutkimustietoa, niin olisi tärkeää vertailla tutkimuksen tuloksia aikaisempiin tuloksiin. Tutkimus raportoidaan keskustelevasti, objektiivisesti ja argumentoivasti, noudattaen hyvää asiatyyliä ja yleiskieltä. Raportin sisältöjen tulee aina olla perusteltuja, jotka nojaavat asianmukaisiin lähteisiin sekä tutkimustietoon ja raportista tulee jäädä vaikutelma puolueettomuudesta. (Saarela a.)

Tulosten raportoinnissa tulee kiinnittää huomiota siihen, että tulkinta pidetään mahdollisimman vähäisenä. Määrällisen tutkimuksen tulosten raportoinnissa keskitytään ainaa "tuloslukuihin", joiden perusteella lukija voi itse tehdä omat johtopäätöksensä. Yleisen kuvauksen jälkeen esitetään tiedot ensisijaisista analyyseistä. Keskitytään raportoidaan olennaiset luvut ja niiden erot ja erityisesti ne, mitkä tarjoavat uutta tietoa. Tässä kohtaa kaikki valinnat on kuitenkin pystyttävä perustelemaan, etteivät ne nojaa tutkijan omaan mielipiteeseen. (Saarela a.) Määrällisen tutkimuksen raportoinnin tulisikin aina olla keskustelevaa, objektiivista ja argumentoivaa (Vilkka 2007).

Tulosten tulkinta raportoidaan pohdinta-oisossa. On huomioitava, että kaikki esillenostetut tulokset ovat mukana myös tulososiossa. Tutkimusta tulisi tarkastella kriittisesti ja lopuksi päättää pohdinta "suuremmassa mittakaavassa", kuten vaikutuksilla käytäntöihin, poliittisiin ongelmiin ja jatkotutkimushaasteisiin. (Saarela a.) Lopuksi voidaan siis todeta että koko määrällisen tutkimuksen tutkimusrapotissa korostuvat innostava esitystapa, keskusteleva ote, objektiivisuu sekä argumentaatio (Vilkka 2007.)

MÄÄRÄLLISEN TUTKIMUKSEN LUOTETTAVUUS

Tutkimuksen luotettavuutta arviointiin liittyen voidaan sanoa olevan kaksi keskeistä käsitettä. Nämä keskeisest käsitteet ovat reliabiliteetti ja validiteetti. Reliabiliteetilla tarkoitetaan sitä, kuinka hyvin mittaus pystyy antamaan ei-sattumanvaraisia tuloksia ja ovatko mittaustulokset toistettavisssa. Tutkimuksen reliaabeliutta tulee arvioida tutkimuksen aikana, mutta sitä voidaan arvioida myös tutkimuksen jälkeen. Huomoidaan kuinka onnistuneesti otos edustaa perusjoukkoa, mikä on vastausprosentti, miten huolellisesti muuttujia koskevat tiedot on syötetty ja kuinka kattavasti tutkittavia asioita voidaan mittarilla mitata. (Saarela b.)

Kun arvioidaan jonkin tietyn mittarin reliabiliteettia, mittarina käytetään usein Cronbachin alphaa. Mitä suurempi arvo saadaan, sitä yhtenäisempi mittari on. Mittarin reliabiliteettia tarkastellessa huomioidaan pystyvyys, sisäinen johdonmukaisuus sekä vastaavuus. Pystyvyydellä tarkoitetaan sitä, saadaanko sama tulos eri mittauskerroilla ja pysyvätkö tulokset samoina toistuvissa mittauksissa. Sisäinen johdonmukaisuus puolestaan kuvaa mittarin eri osioiden kykyä mitata samaa asiaa. Vastaavuudella tarkoitaan eri mittaustulosten samanlaisuuden astetta. Mittarin reliabiliteettiin vaikuttavia tekijöitä ovat mittarin esitestaus, vastausohjeet, mittarin selkeys, mittaajien koulutus, tutkimusjäjrestelyjen muuttumattomuus mittauksen ajan sekä ulkoisten virhetekijöiden huomioiminen. (Saarela b.)

Validiteetilla tarkoitetaan sitä, kuinka hyvin mittarilla tai tutkimusmenetelmällä pystytään mittaamaan mittaamisen kohteena olevaa asiaa sekä systemaattisen vihreen puuttumista. Tutkimuksen  validiteettiin vaikuttaa se, kuinka hyvin tutkija on onnistunut operationalisoimaan teoreettiset käsitteet arkikielelle, kuinka hyvin mittarin kysymysten ja vastausvaihtoehtojen muotoilu ja sisältö on onnistunut, miten onnistunut on valikon asteikon toimivuus ja millaisia epätarkkuuksia mittariin sisältyy. (Saarela b.)

Mittarin validiteettia arvioidessa tarkastellaan face-, sisältö-, rakenne- sekä kriteerivaliditeettia. Face-validiteetilla tarkoitetaan sitä, näyttääkö mittari mittaavan tutkittavaa ilmiötä. Sisältövaliditeetti taas tarkoittaa sitä, kattavatko mittarin kysymykset riittävän laajasti tutkittavat käsitteet. Rakennevaliditeetti eli ts. käsitevaliditeetti, teoreettinen validiteetti kuvaa sitä, kuinka hyvin teoreettinen lähestymistapa on valittu ja onko käytetty oikeita käsitteitä. Kriteetrivaliditeettia arioidessa verrataan mittarilla saatua arvoa johonkin kriteeriin, jonka tiedetään myös mittaavan tutkittavaa ominaisuutta. (Saarela b.)

Tutkimuksen tuloksia arvioitaessa tarkastellaan sekä sisäistä validiteettia että ulkoista validiteettia. Sisäistä validiteettia arvioidessa kiinnitetään huomiota siihen, johtuvatko tulokset ainoastaan tutkimusasetelmasta, eivätkä sekoittavista tekijöistä. Ulkoisen validiteetin arvioinnissa taas tarkastellaan tutkimustulosten yleistettävyyttä. Reliaabelius ja validius yhdessä vaikuttavat tutkimuksen kokonaisluotettavuuteen. Näistä tärkeimpänä voidaan pitää, että tutkimus edustaa perusjoukkoa ja satunnaisvirheitä on mahdollisimman vähän. Kokonaisluotettavuutta voidaan arvioida vaikkapa uusintamittauksella. (Saarela b.) 

Tutkimuksen luotettavuus vakuutetaan osallistujille jo saatekirjeessä ja tästä lupauksesta on pidettävä kiinni. Tutkimusraportista saa käydä ilmi vain sellaisia asioita, jotka eivät ole luottamuksellisia tai riko vaitiololupausta tai salassapitovelvollisuutta (Vilkka 2007).

LÄHTEET:

Saarela K. (a) Luentomateriaali. 18.9.2019.
Saarela  K. (b)Luentomateriaali. 16.10.2019
Vilkka H. 2007. Tutki ja mittaa, Määrällisen tutkimuksen perusteet. Saatavana: https://trepo.tuni.fi/bitstream/handle/10024/98723/Tutki-ja-mittaa_2007.pdf