Kyselylomakkeen laadinta ja testaus

Hei!  Tämä teksti onkin tutkimuspäiväkirjani viimeinen teksti. Olen esitellyt luennoilla käsitellyt teemat pitkälti oman kiinnostukseni valossa, erityisesti oma Pro Gradu- tutkielmani mielessä pitäen. Mielestäni olen tällä blogilla osoittanut oman menetelmäosaamiseni ja erityisesti kiinnostukseni sitä kohtaan, referoiden pääasiassa luentoja mutta käyttäen myös monipuolisesti laadukkaita ja relevantteja lähteitä.
Lopuksi tässä tekstissä käsittelen vielä kyselylomakkeen laadintaan ja testaukseen liittyviä asioita sekä toivotan näiden aiheiden ohella kaikille lukijoille oikein mukavaa joulunodotusta!

KYSELYLOMAKKEEN LAADINTA

Kyselylomakkeen, eli mittarin, kehittämisen tulee olla perusteltua ja tarvelähtöistä. Joskus samankaltainen mittari on saatettu kehittää muualla kuin suomessa, mutta se ei välttämättä sovellu käytettäväksi täällä. Kansainvälisten mittareiden kääntämiseen voi liittyä haasteita, liittyen kulttuurillisiin tai käsitteellisiin eroihin. (Konttila.)

Mittarin kehittämisprosessissa on yleensä kahdeksan vaihetta. Aluksi määritellään mitattava ilmiö (1) ja sen perusteella muodostetaan mittarin väittämät (2). Seuraavaksi valitaan mittariin sopiva asteikkotyyppi (3), jonka jälkeen mittari menee asiantuntijapaneelin arvioitavaksi (4). Tämän jälkeen palautteen perusteella väittämiä muokataan (5) ja esitestataan (6). Lopuksi mittarin reliabiliteetti arvioidaan (7) ja sen pituus optimoidaan (8). (Konttila.)

Ilmiötä määrittäessä pohditan, kuinka tarkasti ilmiötä halutaan mitata. Mittari voi perustua joko johonkin teoriaan tai aikaisempiin tutkimuksiin. Joka tapauksessa keskeiset käsitteet tulee määritellä. Usein systemaattisen kirjallisuuskatsauksen toteuttaminen auttaa sekä keskeisten käsitteiden että ilmiöön liittyvien tekijöiden määrittelyssä. (Konttila.)

Seuraavaksi muodostetaan mittarin väittämät. Kun keskeiset käsitteet on edellisessä vaiheessa määritelty, niin tässä vaiheessa niille etsitään empiiriset, mitattavat vastineet eli ne operationalisoidaan. Väittämiä muodostaessa kiinnitetään huomiota väittämien yksiselitteisyyteen, ymmärrettävyyteen sekä tarkoituksenmukaisuuteen. Jotta mittari olisi selkeä, tulisi välttää turhaa päällekäisyyttä, toistoa ja epäloogisuutta. Väittämien määrä ei koskaan ole vakio, vaan hieman epämääräisesti määritellen, niitä tulisi olla riittävästi, mutta ei liikaa. Toisin sanoen ilmiön laajuus vaikuttaa tähän paljon. (Konttila.)

Kolmannessa vaiheessa valitaan mittariin sopiva asteikkotyyppi. Asteikkotyppiä ei voi valita mielivaltaisesti, vaan mittauksen kohde määrittää sopivan mittarin. Mitta-asteikkotyyppejä on olemassa useita erilaisia ja niistä jokaisella on omat erikoispiirteensä. (Konttila.)

Seuraava luku tässä kirjoituksessa käsittelee asiantuntijapaneelin arviota, jotan jätän sen tässä vaiheessa vielä käymättä läpi.  Arvioinnista saadun palautteen perusteella mittarin väittämiä muokataan uudelleen. Väittämien sisältöjä ja aikaisempien tutkimusten sisältöjä vertaillaan keskenään ja jos pohjalla on jokin teoria, myös teorian ja väittämien vastaavuutta tulisi tarkastella. (Konttila.) Mittarin muokkaamisen jälkeen vuorossa on esitestaus ja luotettavuvuuden arvionti, jotka esitellään seuraavassa kappaleessa. 

 Viimeinen mittarin testauksen vaiheista on mittarin pituuden optimointi. Kun pituutta optimoidaan, on hyvä pohtia, onko kaikki oleellinen kysytty ja onko kaikkea tarpeen kysyä. On hyvä tarkastella myös, onko mittarissa joitakin väittämiä tai kysymyksiä, jotka eivät liity tutkittavaan ilmiöön. Lomakkeen täyttämiseen kuluvaa aikaa on myös hyvä arvioida sekä palauttaa mieleen sekä asiantuntijapaneelin että esitestauksen tuloksista saatu palaute ja peilata niitä mittarin muutoksiin. (Konttila.)

Mittaria kehitettäessä on erittäin tärkeää, että kehittämisen perustamisen tarve pystytään kunnolla perustelemaan. Kukaan ei hyödy "turhasta" mittarista. Aikaisempiin tutkimuksiin tulee perehtyä kunnolla ja rakenne on suunniteltava huolella. Asiantuntijapaneelin arvioon ja esitestaukseen kannattaa varata riittävästi resursseja ja on hyvä valmistautua myös siihen, että mittarista löytyy aina jotain kehitettävää. (Konttila.)

KYSELYLOMAKKEEN ASIANTUNTIJA-ARVIOINTI JA TESTAUS

 Kun ilmiö on määritelty ja väittämät mitta-asteikkoineen muodostettu, käy mittari läpi asiantuntija-paneelin arvioinnin. Asiantuntijapaneelin arvio on todella tärkeä vaihe mittaria kehitettäessä. Arvioinnin tarkoituksena on vahvistaa tutkijan määritelmä ja ymmärrys ilmiöstä ja tarkistaa ovatko mittariin nostetut asiat keskeisiä. Sen tehtävänä on myös arvioida, kuinka hyvin käsitteiden operationalisointi on onnistunut. Arvioinnissa tarkastellaan myös väittämien selkeyttä ja riittävyyttä. Tämän jälkeen mittarista annetaan korjausehdotuksia ja nostetaan esille ilmiöstä mahdolliset puuttuvat asiat. (Konttila,)

Asiantuntijapaneeliin valikoituu henkilöitä, joilla on vahva substanssiosaaminen alalta. He voivat olla ammattihenkilöitä, kuten sairaanhoitajia tai lähihoitajia. Joukossa on myös alan tai aihepiirin kliinisiä asiantuntijoita, esim. hoitotyön kl. asiantuntijoita.  Paneeliin saattaa kuulua myös muita asiantuntijoita, joilla on vahvaa näyttöä alan tai aihepiirin osaamisesta, kuten opettajia ja tutkijoita.
 Mittarin kehittämisen kannalta paneelissa mukana on menetelmäasiantuntija/asiantuntijoita. Asiantuntijoita suositellaan olevan 2-20, mittarin laajuudesta ja laadusta riippuen. Asiantuntijoiden valinnan tulee olla tarkoituksenmukaista. (Konttila.)

Asiantuntijapaneelia tulee ohjeistaa etukäteen saatekirjeen muodossa, missä avataan tutkittava ilmiö sekä esitellään tutkmus. Asiantuntijan tehtävät tulee avata, huomioiden selkeä asiatyylinen kirjoitusasu. (Konttila.)

Seuraavana vuorossa on mittarin esitestaus. On tärkeää, että esitestaus suoritetaan riittävällä otoksella. Myös populaatioon tulisi kiinnittää huomiota, jotta se vastaisi mahdollisimman hyvin varsinaista tutkimuspopulaatiota. Esitestaus vaatii asianmukaiset tutkimusluvat, aivan kuin varsinaisen tutkimuksenkin toteuttaminen, mutta esitestauksessa mukana olevat osallistujat eivät saa olla mukana varsinaisessa pilottitutkimuksessa. On tärkeää, että mukana on hyvä saatekirje. Vastaajilta kannattaa pyytää palautetta myös itse mittarista, huomioiden erityisesti vastaamiseen kulunut aika. Tämän palautteen perusteella mittaria on mahdollista edelleen muokata. (Konttila.)

Mittarin luotettavuuden arvioinnissa arvioidaan ennen testausta validiteettia ja esitestauksen jälkeen reliabiliteettia. Käsitteet käyvät tarkemmin ilmi aikaisemmassa kirjoituksessa TÄÄLTÄ. Ennen esitetausta huomioidaan mittarin näennäisvaliditeetti sekä sisältövaliditeetti ja esitestauksen jälkeen sisäinen johdonmukaisuus (Cronbachin alpha). Luotettavuutta arvioidessa olisi hyvä kiinniittää huomiota myös kyselyn toteuttamistapaa, eli onko kyseessä paperinen vai sähköinen kysely. Molemmissa on hyvät ja huonot puolensa, mutta esimerkkejä näkökulmasta voisivat olla vaikkapa paperiseen kyselyyn vastaamisen hitaus ja sähköisen kyselyn hukkuminen sähköpostiin. (Konttila.)



LÄHTEET:
Konttila J. Luentomateriaalit. 25.9.2019