MÜÜT: suur valim=usaldusväärne uuring

See on MÜÜT!

Ikka ja jälle kohtun ma oma igapäevast tööd tehes inimestega, kes on veendunud, et mida suurem on uuringus vastajate arv, seda parem, kvaliteetsem, usaldusväärsem on uuringu tulemus. Nõndamoodi üldsuse harimise mõttes tahaksin tähelepanu juhtida, et selline väide on müüt, linnalegend, vale jne. Olen tähele pannud, et üsna levinud on arusaam, et kui valim on juba 1000 inimest, siis on tulemus juba kindlasti esinduslik, representatiivne. Usk suurde numbrisse on paraku väga petlik. Tegelikkuses võib 100-200 vastajaga tulemus olla palju esinduslikum, täpsem kui 1000 või isegi 10 000 vastajaga uuring. Parafraseerides tänapäeva pop-väljendeid, võib öelda, et suurus loeb ainult siis, kui oskad seda kasutada ;)

Milles siis asi?

Oluline on aru saada, et uuringu üldistusvõime (või ka laiendatavuse) tagab uuringus osalenud inimeste (vastanute, respondentide) struktuur ning selle vastavus üldkogumi struktuurile (kogu seltskond, kes meid huvitab). Valim on seevastu oluline tulemuse juhusliku statistilise kõikumise minimeerimiseks. Kui vähe kokku võtta, siis suure täpse valimi struktuur on EELDUSEKS sellele, et üldse hakata arutlema valimi suuruse üle. Kui valimi struktuur ei vasta üldkogumi struktuurile, siis on valimi suurus täiesti ebaoluline (sest tehniliselt puudub valimil üldistamisvõime) ja sellisel puhul saab igasuguseid järeldusi teha ainult uuringus osalenud inimeste kohta.

Katsume tuua lihtsa näite illustreerimiseks (fiktsioon)

Aleksei Narvast teeb uuringu, et hinnata Eesti elanikkonna meelsust pronkssõduri teisaldamise osas. Ta hakkab oma paneelmajas ukselt uksele käima, küsides igas peres perepea arvamust. Kui oma trepikoda otsa saab, võtab ette järgmise trepikoja. Kui oma maja küsitletud saab, võtab ette naaberpaneelid. Aleksei saab kokku 2 300 vastust, milles 90% neab pronkssõduri teisaldamise maapõhja. Ivan Kiviõlist (et mitte tekitada vastandumist) seevastu kogub 200 inimese arvamuse samas küsimuses. Ta küsitleb 70 inimest Tallinnas, 70 maapiirkondades ning ülejäänud muudes linnades, järgides elanike hulka. Ta küsitleb 70 pensionäri, 70 alaealist ja ülejäänud vastajad on enam-vähem tööealistest elanikest, vaadates, et ta saaks arvamuse nii nooremapoolsetelt kui vanemapoolsetelt. 100 vastust saab meestelt, teised 100 naistelt. Ivan saab tulemuse, et 65% vastanutest kiidab pronkssõduri teisaldamise heaks. Võimalik, et Ivan Kiviõlist kulutas umbes sama palju aega, kui Aleksei Narvast. Aga kumma tulemust Te usute rohkem? pronkssõdurist päris-uuringus enne teisaldamist: Andmemasin tegeleb andmetenalüüsi, andmetöötluse ning uuringukonsultatsioonide pakkumisega nii ettevõtetele kui eraisikutele.

Vaata ka:

  1. [...] Et kontaktide hulk kajastub vahetult uuringu kulus, tekib alati oluline küsimus – kui suure valimiga uuringu peaks tellima? Vastuste täpsuse ja detailsuse seisukohalt oleks hea teha võimalikult suure valimiga uuring. Samas, eelarve seisukohalt tuleks küsitleda nii vähe kui võimalik. Valimi suuruse müüdist oleme eelnevalt kirjutanud ühes oma eelmise postitustes siin: [...]

  2. [...] NB! Veapiiride ja üldse üldistamise aluseks on muidugi nn esinduslik ja üldkogumi proportsioonidest lähtuv valim. Valimi esinduslikkusest kirjutasime lähemalt ühes eelmises postituses siin. [...]

Või mis Sina arvad?