Ifølge Kresten Roland Johansen fra Danmarks Medie- og Journalisthøjskole, der underviser journaliststuderende i meningsmålinger, er forskellen overraskende.
- Forskellen i de tog målinger ligger uden for det, man normalt ville kunne forklare med den statistiske usikkerhed. Men det er levende mennesker, man spørger, så der er aldrig garanti for, at det giver et præcist øjebliksbillede af, hvad befolkningen mener, siger Kresten Roland Johansen.
Men er det nu også rigtigt? Nix - her er ikke behov for at anskue respondenterne som levende væsner - vi kan roligt nøjes med at se på de kolde tal: I en meningsmåling med omkring 1000 besvarelser som er den gængse standard vil den statistiske usikkerhed for blokkene ligge omkring plus/minus 3 procentpoint. Med andre ord, så er man ikke i stand til at bestemme blokkenes størrelse særlig præcist.
I de to aktuelle målinger er tallene hhv. ca. 50% og 55.5%, men konfidensintervallerne er hhv. ca. (47% - 53%) og (52% - 58%). Der er med andre ord IKKE nogen uoverensstemmelse mellem målingerne.
Den statistiske usikkerhed (konfidensintervallet) skal forstås på følgende måde. Lad os antage at der i virkeligheden er dødt løb mellem blokkene. Hvis vi nu spørger 1000 tilfældigt udvalgte vælgere hvem de vil stemme på, så vil vores meningsmåling ikke vise præcist 50%. Den vil afvige en smule, fordi vi ikke har spurgt alle vælgerne, men kun et lille udsnit. Gentager vi nu meningsmålingen 100 gange - med 1000 nye tilfældigt udvalgte vælgere i hver gentagelse - vil konfidensintervallet i ca. 95 af meningsmålingerne indholde det korrekte tal, nemlig 50%. De fleste konfidensintervaller alstå se ud som fx. (48% - 54%) eller (46% - 52%), men i ca. 5 af meningsmålingerne vil vi risikere at se konfidensintervaller som fx. (51% - 56%) selv om det korrekte tal er 50%.
Hej. Hvis du går ind på min hjemmeside www.en-undersoegelse-viser.dk, vil du ret enkelt kunne beregne, om forskellen på de to målinger er statistisk signifikant på et 95% sikkerhedsniveau. Det havde jeg naturligvis gjort, før jeg udtalte mig, og forskellen er lige præcis signifikant. Når man spørger en stikprøve, kan man aldrig være sikker på, at svarene fra den er repræsentative for populationen - heller ikke selv om man anstrenger sig med udvælgelsesmetoden. Indimellem (rundt regnet hver 20. gang) vil man ramme endnu mere skævt end den statistiske usikkerhed tilsiger. Selv om før- og efterstratificering selvfølgelig hjælper. Og det er i al sin enkelhed, hvad jeg prøver at forklare på jævnt dansk (med reference til "levende mennesker") i artiklen - og i mit blogindlæg. Vh Kresten Roland Johansen
SvarSletOg for så lige at tage den med at anskue respondenterne som levende væsener. Hvorfor er det nu en god ide? Jo, fordi de er levende væsener, er der en perlerække af potentielle systematiske fejl, som truer validiteten af undersøgelsen. Fx. at folk lyver, at folk ikke kan huske, hvad de stemte ved forrige valg, at folk er i tvivl om, hvad de vil stemme. Og institutterne har et værre besvær med netop at afgøre, hvor hårdt og hvordan de skal presse tvivlerne for et svar, og hvad de i øvrigt skal stille op med denne gruppe. Alt sammen fordi der er tale om mennesker af kød og blod. Derfor kan man netop IKKE blot nøjes med at se på de kolde tal. Og derfor kan kød og blod være med til at forklare, hvorfor to målinger kan skyde forbi hinanden.
SvarSletJeg vil nu alligevel fastholde, at der ikke er statistisk signifikant forskel på de to målinger (med det forbehold at jeg ikke kender det præcise antal adspurgte og har regnet med 1000, som måske? er lavt sat.) Fishers eksakte test og Chi-square med Yates' korrektion giver begge en p-værdi på 0.054, altså netop ikke nok til 95% konfidens.
SvarSletDerudover skal man også tænke på at hver gang der bliver lavet fx. 10 målinger, kan man kombinere dem to og to på 45 måder, og der vil derfor med stor sandsynlighed være "95% signifikant forskel" på mindst en af disse kombinationer.
Jeg vil derfor påstå at det er mere korrekt at fastslå at det ikke er overraskende at se så store udsving mellem to målinger, og at det sagtens kan forklares med statistisk usikkerhed.
Angående at anskue repondenterne som levende væsener, så er det naturligvis altid en god ide, da det jo er det de er :-) Min pointe er blot, at det ikke er nødvendigt at lede efter alternative forklaringer i dette tilfælde, hvor de to målinger (efter min mening) viser det samme billede.
Jeg tror i virkeligheden, at vi er ret enige. Målingerne ligger på kanten af, hvad der kan forklares med statistisk usikkerhed. Som statistiker ved du jo også, at sandsynligheden for at populationsværdien ligger i yderområderne af konfidensintervallerne er noget mindre end det modsatte (for at udtrykke det lidt jævnt og måske lægmandsagtigt..). Det er måske lidt forkert, når der i artiklen står, at jeg er overrasket. Resultaterne (forskellen på målingerne) er - efter min vurdering - lidt usædvanlig, men der er masser af gode forklaringer på, at sådanne forskelle indimellem viser sig.
SvarSletEn sidste bemærkning: Jeg troede ikke, man brugte Fishers test til large sample confidence intervals ved sammenligning af andele. Jeg beregner derimod et konfidensinterval for forskellen på de 2 andele og tester, om intervallet indeholder værdien 0. En metode, som er beskrevet hos Agresti og Finlay kapitel 7.2 i min udgave. under forudsætning af, at der er spurgt 1000 mennesker i begge undersøgelser, giver det en signifikant forskel. Jeg er dog godt klar over, at der findes forskellige matematiske modeller, og at det ikke er mere eksakt end som så. Vh Kresten
SvarSlet