Statistikmisbrug: Om små signifikante effeker

Mange gange hører man, at forskere på Universitet X i en stor undersøgelse har påvist dette eller hint, og at der er tale om en statistisk siginifkant effekt.

For eksempel er det blevet påvist at vi mennesker har en tendens til at vælge bosted og erhverv på baggrund af vores fornavn, angiveligt fordi vi er dybt selvcentrerede. Vi kan med andre ord forvente at Tøger bliver tømrer i Tølløse og Gladis bliver glarmester i Gladsaxe. Det er påvist af respektable forskere og det er en statistisk signifikant effekt.

Men hvad betyder det egentlig at en effekt er statistisk signifikant? Lad os se hvad Wikipedia skriver om sagen:

Signifikansniveau (α) er indenfor statistik sandsynligheden for, at et resultat er fremkommet ved en tilfældighed.

Når en effekt er statistisk signifikant, betyder det med andre ord, at det er meget usandsynligt at den effekt der kan observeres er opstået rent tilfældigt. Ofte benytter man et signifikansniveau på 5%, hvilket leder til at man med 95% sikkerhed kan afvise at en effekt er opstået rent tilfældigt: Den er statistisk signifikant.

Men statistisk signifikans siger intet om det vi i virkeligheden er interesseret i, nemlig hvorvidt der er tale om en betydningsfuld effekt eller en lille og ubetydelig effekt. Signifikans siger intet om effektens størrelse, og det kan være temmelig forvirrende fordi vi i dagligsproget benytter ordet "signifikant" i betydningen "vigtig" eller "betydningsfuld." Den danske ordbog har da også to inbyrdes uoverensstemmende definitioner af ordet "signifikant:"

Signifikant

1) som er til stede eller gør sig gældende i så høj grad at det tydeligt kan mærkes, måles el.lign.

1a) STATISTIK som ligger over en fastsat grænse for hvad der kan tilskrives unøjagtighed eller tilfældig variation.

Med andre ord: Hver gang nogen påstår at noget  er signifikant, skal du sige til dig selv: "Aha - det kan altså ikke tilskrives tilfældig variation, men gør det sig gældende i så høj grad at det tydeligt kan mærkes?"

Så fed er din iskaffe

Så er den gal med iskaffen, som ikke er så uskyldig som vi gik og troede. En ægte ekspert i ernæring fra professionshøjskolen Metropol advarer os:

Det er ud fra et sundhedsfagligt synspunkt et højt energiindhold i de her produkter.

Journalisten, som jo er ude i det gode ærinde at advare læseren om de potentielt skadelige kold-kaffe-drikke perspektiverer:

Værst er dog Ice Cappuccino fra 7-Eleven, hvor kvinder får dækket helt op til 12,9 procent af deres daglige energibehov - svarende til en halv morgenmad (...)

Det lyder sørme ikke godt - en enkelt kop kølig cappuccino svarer til halvdelen af dagens vigtigste måltid, morgenmaden.

Men lad os se lidt nærmere på det. Der er ikke tale om at en gennemsnits dansker får dækket halvdelen af morgenens kaloriebehov, men derimod "kvinder" som anbefales at spise 400-500 kcal hver morgen. For mænd er tallene 500-625 kcal. Og hvorfor sammenligne med et morgenmåltid og ikke med det daglige energibehov? De nordiske næringsstofanbefalinger angiver for eksempel at en aktiv ung mand indtager 3200 kcal om dagen. Og så har der sneget sig et lille uskyldigt "op til" ind i sætningen. Det dækker over at de syv drikke som er testet i artiklen indeholder henholdsvis 242, 208, 200, 141, 148, 235, og 330 kcal. Endelig er den udregnede procentsats angivet med en decimal så det fremstår som et præcist udregnet og dermed korrekt tal.

Med andre ord, kunne konklusionen lige så vel have været følgende: En aktiv ung mand får kun dækket ned til 4% af sit daglige energibehov af en kop iskaffe.

Det lyder straks meget bedre. Jeg kan sikkert roligt drikke fem af dem om dagen - så har jeg stadig 80% energibehov som kan dækkes af grøntsager og den slags.

Vandt 18 millioner ved et tilfælde

TV2 Nyhederne bringer nyheden om at en kvinde fra Odense vandt 18 millioner i Lotto "ved et tilfælde." Og jeg som gik og troede at alle Lotto-gevinster blev vundet ved tilfælde...