Statistikmisbrug: Om små signifikante effeker

Mange gange hører man, at forskere på Universitet X i en stor undersøgelse har påvist dette eller hint, og at der er tale om en statistisk siginifkant effekt.

For eksempel er det blevet påvist at vi mennesker har en tendens til at vælge bosted og erhverv på baggrund af vores fornavn, angiveligt fordi vi er dybt selvcentrerede. Vi kan med andre ord forvente at Tøger bliver tømrer i Tølløse og Gladis bliver glarmester i Gladsaxe. Det er påvist af respektable forskere og det er en statistisk signifikant effekt.

Men hvad betyder det egentlig at en effekt er statistisk signifikant? Lad os se hvad Wikipedia skriver om sagen:

Signifikansniveau (α) er indenfor statistik sandsynligheden for, at et resultat er fremkommet ved en tilfældighed.

Når en effekt er statistisk signifikant, betyder det med andre ord, at det er meget usandsynligt at den effekt der kan observeres er opstået rent tilfældigt. Ofte benytter man et signifikansniveau på 5%, hvilket leder til at man med 95% sikkerhed kan afvise at en effekt er opstået rent tilfældigt: Den er statistisk signifikant.

Men statistisk signifikans siger intet om det vi i virkeligheden er interesseret i, nemlig hvorvidt der er tale om en betydningsfuld effekt eller en lille og ubetydelig effekt. Signifikans siger intet om effektens størrelse, og det kan være temmelig forvirrende fordi vi i dagligsproget benytter ordet "signifikant" i betydningen "vigtig" eller "betydningsfuld." Den danske ordbog har da også to inbyrdes uoverensstemmende definitioner af ordet "signifikant:"

Signifikant

1) som er til stede eller gør sig gældende i så høj grad at det tydeligt kan mærkes, måles el.lign.

1a) STATISTIK som ligger over en fastsat grænse for hvad der kan tilskrives unøjagtighed eller tilfældig variation.

Med andre ord: Hver gang nogen påstår at noget  er signifikant, skal du sige til dig selv: "Aha - det kan altså ikke tilskrives tilfældig variation, men gør det sig gældende i så høj grad at det tydeligt kan mærkes?"