LDe vilkårlige signifikansniveauer bestemmes, før kontraststatistikken beregnes, og de ikke-vilkårlige signifikansniveauer afhænger af den værdi, kontraststatistikken tager, begge afhænger af fordelingen efterfulgt af dataene.
Med andre ord vil de vilkårlige signifikansniveauer altid være de samme for forskellige værdier i teststatistikken, og de ikke-vilkårlige signifikansniveauer vil være forskellige for forskellige værdier i teststatistikken.
Ikke vilkårlig
Når et koncept påpeges, betyder karakteristikken ved at være vilkårlig, at værdien af dette koncept vælges af forskeren. a priori (før) udfører eksperimentet uden at stole på nogen relateret information.
P-værdi og elefanter
Antag for eksempel, at vi vil teste antallet af elefanter i en eng.
Før vi ser engen og de elefanter, der faktisk findes, antager vi a priori antallet af elefanter. Vi siger, at der kan være 10 elefanter. Så vi går til engen og tæller antallet af elefanter, som vi ser: 1, 2, 3, 4, 5, 6 og 7.
Vores nulhypotese var, at antallet af elefanter i engen var lig med 10, og vores alternative hypotese var, at der var mindre end 10. Så givet elefanterne der er, ville vi afvise nulhypotesen. Men … Hvad hvis der er 3 flere elefanter på engen, men de er skjult bag træerne? Vi ville afvise vores nulhypotese, når det kunne være sandt, hvis vi i stedet for at tælle elefanterne havde beregnet det maksimale antal elefanter, som græsarealerne kan rumme.
Analyse
De ti elefanter, der blev valgt i starten, har været helt vilkårlige, fordi vi ikke har set engens størrelse, og derfor ved vi ikke, om 10 elefanter er meget eller lidt.
På den anden side, hvis vi i betragtning af engens størrelse beregner det maksimale antal elefanter, som den kan rumme, ved vi, hvad den maksimale værdi er for ikke at afvise nulhypotesen. Så det er meget lettere at finde det rigtige antal.
Sammenligning
Det samme gælder for signifikansniveauerne 1%, 5% og 10% sammenlignet med p-værdien. I mange kontraster vælger vi niveauet af betydning uden at tage hensyn til andre oplysninger end distributionen. Normalt anvendes 5% som signifikansniveau (alfa), hvilket efterlader 95% af prøven inden for konfidensintervallet.
Problemet med at tildele betydningsniveauet vilkårligt er det samme problem, som vi har med elefanteksemplet. Hvis vi mener, at det er korrekt at anvende 5% (signifikansniveau), kan vi afvise nulhypotesen, når minimumet, der skal afvises, er 2% (p-værdi). Vi ville få fejlbehæftede resultater ved blot at indstille 5% i stedet for minimumsværdien, der skal afvises (2%).
Med andre ord konkluderer vi, at der er mindre end 10 elefanter på engen, men i virkeligheden er der 3 flere elefanter, men de er skjulte. Så det er meget hurtigere at beregne, hvad der er det maksimale eller mindste signifikansniveau, som vi ikke ville afvise, eller vi ville afvise nulhypotesen.
Afvisningsregel
Hvis værdi - s < signifikansniveau => H0-afvisning.
Hvis værdi - s > signifikansniveau => Ingen afvisning H0.