LDe godtyckliga signifikansnivåerna bestäms innan kontraststatistiken beräknas och de icke-godtyckliga signifikansnivåerna beror på kontraststatistikens värde, vilka båda beror på fördelningen följt av data.
Med andra ord kommer de godtyckliga signifikansnivåerna alltid att vara desamma för olika värden i teststatistiken och de icke-godtyckliga signifikansnivåerna kommer att vara olika för olika värden i teststatistiken.
Inte godtyckligt
När ett koncept påpekas betyder det att det är godtyckligt att värdet av det konceptet väljs av forskaren. a priori (innan) gör experimentet utan att förlita sig på någon relaterad information.
P-värde och elefanter
Antag till exempel att vi vill testa antalet elefanter på en äng.
Innan vi ser ängen och de elefanter som faktiskt finns antar vi a priori antalet elefanter. Vi säger att det kan finnas tio elefanter. Så vi går till ängen och räknar antalet elefanter som vi ser: 1, 2, 3, 4, 5, 6 och 7.
Vår nollhypotes var att antalet elefanter i ängen var lika med 10 och vår alternativa hypotes var att det fanns mindre än 10. Så, med tanke på elefanterna som finns, skulle vi förkasta nollhypotesen. Men … Vad händer om det finns ytterligare tre elefanter på ängen men de är gömda bakom träden? Vi skulle avvisa vår nollhypotes när det kunde vara sant om vi istället för att räkna elefanterna hade beräknat det maximala antalet elefanter som gräsmarken rymmer.
Analys
De tio elefanter som valts i början har varit helt godtyckliga eftersom vi inte har sett ängens storlek och därför vet vi inte om 10 elefanter är mycket eller lite.
Å andra sidan, om vi, med tanke på ängens storlek, beräknar det maximala antalet elefanter som den kan rymma, kommer vi att veta vad det maximala värdet är för att inte avvisa nollhypotesen. Så att hitta det verkliga antalet blir mycket lättare.
Jämförelse
Detsamma gäller för signifikansnivåerna 1%, 5% och 10% jämfört med p-värdet. I många kontraster väljer vi nivån av betydelse utan att ta hänsyn till någon annan information än distributionen. Normalt används 5% som signifikansnivå (alfa), vilket lämnar 95% av provet inom konfidensintervallet.
Problemet med att tilldela signifikansnivån godtyckligt är samma problem som vi har med elefantexemplet. Om vi anser att det är korrekt att tillämpa 5% (signifikansnivå) kan vi avvisa nollhypotesen när det minsta som ska avvisas är 2% (p-värde). Vi skulle få felaktiga resultat helt enkelt genom att ställa in 5% istället för det minsta värde som ska avvisas (2%).
Med andra ord drar vi slutsatsen att det finns färre än 10 elefanter på ängen men i verkligheten finns det tre fler elefanter men de är dolda. Så det är mycket snabbare att beräkna vad som är den högsta eller minsta signifikansnivå som vi inte skulle avvisa eller vi skulle avvisa nollhypotesen.
Avvisningsregel
Om värde - s < signifikansnivå => H0-avslag.
Om värde - s > signifikansnivå => Inget avslag H0.