Die Irrtumswahrscheinlichkeit ist die maximal zugelassene Wahrscheinlichkeit für ein falsches Testresultat, in dem Sinne, dass ein Effekt in der Stichproben erkannt wird, welcher in der Grundgesamtheit, auf die rückgeschlossen werden soll, nicht vorliegt - also die maximal zugelassene Wahrscheinlichkeit für einen Fehler 1. Art.
Üblicherweise liegt die Irrtumswahrscheinlichkeit alpha bei 0,05 bzw. 5%, dann lässt sich bei einem signifikanten Testergebnis zu 1-alpha = 0,95 bzw. 95% darauf schließen, dass der ermittelte Effekt sich von der Stichprobe auf die durch diese repräsentierte Grundgesamtheit übertragen lässt.
Die Irrtumswahrscheinlichkeit wird immer vor der Durchführung des statistischen Tests festgelegt. Die Irrtumswahrscheinlichkeit wird auch als Signifikanzniveau bezeichnet.
