Die Irrtumswahrscheinlichkeit eines statistischen Hypothesentests ist die Wahrscheinlichkeit, mit der der Test fälschlicherweise für die Alternativhypothese entscheidet, obwohl in der Grundgesamtheit die Nullypothese gilt.
Vor der Durchführung eines statistischen Hypothesentests wird festgelegt, wie hoch der α-Fehler (Fehler 1. Art) maximal sein darf.
Diese maximal zugelassene Irrtumswahrscheinlichkeit wird als Signifikanzniveau bezeichnet.
Überlicherweise wird ein Signifikanzniveau α=0,05 festgelegt, man toleriert also höchstens 5 von 100 falsch positive Testergebnisse.
Wird die Nullhypothese auf einem Signifikanzniveau von 5% abgelehnt, so besteht eine Irrtumswahrscheinlichkeit von 5%, es wird also zu 5% ein Fehler 1. Art begangen. Die Testentscheidung für die Alternativhypothese ist dann entsprechend zu 95% richtig.
