Fehler 1. und 2. Art

Die Fehler 1. und 2. Art, auch α-Fehler (Alpha-Fehler) und β-Fehler (Beta-Fehler) (oder α-/β-Risiko) genannt, bezeichnen eine statistische Fehlentscheidung. Sie beziehen sich auf eine Methode der mathematischen Statistik, den sogenannten Hypothesentest. Beim Test einer Hypothese liegt ein Fehler 1. Art vor, wenn die Nullhypothese zurückgewiesen wird, obwohl sie in Wirklichkeit wahr ist (beruhend auf einer zufällig erhöhten bzw. niedrigeren Anzahl positiver Ergebnisse). Dagegen bedeutet ein Fehler 2. Art, dass der Test die Nullhypothese fälschlicherweise nicht zurückweist, obwohl die Alternativhypothese korrekt ist. Fehler 1. und 2. Art werden in der statistischen Qualitätskontrolle (siehe Prüflos) häufig Produzentenrisiko und Konsumentenrisiko genannt. In der Prozesskontrolle durch Qualitätsregelkarten verwendet man dafür die Begriffe blinder Alarm und unterlassener Alarm. Fehler 1. und 2. Art werden auch als frequentistische Konzepte bezeichnet. Dennoch sind Fehler 1. und 2. Art in jedem Fall bedingte Wahrscheinlichkeiten. Das Konzept des Fehlers 1. und 2. Art wurde von Neyman und Pearson eingeführt.

Entscheidungstabelle

		Wirklichkeit
		H0 ist wahr	H1 ist wahr
Entscheidung des Tests …	… für H0	Richtige Entscheidung (Spezifität) (Richtig negativ) Wahrscheinlichkeit: 1 - α	Fehler 2. Art (Falsch-negativ) Wahrscheinlichkeit: β
	… für H1	Fehler 1. Art (Falsch-positiv) Wahrscheinlichkeit: α	Richtige Entscheidung Wahrscheinlichkeit: 1-β (Richtig positiv) (Trennschärfe des Tests, Sensitivität)

Formale Darstellung

Ein statistischer Test ist ein Entscheidungsproblem, bei dem es um einen unbekannten Parameter $\theta$ geht, der in einem bestimmten Parameterraum $\Omega$ liegen muss. Der Parameterraum $\Omega$ kann in zwei disjunkte Teilmengen $\Omega _{0}$ und $\Omega _{1}$ zerlegt werden. Das Entscheidungsproblem liegt nun darin zu entscheiden, ob $\theta$ in $\Omega _{0}$ oder $\Omega _{1}$ liegt. Bezeichne $\theta \in \Omega _{0}$ die Nullhypothese und $\theta \in \Omega _{1}$ die Alternativhypothese. Weil $\Omega _{0}$ und $\Omega _{1}$ disjunkt sind, kann nur eine der beiden Hypothesen wahr sein. Da ein hypothetischer Test immer eine Entscheidung voraussetzt, gibt es eine Wahrscheinlichkeit, dass man eine falsche Entscheidung trifft. Seien $H_{0}:\theta \in \Omega _{0}$ und $H_{1}:\theta \in \Omega _{1}$. Wenn Ablehnbereich $A$ und Teststatistik $T$ definiert wurden, dann kann die Wahrscheinlichkeit $H_{0}$ abzulehnen für jedes $\theta \in \Omega$ bestimmt werden. Sei $\Pi (\theta )=\operatorname {P} (T\in A|\theta )$, wobei $H_{0}$ abgelehnt wird, wenn die Teststatistik in den kritischen Bereich $A$ fällt ($T\in A$). Die Funktion $\Pi (\theta )$ wird auch Gütefunktion genannt. Für gewöhnlich besteht eine von $0$ verschiedene Wahrscheinlichkeit die Nullhypothese $H_{0}$ abzulehnen, auch wenn sie wahr ist (Fehler 1. Art genannt). Bei Hypothesentests ist es üblich, Testverfahren nur so zu konstruieren, dass diese Wahrscheinlichkeit durch eine Konstante begrenzt wird, die das Signifikanzniveau des Tests genannt wird. Das heißt, das Signifikanzniveau $\alpha$ ist der größte Wert von $\Pi (\theta )$ für jeden Wert von $\theta$ der $H_{0}$ wahr macht, also $\theta \in \Omega _{0}$. Im Gegensatz zum Fehler 1. Art wird der Fehler 2. Art nicht durch eine vorgegebene Schranke kontrolliert. Es ist i. A. nicht möglich, beide Fehlerwahrscheinlichkeiten gleichzeitig zu minimieren. Daher sucht man unter allen Signifikanztests (Tests, die für einen Fehler 1. Art $\alpha$ kontrollieren) denjenigen, der die Fehlerwahrscheinlichkeit $1-\beta$ minimiert. Mit anderen Worten: Wenn das Signifikanzniveau bzw. der Fehler 1. Art a priori festgelegt wurde, dann ist man daran interessiert die Trennschärfe gegen alle relevanten Alternativen zu maximieren. Die Trennschärfe eines Tests ist 1 abzüglich der Wahrscheinlichkeit einen Fehler 2. Art zu begehen, d. h. $1-\operatorname {P} ({\text{Fehler 2. Art}}\mid \theta )$. Die Wahrscheinlichkeit für einen Fehler 2. Art wird nicht als vorgegeben, sondern als abhängig von dem in der Grundgesamtheit vorliegenden Parameter betrachtet. Zusammenfassend gilt für die Wahrscheinlichkeit, einen Fehler 1. bzw. 2. Art zu begehen

$\operatorname {P} ({\text{Fehler 1. Art}})=\operatorname {P} (T\in A\mid H_{0}\;{\text{ist wahr}})\leq \alpha \quad$ und $\beta =\operatorname {P} ({\text{Fehler 2. Art}}\mid \theta )=\operatorname {P} (T\not \in A\mid H_{1}\;{\text{ist wahr}})=1-\Pi (\theta )\quad \mathrm {f{\ddot {u}}r\;\;} \theta \in \Omega _{1}$.

Bei „einfachen“ Hypothesen (wie z. B. $H_{0}:\theta _{i}=0$ vs. $H_{1}:\theta _{i}\neq 0$) gilt für die Wahrscheinlichkeit einen Fehler 1. Art zu begehen nur das Gleichheitszeichen, d. h. $\operatorname {P} (T\in A\mid H_{0}\;{\text{ist wahr}})=\alpha$. Im Allgemeinen gilt, dass eine Verringerung von $\alpha$ die Wahrscheinlichkeit eines Fehlers 2. Art erhöht und umgekehrt. Durch komplizierte Berechnungen kann auch $\Pi (\theta )$ bestimmt werden.

Fehler 1. Art

Beim Test einer Hypothese liegt ein Fehler 1. Art vor, wenn die Nullhypothese zurückgewiesen wird, obwohl sie in Wirklichkeit wahr ist (beruhend auf falsch positiven Ergebnissen).

Die Ausgangshypothese $H_{0}$ (Nullhypothese) ist hierbei die Annahme, die Testsituation befinde sich im „Normalzustand“. Wird also dieser „Normalzustand“ nicht erkannt, obwohl er tatsächlich vorliegt, ergibt sich ein Fehler 1. Art. Beispiele für einen Fehler 1. Art sind:

• der Patient wird als krank angesehen, obwohl er in Wirklichkeit gesund ist (Nullhypothese: der Patient ist gesund),
• der Angeklagte wird als schuldig verurteilt, obwohl er in Wirklichkeit unschuldig ist (Nullhypothese: der Angeklagte ist unschuldig),
• der Person wird kein Zugang gewährt, obwohl sie eine Zugangsberechtigung hat (Nullhypothese: die Person hat Zugangsberechtigung)

Als Signifikanzniveau oder Irrtumswahrscheinlichkeit bezeichnet man die vor einem Hypothesentest festgelegte maximale Wahrscheinlichkeit dafür, dass die Nullhypothese aufgrund der Testergebnisse abgelehnt wird, obwohl die Nullhypothese wahr ist. In der Regel wählt man ein Signifikanzniveau von 5 % (signifikant) oder 1 % (sehr signifikant).

Die andere mögliche Fehlentscheidung, nämlich die Alternativhypothese $H_{1}$ zurückzuweisen, obwohl sie wahr ist, heißt Fehler 2. Art.

Beispiele

• Ein Tester hat eine Urne vor sich, in die er nicht hineinschauen kann. Darin befinden sich rote und grüne Kugeln. Es kann jeweils nur eine Kugel zu Testzwecken aus der Urne entnommen werden.
  Alternativhypothese: „In der Urne befinden sich mehr rote als grüne Kugeln“.
  Um ein Urteil über den Inhalt der Urne abgeben zu können, wird der Tester der Urne mehrmals Kugeln zu Testzwecken entnehmen. Wenn er daraufhin zu der Entscheidung gelangt, dass die Alternativhypothese zutreffend sein kann, also er die Meinung vertritt, dass mehr rote als grüne Kugeln in der Urne seien, obwohl in Wirklichkeit die Nullhypothese zutrifft, nämlich dass gleich viele rote wie grüne oder weniger rote als grüne Kugeln in der Urne sind, dann begeht er einen Fehler 1. Art.
• Wir wollen überprüfen, ob eine neue Lernmethode die Lernleistung von Schülern steigert. Dafür vergleichen wir eine Gruppe von Schülern, die nach der neuen Lernmethode unterrichtet wurden, mit einer Stichprobe von Schülern, die nach der alten Methode unterrichtet wurden.
  Alternativhypothese: „Schüler, die nach der neuen Lernmethode unterrichtet wurden, haben eine höhere Lernleistung als Schüler, die nach der alten Methode unterrichtet wurden.“
  Angenommen in unserer Untersuchung weist die Stichprobe von Schülern, die nach der neuen Lernmethode unterrichtet wurden, tatsächlich eine bessere Lernleistung auf. Vielleicht beruht dieser Unterschied aber auch nur auf Zufall oder anderen Einflüssen. Wenn also in Wahrheit zwischen den beiden Populationen überhaupt kein Unterschied besteht und wir fälschlicherweise die Nullhypothese verwerfen – es also als gesichert ansehen, dass die neue Methode das Lernen verbessert – dann begehen wir einen Fehler 1. Art. Dieser kann natürlich fatale Folgen haben, wenn wir z. B. mit hohen Kosten und viel Aufwand den gesamten Unterricht auf die neue Lernmethode umstellen, obwohl diese in Wahrheit überhaupt keine besseren Ergebnisse bewirkt.
• Spam-Filter für ankommende E-Mails: Ein Filter soll erkennen, ob eine E-Mail Spam ist oder nicht.
  Nullhypothese: Es ist eine normale E-Mail und kein Spam.
  Alternativhypothese: Es ist Spam.
  Falls eine E-Mail als Spam klassifiziert wird, sie jedoch in Wirklichkeit kein Spam ist, die E-Mail also falsch als Spam klassifiziert wird, so sprechen wir von einem Fehler 1. Art (falsch-positiv).

Fehler 2. Art

Im Gegensatz zum Fehler 1. Art bedeutet ein Fehler 2. Art, dass der Test die Nullhypothese fälschlicherweise bestätigt, obwohl die Alternativhypothese korrekt ist.

Schwierigkeiten bei der Bestimmung des Fehlers 2. Art

Fehler 1. Art in blau, Fehler 2. Art in rot. Darstellung möglicher Werte der Wahrscheinlichkeit eines Fehlers 2. Art (rot) am Beispiel eines Signifikanztests über den Erwartungswert μ. Da der Fehler 2. Art von der Lage des Nichtzentralitätsparameters (hier $\mu _{1}$) abhängt, $\mu _{1}$ jedoch bei Annahme der Alternativhypothese i. d. R. unbekannt ist, kann auch die Wahrscheinlichkeit eines Fehlers 2. Art im Gegensatz zu der eines Fehlers 1. Art (blau) nicht vorab bestimmt werden.

Im Gegensatz zum Risiko 1. Art, die gegebene Nullhypothese, obwohl sie in Wirklichkeit zutrifft, irrtümlicherweise abzulehnen, lässt sich das Risiko 2. Art, also die Wahrscheinlichkeit eines Fehlers 2. Art meist nicht vorab bestimmen. Grund dessen ist die Art und Weise der Festlegung von Hypothesen statistischer Tests: Während die Nullhypothese stets eine dezidierte Aussage wie beispielsweise $H_{0}$: „Mittelwert“ $\mu =0$ darstellt, ist die Alternativhypothese, da sie im Grunde alle übrigen Möglichkeiten erfasst, damit i. d. R. auch nur recht unbestimmter bzw. globaler Natur (bspw. $H_{1}$: „Mittelwert $\mu \neq 0$“).

Die rechtsstehende Grafik illustriert diese Abhängigkeit der Wahrscheinlichkeit eines Fehlers 2. Art $\beta$; (rot) vom unbekannten Mittelwert $\mu _{1}$, wenn als „Signifikanzniveau“, d. h. maximales Risiko 1. Art, $\alpha$; (blau) in beiden Fällen derselbe Wert gewählt wird. Wie zu sehen, ergibt sich dabei überdies die paradoxe Situation, dass die Wahrscheinlichkeit eines Fehlers 2. Art umso größer wird, je näher der wahre Wert $\mu _{1}$ an dem von der Nullhypothese behaupteten Wert $\mu _{0}$ liegt, bis hin dazu, dass für $\mu _{1}\to \mu _{o}$ das Risiko 2. Art $\beta$; den Grenzwert $(1-\alpha )$; annimmt. Anders gesagt: Je kleiner die Abweichung des tatsächlichen vom behaupteten Wert $\mu _{o}$, desto größer paradoxerweise die Wahrscheinlichkeit, einen Fehler zu machen, wenn man aufgrund des Testergebnisses weiterhin dem behaupteten Wert $\mu _{0}$ Glauben schenkt (obwohl die Abweichung beider Werte voneinander möglicherweise aufgrund ihrer Geringfügigkeit praktisch gar keine Rolle mehr spielt). Wie dieser Widerspruch zeigt, kann ein rein formal-logischer Umgang mit der Problematik des Fehlers 2. Art leicht Grundlage von Fehlentscheidungen sein. Bei biometrischen und medizinstatistischen Anwendungen heißt die Wahrscheinlichkeit, eine Entscheidung für H₀ zu treffen, falls H₀ richtig ist, Spezifität. Die Wahrscheinlichkeit, eine Entscheidung für H₁ zu treffen, falls H₁ richtig ist, wird Sensitivität genannt. Wünschenswert ist, dass ein Testverfahren hohe Sensitivität und hohe Spezifität und damit kleine Wahrscheinlichkeiten für die Fehler erster und zweiter Art hat.

Beispiele

• Im Six-Sigma-Projektmanagement: Fehler 1. Art: Man stellt am Projektende fest, dass bei der initialen Planung Aspekte ausgelassen wurden („zu wenig gemacht“). Ein Fehler 2. Art wäre hier, dass das gesamte Projekt über Dinge gemacht wurden, die sich am Ende als überflüssig bzw. irrelevant für den Projekterfolg herausstellen („zu viel gemacht“).
• Ein Tester hat eine Urne vor sich, in die er nicht hineinschauen kann. Darin befinden sich rote und grüne Kugeln. Es kann jeweils nur eine Kugel zu Testzwecken aus der Urne entnommen werden.
  Alternativhypothese: „In der Urne befinden sich mehr rote als grüne Kugeln“.
  Um ein Urteil über den Inhalt der Urne abgeben zu können, wird der Tester der Urne mehrmals Kugeln zu Testzwecken entnehmen. Die Nullhypothese in unserem Beispiel lautet, dass entweder genauso viele rote wie grüne, oder aber mehr grüne als rote Kugeln in der Urne sind (das Gegenteil der Alternativhypothese). Wenn der Tester aufgrund seiner Stichprobe also zu dem Schluss kommt, die Nullhypothese sei richtig bzw. die Alternativhypothese falsch, obwohl in Wahrheit doch die Alternativhypothese richtig ist, dann beginge er einen Fehler 2. Art.
• Wir möchten den Einfluss der Ernährung auf die geistige Entwicklung von Kindern in Kinderheimen untersuchen. Dafür vergleichen wir zwei Gruppen von Kindern hinsichtlich ihrer Leistung in kognitiven Tests: Die eine Stichprobe wird nach dem herkömmlichen Plan ernährt, die andere erhält eine besonders gesunde Kost. Wir vermuten, dass die gesunde Kost sich positiv auf die kognitiven Leistungen auswirkt.
  Alternativhypothese: „Kinder, die eine besonders gesunde Kost erhalten, weisen bessere kognitive Leistung auf als Kinder, die auf die herkömmliche Weise ernährt werden.“
  Wenn wir nun die kognitive Leistung unserer beiden Stichproben vergleichen, so stellen wir keinen Unterschied in der kognitiven Leistung fest. Demzufolge halten wir die Alternativhypothese für falsch und bestätigen die Nullhypothese. Wenn jedoch in Wahrheit die Population der gesund Ernährten doch eine bessere Leistung aufweist, dann begehen wir einen Fehler 2. Art.
  Aber wir haben in unserer Stichprobe doch keinen Unterschied festgestellt? Diese Gleichheit kann aber auch auf die zufällige Streuung der Messergebnisse oder auf die ungünstige Zusammenstellung unserer Stichproben zurückzuführen sein.
  Das Begehen eines Fehlers 2. Art ist in der Regel weniger „schlimm“, als ein Fehler 1. Art. Dies hängt jedoch individuell vom Untersuchungsgegenstand ab. In unserem Beispiel hat der Fehler 2. Art ausgesprochen nachteilige Konsequenzen: Obwohl die gesunde Ernährung die Leistung verbessert, entscheiden wir uns, die herkömmliche Ernährung beizubehalten. Ein Fehler 1. Art, also die Einführung der gesunden Ernährung für alle Kinder, obwohl diese keine Leistungsverbesserung bringt, hätte hier weniger nachteilige Konsequenzen gehabt.

Entgegengesetzte Notation

In manchen Quellen wird für den Fehler 2. Art und die Teststärke die genau entgegengesetzte Notation verwendet. Dort wird also die Wahrscheinlichkeit, einen Fehler 2. Art zu begehen, mit dem Wert 1-β bezeichnet, die Teststärke oder Power dagegen mit β.

Agnostische Tests

Im Mai 2018 wurde von Victor Coscrato, Rafael Izbicki und Rafael Bassi eine Methode vorgeschlagen mit der sowohl Fehler 1. Art als auch Fehler 2. Art kontrolliert werden können. Ein solches Verfahren nennen sie „Agnostischer Test“. Zusätzlich zum Fehler 1. und 2. Art wird bei agnostischen Tests allerdings ein weiterer so genannter Fehler 3. Art definiert. Dieser tritt ein, wenn das Ergebnis des Test weder die Nullhypothese ($H_{0}$) noch die Alternativhypothese ($H_{1}$) stützt, sondern sein Ergebnis agnostisch bleibt.

Siehe auch

• Gütefunktion bzw. Operationscharakteristik
• Teststärke
• Alphafehler-Kumulierung
• p-Wert

Weblinks

• Interaktive Veranschaulichung