ANOVA

Die Varianzanalyse (engl. analysis of variance, ANOVA) ist ein Instrument zum Aufspüren der Faktoren in einem multivariaten Modell, die das Modell am stärksten beeinflussen. Das kann auf die Frage reduziert werden, ob der Mittelwert mehrerer Stichproben immer gleich ist. Die Proben sind im Allgemeinen nicht voneinander unabhängig und stammen meist aus einem faktoriellen Versuchsplan (engl. factorial design).

Um mehrere Mittelwerte miteinander zu vergleichen, kann man einen Zwei-Stichproben-t-Test für jeweils zwei Proben verwenden. Obwohl diese Vorgehensweise auf den ersten Blick vernünftig erscheint, ergibt eine genauere Betrachtung einige Nachteile:

1. Die Zahl der Paare ist n*(n-1)/2, was eine große Anzahl an t-Tests ergibt.
2. Das Signifikanzniveau wird automatisch durch die Durchführung multipler t-Tests vergrößert. Wenn wir zum Beispiel das Signifikanzniveau mit a = 0,01 für jeden einzelnen Test definieren, ist die Wahrscheinlichkeit einen Fehler vom Typ I zu vermeiden gleich 0,99. Wenn wir k unabhängige Tests ausführen müssen, wird die Gesamtwahrscheinlichkeit, einen Fehler vom Typ I bei allen Tests zu vermeiden gleich (1 - a)^k. Das bedeutet, dass die Wahrscheinlichkeit eines Fehlers vom Typ I (welches der Signifikanz von allen Tests entspricht) gleich 1 - (1 - a)^k ist. Für a = 0.01 und 10 Mittelwerten, die verglichen werden müssen (mit 10*(10 - 1)/2 = 45 t-Tests), würde das einem Gesamtsignifikanzniveau von 0,364 entsprechen, das eher gering ist.
3. Die individuellen Tests sind nicht unabhängig voneinander. Angenommen wir haben drei Stichproben und müssen drei Mittelwerte miteinander vergleichen. Wenn wir die Differenzen zwischen zwei Paaren von Mittelwerten wissen, wissen wir sofort auch die Differenz zwischen den Mittelwerten des dritten Paares, daraus folgt, dass nur zwei der Differenzen voneinander unabhängig sind. Dies erhöht wieder die Wahrscheinlichkeit einen Fehler vom Typ I zu machen. (Man könnte auch sagen, dies erhöht das Signifikanzniveau.)
4. Die individuellen Tests können widersprüchliche Resultate ergeben. Im Falle eines n-Proben-Problems kann möglicherweise nur einer der t-Tests signifikant sein. Das bedeutet, dass zwei der Mittelwerte nicht gleich sind, während alle anderen Paare von Mittelwerten gleich sind. Dies ist ein widersprüchliches Ergebnis, weil das Resultat dieses bestimmten t-Tests von den Resultaten aller anderen t-Tests berechnet werden kann - und bei diesen hat sich herausgestellt, dass sie gleich sind.

Um diese Probleme zu vermeiden, hat R.A. Fisher eine Methode entwickelt, die allgemein "analysis of variance" (ANOVA) genannt wird. Die Idee der ANOVA ist, dass jegliche Unterschiede zwischen den Mittelwerten von Grundgesamtheiten durch die Varianzen zwischen den Stichproben, die von diesen Grundgesamtheiten erhalten werden, reflektiert werden sollten.