MLR und Kollinearität

Kollineare Variablen sind das größte Problem der multiplen linearen Regression (man spricht auch von Multikollinearität). Zwei Variablen sind kollinear, wenn sie ungefähr (oder exakt) linear abhängig sind; oder anders gesagt, wenn es eine hohe Korrelation zwischen den zwei Variablen gibt. Wenn ein Modell auf zwei hoch korrelierten Variablen basiert, werden die geschätzten Regressionskoeffizienten instabil. Das macht die Koeffizienten für kausale Interpretationen unbrauchbar.

Es gibt mindestens drei Möglichkeiten, die Kollinearität zu bestimmen:

• Man sieht in der Kreuzkorrelationstabelle nach. Die Kreuzkorrelationstabelle zeigt nur Kollinearitäten zwischen zwei Variablen auf. Wenn lineare Zusammenhänge zwischen mehr als zwei Variablen bestehen, ist die Kreuzkorrelationstabelle nur von beschränkter Brauchbarkeit. Darüber hinaus wird die Korrelation stark durch Ausreisser beeinflusst.
• Der Variance Inflation Factor (VIF) misst den Anstieg der Varianz im Vergleich zu einer orthogonalen Basis.
• Die Konditionierung einer Streumatrix X^TXlässt sich durch die Quadratwurzel des Verhältnisses des größten und des kleinsten Eigenwerts angeben. Dieser Wert ist groß, wenn eine Kollinearität zwischen den Variablen besteht.