Predictive Ability

Author: Hans Lohninger

Bei vielen Verfahren der multivariaten Statistik lässt sich die Zahl der Freiheitsgrade nicht angeben, wodurch die Berechnung des Standardfehlers unmöglich wird. Um dennoch ein Maß für die Größe des Vorhersagefehlers zu bekommen, greift man auf das quadratische Mittel des Fehlers, RMSEP, zurück.

RMSEP steht für Root Mean Squared Error of Prediction,
PRESS steht für "PRedictive Error Sum of Squares" oder "PREdiction Sum of Squares".

RMSEP wird durch Summation aller quadrierten Vorhersagefehler während einer Kreuzvalidierung berechnet und ist ein Maß für die Güte eines Modells. Ein niedriger RMSEP-Wert deutet auf ein gutes Vorhersagemodell. RMSEP misst also die Vorhersagefähigkeit (engl. predictive ability) eines Modells.

PRESS bzw. RMSEP können dazu verwendet werden, die optimale Zahl an Variablen durch einen schrittweisen Variablenselektionsvorgang zu finden. Das "beste" Modell besteht aus möglichst wenigen unabhängigen Variablen und zeigt dabei den niedrigsten (oder nahezu niedrigsten) PRESS-Wert. In der Grafik sehen Sie ein Beispiel eines hypothetischen Selektionsvorgangs, der in einem "besten" Modell mit 5 unabhängigen Variablen resultiert.

Anmerkung: Ein Nachteil der Verwendung des PRESS-Werts ist die große Anzahl an nötigen Berechnungen (bedingt durch die Kreuzvalidierung). Das gilt besonders für rechenintensive Modelle (wie neuronale Netzwerke) und große Datensätze.