In der Statistik ist die Prädiktionsmatrix (englisch prediction matrix) eine symmetrische und idempotente Matrix und damit eine Projektionsmatrix. Die Prädiktionsmatrix wird gelegentlich Hut-Matrix oder Dach-Matrix genannt, da sie auf abbildet. Dementsprechend wird sie entweder mit oder notiert. Der Begriff „Prädiktionsmatrix“ bzw. „Vorhersagematrix“ wurde von Hoaglin & Welsh (1978)[1] sowie Chatterjee & Hadi (1986)[2] geprägt und rührt daher, dass wenn man die Matrix auf die -Werte anwendet sie die vorhergesagten Werte (-Werte) generiert.[2] Eine weitere in der Statistik wichtige Matrix ist die Residualmatrix, die durch die Prädiktionsmatrix definiert wird und ebenfalls eine Projektionsmatrix ist.

Definition

Bearbeiten

Gegeben ein typisches multiples lineares Regressionsmodell  , mit   dem   Vektor der unbekannten Regressionsparameter, der   Versuchsplanmatrix  , dem   Vektor der abhängigen Variablen   und dem   Vektor der Störgrößen  . Dann ist die Prädiktionsmatrix definiert durch

  mit  .

Die Matrix   wird auch Moore-Penrose-Inverse von   genannt.

Die mithilfe der Methode der kleinsten Quadrate geschätzte Regressions(hyper)ebene ist dann gegeben durch die Stichproben-Regressionsfunktion  , wobei   der Kleinste-Quadrate-Schätzvektor ist. Die Prädiktionsmatrix   ist die Matrix der Orthogonalprojektion auf den Spaltenraum von   und hat maximal den Rang   (  ist die Anzahl der Parameter des Regressionsmodells). Falls   eine   Matrix mit   ist, dann ist  . Da   eine Projektionsmatrix ist, gilt  . Die Idempotenz- und die Symmetrieeigenschaft (  und  ) implizieren, dass   ein orthogonaler Projektor auf den Spaltenraum   ist.[3] Die Projektionsrichtung ergibt sich aus der Matrix  , deren Spalten senkrecht auf   stehen. Die Matrix   wird Prädiktionsmatrix genannt, da sich die Vorhersagewerte   durch die linksseitige Multiplikation des Vektors   mit dieser Matrix ergeben. Dies kann durch Einsetzen des KQ-Parameterschätzers wie folgt gezeigt werden:[4]

 .

Die Vorhersagewerte von   (die  -Werte) können also als eine Funktion der beobachteten  -Werte verstanden werden. Zahlreiche statistische Resultate lassen sich auch mit der Prädiktionsmatrix darstellen. Beispielsweise lässt sich der Residualvektor mittels der Prädiktionsmatrix darstellen als:  .[5] Die (nichttriviale) Kovarianzmatrix des Residualvektors lautet   und spielt für die Analyse von Hebelwerten eine Rolle.

Eigenschaften

Bearbeiten

Idempotenz

Bearbeiten

Die Prädiktionsmatrix ist idempotent. Dies kann so interpretiert werden, dass „zweimaliges Anwenden der Regression zum gleichen Ergebnis führt“. Die Idempotenzeigenschaft der Prädiktionsmatrix kann wie folgt gezeigt werden:

 ,

wobei   die Einheitsmatrix ist.

Symmetrie

Bearbeiten

Die Prädiktionsmatrix ist symmetrisch. Die Symmetrieeigenschaft der Prädiktionsmatrix kann wie folgt gezeigt werden

 

Hebelwerte

Bearbeiten

Die Diagonalelemente   der Prädiktionsmatrix   können als Hebelwerte interpretiert werden und spielen in der Regressionsdiagnostik eine große Rolle. Sie sind gegeben durch

 .

Diese Hebelwerte werden bei der Berechnung des Cook-Abstands verwendet und können genutzt werden, um einflussreiche Beobachtungen zu identifizieren. Es gilt  , wobei   die Anzahl der Zeilen in der Versuchsplanmatrix   darstellt, die unterschiedlich sind. Wenn alle Zeilen unterschiedlich sind, dann gilt  .[6]

Einzelnachweise

Bearbeiten
  1. David C. Hoaglin & Roy E. Welsch: The Hat Matrix in Regression and ANOVA. In: The American Statistician, 32(1), 1978, S. 17–22, doi:10.1080/00031305.1978.10479237, JSTOR:2683469.
  2. a b Samprit Chatterjee & Ali S. Hadi: Influential observations, high leverage points, and outliers in linear regression. In: Statistical Science, 1(3), 1986, S. 379–393, doi:10.1214/ss/1177013622, JSTOR:2245477.
  3. Wilhelm Caspary: Fehlertolerante Auswertung von Messdaten, S. 124
  4. Rainer Schlittgen: Regressionsanalysen mit R., ISBN 978-3-486-73967-1, S. 27 (abgerufen über De Gruyter Online).
  5. Ludwig Fahrmeir, Thomas Kneib, Stefan Lang, Brian Marx: Regression: models, methods and applications. Springer Science & Business Media, 2013, ISBN 978-3-642-34332-2, S. 122.
  6. Ludwig Fahrmeir, Thomas Kneib, Stefan Lang, Brian Marx: Regression: models, methods and applications. Springer Science & Business Media, 2013, ISBN 978-3-642-34332-2, S. 108.