Kolmogorow-Smirnow-Test

Statistischer Test der Wahrscheinlichkeitsverteilung

Der Kolmogorow-Smirnow-Test (KS-Test) (nach Andrei Nikolajewitsch Kolmogorow und Nikolai Wassiljewitsch Smirnow) ist ein statistischer Test auf Übereinstimmung zweier Wahrscheinlichkeitsverteilungen.

Mit seiner Hilfe kann anhand von Zufallsstichproben geprüft werden, ob

  • zwei Zufallsvariablen eine identische Verteilung besitzen oder
  • eine Zufallsvariable einer zuvor angenommenen Wahrscheinlichkeitsverteilung folgt.

Im Rahmen des letzteren (Einstichproben-)Anwendungsproblems spricht man auch vom Kolmogorow-Smirnow-Anpassungstest (KSA-Test). Einige (parametrische) statistische Verfahren setzen voraus, dass die untersuchten Variablen in der Grundgesamtheit normalverteilt sind. Der KSA-Test kann genutzt werden, um zu testen, ob diese Annahme verworfen werden muss oder (unter Beachtung des -Fehlers) beibehalten werden kann.

Konzeption

Bearbeiten
 
Darstellung des Kolmogorow-Smirnow-Anpassungstest. Die rote Linie ist die Verteilungsfunktion der Nullhypothese, die blaue Linie ist die empirische Verteilungsfunktion der beobachteten Werte und der schwarze Pfeil illustriert den Wert   der Teststatistik  .

Das Konzept wird anhand des Kolmogorow-Smirnow-Anpassungstest erläutert, wobei der Vergleich zweier Merkmale analog ist. Man betrachtet ein statistisches Merkmal  , dessen Verteilung in der Grundgesamtheit unbekannt ist und die eine stetige Verteilungsfunktion   besitzt. Die zweiseitig formulierten Hypothesen lauten dann:

Nullhypothese:  

Alternativhypothese:  

Die Nullhypothese postuliert also, dass die Zufallsvariable   die Verteilungsfunktion   besitzt, während die Alternativhypothese besagt, dass   eine andere Verteilungsfunktion besitzt.

Es liegen   beobachtete Werte   als Realisierungen von stochastisch unabhängigen und identisch verteilten Zufallsvariablen   vor, die jeweils dieselbe stetige Verteilungsfunktion   haben. Der Kolmogorow-Smirnow-Anpassungstest basiert auf der Abweichung der zufälligen empirischen Verteilungsfunktion

 

von der durch die Nullhypothese behaupteten Verteilungsfunktion  . Dazu wird die Teststatistik

 

gebildet, wobei sup das Supremum bezeichnet. (Das Supremum anstelle des Maximums ist erforderlich, da der größte Abstand an einer Sprungstelle der empirischen Verteilungsfunktion auftreten kann, wobei der linksseitige Grenzwert der empirischen Verteilungsfunktion an der Sprungstelle zum größten Abstand führen kann, der durch Maximum nicht erreicht würde. Mithilfe der Supremumsnorm   kann die Teststatistik in der Form   geschrieben werden.)   ist eine Zufallsvariable mit einer Wahrscheinlichkeitsverteilung, die im Allgemeinen von   und von   abhängt. Wenn die Nullhypothese richtig ist, hängt die Wahrscheinlichkeitsverteilung von   nur von   ab. Falls zusätzlich die Verteilungsfunktion   stetig ist, hängt die Wahrscheinlichkeitsverteilung von   nicht von   ab. Die Teststatistik   ist dann eine verteilungsfreie Statistik bezüglich der Klasse aller Wahrscheinlichkeitsverteilungen mit stetiger Verteilungsfunktion.

Testdurchführung

Bearbeiten

Aus den beobachteten Werten ergibt sich eine konkrete empirische Verteilungsfunktion

 

und mit dieser ein realisierter Wert   der Teststatistik  . Bei einer Verletzung der Nullhypothese rechnet man mit eher größeren Werten der Teststatistik als bei Richtigkeit der Nullhypothese. Daher wird die Nullhypothese für große Werte von   abgelehnt. Genauer wird zu vorgegebenem Signifikanzniveau   die Nullhypothese zugunsten der Alternativhypothese abgelehnt, falls der Wert   größer als das  -Quantil der Verteilung von   ist. Das benötigte  -Quantil kann numerisch ermittelt oder aus Tabellen abgelesen werden.

Anstelle der Teststatistik   wird auch die Teststatistik   verwendet. Dies ist eine mögliche Fehlerquelle bei der Testdurchführung, da in der Literatur sowohl Tabellen mit Quantilen der Verteilung von   als auch von   vorliegen.

Asymptotik und approximativer Test

Bearbeiten

Wenn die Nullhypothese richtig ist, konvergiert   für über alle Grenzen wachsenden Stichprobenumfang fast sicher gegen Null (Satz von Gliwenko-Cantelli). Dagegen konvergiert die modifizierte Teststatistik

 

für wachsenden Stichprobenumfang gegen die so genannte Kolmogorow-Verteilung, die von Kolmogorow im Jahr 1933 veröffentlicht wurde.[1] Für hinreichend große Stichprobenumfänge kann die Kolomogorow-Verteilung als Approximation der Verteilung von   verwendet werden. Wenn man nun den Test mit Hilfe der  -Quantile der Kolmogorow-Verteilung durchführt, erhält man einen Test mit approximativem Signifikanzniveau  .

Vorgehensweise beim Einstichprobenproblem (Anpassungstest)

Bearbeiten

Von einer reellen Zufallsvariablen   liegen   Beobachtungswerte   ( ) vor, die bereits aufsteigend sortiert sind:  . Von diesen Beobachtungen wird die relative Summenfunktion (Summenhäufigkeit, empirische Verteilungsfunktion)   ermittelt. Diese empirische Verteilung wird nun mit der entsprechenden hypothetischen Verteilung der Grundgesamtheit verglichen: Es wird der Wert der Wahrscheinlichkeitsverteilung an der Stelle   bestimmt:  . Wenn   tatsächlich dieser Verteilung gehorcht, müssten die beobachtete Häufigkeit   und die erwartete Häufigkeit   in etwa gleich sein.

Falls   stetig ist, kann die Teststatistik auf folgende Weise berechnet werden: Es werden für jedes   die absoluten Differenzen

 

und

 

berechnet („o“ für oben, „u“ für unten), wobei   gesetzt wird. Es wird sodann die absolut größte Differenz   aus allen Differenzen  ,   ermittelt. Wenn   einen kritischen Wert   übersteigt, wird die Hypothese bei einem Signifikanzniveau   abgelehnt.

Bis   liegen die kritischen Werte tabelliert vor.[2] Für größere   können sie näherungsweise mit Hilfe der Formel

 

bestimmt werden.[3] Aus dieser Näherungsformel ergeben sich die in der unten stehenden Tabelle aufgeführten Formeln für den Bereich  .

   
   
   
   
   
   
   

Vorgehensweise beim Zweistichprobenproblem

Bearbeiten

Liegt nun zusätzlich zur obigen Zufallsvariablen   eine entsprechende Zufallsvariable   vor (mit   geordneten Werten  ), so kann durch den Zweistichprobentest überprüft werden, ob   und   derselben Verteilungsfunktion folgen. Die Hypothesen lauten:

Nullhypothese:

 

(Die Zufallsvariablen   und   besitzen die gleiche Wahrscheinlichkeitsverteilung.)

Alternativhypothese:

 

(Die Zufallsvariable   besitzt eine andere Wahrscheinlichkeitsverteilung als  .)

Der Kolmogorow-Smirnow-Test vergleicht die empirischen Verteilungsfunktionen (relativen Summenfunktionen)   und   analog zum Einstichprobentest anhand ihrer absoluten Differenzen mittels der Teststatistik

 .

Die Nullhypothese wird bei einem Signifikanzniveau   abgelehnt, falls   den kritischen Wert   überschreitet. Für kleine Werte von   und   liegen die kritischen Werte tabelliert vor.[4][5] Für große Werte von   und   wird die Nullhypothese abgelehnt, falls

 ,

wobei   für große   und   näherungsweise als

 

berechnet werden kann.

Zahlenbeispiel

Bearbeiten
 
Vergleich von empirischer und theoretischer Verteilung des Zahlenbeispiels: Links ein Histogramm mit Normalverteilungskurve, rechts die theoretische und die empirische Verteilungsfunktion

In einem Unternehmen, das hochwertige Parfüms herstellt, wurde im Rahmen der Qualitätssicherung an einer Abfüllanlage die abgefüllte Menge für   Flakons gemessen. Es ist das Merkmal  : Abgefüllte Menge in ml.

Es soll geprüft werden, ob noch die bekannten Parameter der Verteilung von   gelten.

Zunächst soll bei einem Signifikanzniveau   getestet werden, ob das Merkmal   in der Grundgesamtheit überhaupt normalverteilt mit den bekannten Parametern   und   ist, also

 

mit   als Normalverteilungssymbol. Es ergibt sich folgende Tabelle:

           
           
           
           
           
           
           
           
           

Hier bezeichnen   die  -te Beobachtung,   den Wert der Summenfunktion der  -ten Beobachtung und   den Wert der Normalverteilungsfunktion an der Stelle   mit den genannten Parametern. Die nächsten Spalten geben die oben angeführten Differenzen an. Der kritische Wert, der bei   und   zur Ablehnung führte, wäre der Betrag  .[2] Die größte absolute Abweichung in der Tabelle ist   in der 3. Zeile. Dieser Wert ist größer als der kritische Wert, daher wird die Hypothese abgelehnt. Es ist also zu vermuten, dass die Verteilungshypothese falsch ist. Das kann bedeuten, dass die abgefüllte Menge nicht mehr normalverteilt ist, dass sich die durchschnittliche Abfüllmenge   verschoben hat oder auch, dass sich die Varianz   der Abfüllmenge verändert hat.

Eigenschaften des KS-Tests

Bearbeiten

Beim Einstichprobenproblem ist der KS-Test im Gegensatz etwa zum  -Test auch für kleine Stichproben geeignet.[6]

Der Kolmogorow-Smirnow-Test ist als nichtparametrischer Test sehr stabil und unanfällig. Ursprünglich wurde der Test für stetig verteilte metrische Merkmale entwickelt; er kann aber auch für diskrete und sogar rangskalierte Merkmale verwendet werden. In diesen Fällen ist der Test etwas weniger trennscharf, d. h. die Nullhypothese wird seltener abgelehnt als im stetigen Fall.

Ein großer Vorteil besteht darin, dass die zugrundeliegende Zufallsvariable keiner Normalverteilung folgen muss. Dies macht den Test vielseitig einsetzbar, bedingt aber auch seinen Nachteil, denn der KS-Test hat allgemein eine geringe Teststärke.

Alternative Tests

Bearbeiten

Der Lilliefors-Test ist eine Anpassung des Kolmogorow-Smirnow-Tests für die Testung auf Normalverteilung mit unbekanntem Mittelwert und unbekannter Varianz. Mögliche Alternativen zum KS-Test sind der Cramér-von-Mises-Test, der für beide Anwendungsfälle geeignet ist, sowie der Anderson-Darling-Test für den Vergleich einer Stichprobe mit einer hypothetischen Wahrscheinlichkeitsverteilung.

Bearbeiten

Literatur

Bearbeiten

Zum Kolmogorow-Smirnow-Anpassungstest

Bearbeiten
  • Jürgen Hedderich, Lothar Sachs: Angewandte Statistik. Methodensammlung mit R. 17., überarbeitete und ergänzte Auflage. Springer Spektrum, Berlin / Heidelberg 2018, ISBN 978-3-662-62293-3, 7.2.6 Kolmogoroff-Smirnoff Anpassungstest, S. 494–497, doi:10.1007/978-3-662-62294-0.
  • P. H. Müller (Hrsg.): Lexikon der Stochastik – Wahrscheinlichkeitsrechnung und mathematische Statistik. 5. Auflage. Akademie-Verlag, Berlin 1991, ISBN 978-3-05-500608-1, Kolmogorow-Test, S. 187–188.
  • Horst Rinne: Taschenbuch der Statistik. 4. Auflage. Harri Deutsch, Frankfurt am Main 2008, ISBN 978-3-8171-1827-4, 3.4.5.2 Kolmogorov-Smirnov-Anpassungstest, S. 577–579.

Zum Kolmogorow-Smirnow-Zweistichprobentest

Bearbeiten
  • Jürgen Hedderich, Lothar Sachs: Angewandte Statistik. Methodensammlung mit R. 17., überarbeitete und ergänzte Auflage. Springer Spektrum, Berlin / Heidelberg 2018, ISBN 978-3-662-62293-3, 7.4.9 Vergleich zweier unabhängiger Stichproben nach Kolmogoroff/Smirnoff, S. 592–594, doi:10.1007/978-3-662-62294-0.
  • P. H. Müller (Hrsg.): Lexikon der Stochastik – Wahrscheinlichkeitsrechnung und mathematische Statistik. 5. Auflage. Akademie-Verlag, Berlin 1991, ISBN 978-3-05-500608-1, Kolmogorow-Smirnow-Test, S. 185–186.
  • Horst Rinne: Taschenbuch der Statistik. 4. Auflage. Harri Deutsch, Frankfurt am Main 2008, ISBN 978-3-8171-1827-4, 3.4.4.2 Kolmogorov-Smirnov-Homogenitätstest, S. 573–575.

Einzelnachweise und Anmerkungen

Bearbeiten
  1. Sulla determinazione empirica di una legge di distribuzione. In: Giornale dell’Istituto italiano degli attuari. Band IV, Nr. 1, 1933, S. 83–91 (italienisch, sbn.it).
  2. a b Critical values for the Kolmogorov-Smirnov Test for goodness of fit. Archiviert vom Original am 18. August 2016; abgerufen am 18. Dezember 2016.
  3. Lothar Sachs, Jürgen Hedderich: Statistik: Angewandte Statistik. 12. Auflage. Springer, Berlin/ Heidelberg 2006, S. 338.
  4. Pearson E.S. and Hartley, H.O. (Hrsg.): Biometrika Tables for Statisticians. Band 2. Cambridge University Press, 1972, ISBN 0-521-06937-8, S. 117–123, Tables 54, 55 (englisch).
  5. Tabelle der kritischen Werte für den Zweistichprobentest (Memento vom 13. Juni 2013 im Internet Archive) (PDF; 177 kB)
  6. Jürgen Janssen, Wilfried Laatz: Statistische Datenanalyse mit SPSS für Windows. 6. Auflage. Springer, 2007, S. 569.