Transinformation

Stärke des statistischen Zusammenhangs zweier Zufallsgrößen
(Weitergeleitet von Mutual Information)

Transinformation oder gegenseitige Information (engl. mutual information) ist eine Größe aus der Informationstheorie, die die Stärke des statistischen Zusammenhangs zweier Zufallsgrößen angibt. Die Transinformation wird auch als Synentropie bezeichnet. Im Gegensatz zur Synentropie einer Markov-Quelle erster Ordnung, welche die Redundanz einer Quelle zum Ausdruck bringt und somit minimal sein soll, stellt die Synentropie eines Kanals den mittleren Informationsgehalt dar, der vom Sender zum Empfänger gelangt und somit maximal sein soll.

Gelegentlich wird auch die Bezeichnung relative Entropie verwendet, da die Transinformation ein Spezialfall der Kullback-Leibler-Divergenz ist.

Die Transinformation steht in einem engen Zusammenhang zur Entropie und zur bedingten Entropie.

Definition

Bearbeiten

Für zwei Zufallsvariablen   und   sei   die gemeinsame diskrete Wahrscheinlichkeitsverteilung mit den Wahrscheinlichkeiten   und den zugehörigen Randverteilungen   und   mit den Wahrscheinlichkeiten   und   Dann ist die Transinformation als

 [1][2]

definiert.

Die Transinformation   kann als Erwartungswert bezüglich der gemeinsamen Verteilung von   und   aufgefasst werden:

 

Dabei sind  ,   und   Zufallsvariablen und die Erwartungsbildung bezieht sich auf die gemeinsame Verteilung von   und  .

Beziehung zu verschiedenen Entropie- und Informations-Maßzahlen

Bearbeiten
  • Zu den Entropien
 
der Zufallsvariablen   (bzw. der Verteilung  ),
 
der Zufallsvariablen   (bzw. der Verteilung  ) und
 
des Zufallsvektors   (bzw. der zweidimensionalen Verteilung  ) besteht die Beziehung
 
die auch alternativ zur Definition der Transinformation verwendet werden kann.[2]
  • Die Transinformation ist die Kullback-Leibler-Divergenz   der gemeinsamen Wahrscheinlichkeitsverteilung   bezüglich der Produktverteilung   der beiden Randverteilungen   und  , es gilt also
 
Auch dieser Zusammenhang kann zur Definition der Transinformation verwendet werden.
  • Mit der bedingten Entropie
 
besteht die Beziehung
 
Mit der bedingten Entropie
 
besteht die Beziehung
 
Im Zusammenhang mit der Interpretation als Informationsübertragung von einer Informationsquelle (Sender)   zu einer Informationssenke (Empfänger)   heißen   Quell-Entropie und   Äquivokation, so dass "Quell-Entropie = Transinformation + Äquivokation" gilt, und heißen   Empfangs-Entropie und   Fehlinformation, so dass "Empfangs-Entropie = Transinformation + Fehlinformation" gilt.

Eigenschaften und Interpretation

Bearbeiten
 
Darstellung in einem Sankey-Diagramm: Ein gedächtnisloser Kanal verbindet die zwei Quellen X und Y. Von X nach Y fließt Transinformation. Die Empfänger-Quelle Y der Entsende-Quelle X verhält sich wie eine Quelle. Es wird nicht zwischen Empfänger und Entsender unterschieden. Je mehr die Quellen voneinander abhängen, desto mehr Transinformation ist vorhanden.
 
Zwei gedächtnislose Kanäle verbinden drei Quellen. Von der Senderquelle X kann der Empfängerquelle Y eine Transinformation von I(x;y) übermittelt werden. Wird diese Transinformation weiter geleitet so empfängt die Empfängerquelle Z eine Transinformation von I(X;Z). Man kann hier deutlich sehen, dass die Transinformation von der Menge an Äquivokation abhängt.

Verschwindet die Transinformation, so spricht man von statistischer Unabhängigkeit der beiden Zufallsgrößen. Die Transinformation wird maximal, wenn sich eine Zufallsgröße vollkommen aus der anderen berechnen lässt. Die Transinformation beruht auf der von Claude Shannon eingeführten Definition der Information mit Hilfe der Entropie (Unsicherheit, mittlerer Informationsgehalt). Nimmt die Transinformation zu, so verringert sich die Unsicherheit über eine Zufallsgröße unter der Voraussetzung, dass die andere bekannt ist. Ist die Transinformation maximal, verschwindet die Unsicherheit folglich. Wie aus der formalen Definition zu sehen ist, wird die Ungewissheit einer Zufallsvariable durch Kenntnis einer anderen reduziert. Dies drückt sich in der Transinformation aus.

Die Transinformation spielt beispielsweise bei der Datenübertragung eine Rolle. Mit ihr lässt sich die Kanalkapazität eines Kanals bestimmen.

Entsprechend kann auch eine Entropie H(Z) von zwei verschiedenen, wiederum voneinander abhängigen, Entropien abhängen:

In der Fachliteratur werden verschiedene Begriffe verwendet. Die Äquivokation wird auch als „Verlustentropie“ und die Fehlinformation auch als „Irrelevanz“ bezeichnet. Die Transinformation wird auch als „Transmission“ oder „mittlerer Transinformationsgehalt“ bezeichnet.

Literatur

Bearbeiten
  • Martin Werner: Information und Codierung. Grundlagen und Anwendungen, 2. Auflage, Vieweg + Teubner Verlag, Wiesbaden 2008, ISBN 978-3-8348-0232-3.
  • Herbert Schneider-Obermann: Basiswissen der Elektro-, Digital- und Informationstechnik. 1. Auflage. Friedrich Vieweg & Sohn Verlag / GWV Fachverlage GmbH, Wiesbaden 2006, ISBN 978-3-528-03979-0.
  • D. Krönig, M. Lang (Hrsg.): Physik und Informatik – Informatik und Physik. Springer Verlag, Berlin/Heidelberg 1991, ISBN 978-3-540-55298-7.
Bearbeiten

Einzelnachweise

Bearbeiten
  1. R. López De Mántaras: A Distance-Based Attribute Selection Measure for Decision Tree Induction. In: Machine Learning. Band 6, Nr. 1, 1. Januar 1991, ISSN 0885-6125, S. 81–92, doi:10.1023/A:1022694001379 (springer.com [abgerufen am 14. Mai 2016]).
  2. a b Horst Rinne: Taschenbuch der Statistik. 4. Auflage. Harri Deutsch, Frankfurt am Main 2008, ISBN 978-3-8171-1827-4, S. 64.