Transinformation mit 3 Komponenten

Moderator: Moderatoren

Antworten
sammumm
Beiträge: 11
Registriert: Do 12. Feb 2009, 21:10

Transinformation mit 3 Komponenten

Beitrag von sammumm » Fr 26. Aug 2011, 17:46

Moin Moin werte Kommilitonen,

beim durchblicken der Lösung für die Aufgabe 1 des zweiten THIT2 Übungsblattes, traten einige merkwürdige Formeln auf und in der Hoffnung jemand könnte hier weiterhelfen folgende Fragen

I(X; Y,Z) = H(Y,Z) - H(Y,Z|X)
= H(Y|Z) + H(Z) - H(Y|Z,X) - H(Z|X)
= H(Z) - H(Z|X) + H(Y|Z) - H(Y|Z,X)
= I(Z;X) + I(Y;X|Z)

ist die Musterlösung, diese aber scheint zumindest für den Moment gewissen Gesetzen eher zu wiedersprechen.

Sei nun X=B und (Y,Z)=A, dann ist die erste Gleichung nach Formesammlung in Ordnung da
I(A,B)=H(A)-H(A|B)

Der erste Teil der zweiten Gleichung genauer H(Y|Z) + H(Z) folgte offensichtlich aus der Kettenregel, jedoch der restliche Teil der Gleichung ist schon nicht mehr Herleitbar. Denn dort müsste nach Kettenregel eher soetwas stehen wie
H(A|B)=H(A,B)-H(B) was hier also H((Y,Z);X)-H(X) wäre, die Lösung scheint dies aber anders zu sehen, hat jemand von euch eine Idee woran dies liegt?

Lucas Rohé
Beiträge: 99
Registriert: So 8. Feb 2009, 13:35
Kontaktdaten:

Re: Transinformation mit 3 Komponenten

Beitrag von Lucas Rohé » Fr 26. Aug 2011, 18:21

Ne! Das ist eine meiner Grauzonen :-|
------------------------------
uni.ist.hirnlos.net :)

Lucas Rohé
Beiträge: 99
Registriert: So 8. Feb 2009, 13:35
Kontaktdaten:

Re: Transinformation mit 3 Komponenten

Beitrag von Lucas Rohé » Sa 27. Aug 2011, 13:39

------------------------------
uni.ist.hirnlos.net :)

shannon2
Beiträge: 10
Registriert: Sa 26. Mär 2011, 21:06

Re: Transinformation mit 3 Komponenten

Beitrag von shannon2 » So 28. Aug 2011, 13:43

Ich hab den Eindruck, eine zusätzliche Bedingung in Entropie oder Transinformation kann man auch einfach immer bei der Rechnung "mitschleppen".

Also z.B. Kettenregel:
H(X,Y,Z) = H(X) + H(Y|X) + H(Z|Y,X) gilt auch wenn wir jetzt noch ein N dazu nehmen
H(X,Y,Z|N) = H(X|N) + H(Y|X,N) + H(Z|Y,X,N) .... das N steht immer einfach mit dabei. Wäre ja auch irgendwie intuitiv logisch, dass vielleicht das ganze noch von der Kenntnis von irgendwelchen anderen Zufallsvariablen abhängt, aber diese anderen ZV im Verhältnis zwischen den Entropien von X, Y und Z nichts bedeuten.

Funktioniert dann wahrscheinlich auch für Ungleichungen, z.B. statt
H(X|Y) <= H(X)
müsste auch
H(X|Y,Z) <= H(X|Z) gelten.

Antworten

Zurück zu „Theoretische Informationstechnik II“