B.Sc./M.Sc. Elektrotechnik an der RWTH

Moin Moin werte Kommilitonen,

beim durchblicken der Lösung für die Aufgabe 1 des zweiten THIT2 Übungsblattes, traten einige merkwürdige Formeln auf und in der Hoffnung jemand könnte hier weiterhelfen folgende Fragen

I(X; Y,Z) = H(Y,Z) - H(Y,Z|X)
= H(Y|Z) + H(Z) - H(Y|Z,X) - H(Z|X)
= H(Z) - H(Z|X) + H(Y|Z) - H(Y|Z,X)
= I(Z;X) + I(Y;X|Z)

ist die Musterlösung, diese aber scheint zumindest für den Moment gewissen Gesetzen eher zu wiedersprechen.

Sei nun X=B und (Y,Z)=A, dann ist die erste Gleichung nach Formesammlung in Ordnung da
I(A,B)=H(A)-H(A|B)

Der erste Teil der zweiten Gleichung genauer H(Y|Z) + H(Z) folgte offensichtlich aus der Kettenregel, jedoch der restliche Teil der Gleichung ist schon nicht mehr Herleitbar. Denn dort müsste nach Kettenregel eher soetwas stehen wie
H(A|B)=H(A,B)-H(B) was hier also H((Y,Z);X)-H(X) wäre, die Lösung scheint dies aber anders zu sehen, hat jemand von euch eine Idee woran dies liegt?

Ne! Das ist eine meiner Grauzonen

http://uni.ist.hirnlos.net/uni/seite/gi ... php?id=780 Siehe Lösung Aufgabe4.

Ich hab den Eindruck, eine zusätzliche Bedingung in Entropie oder Transinformation kann man auch einfach immer bei der Rechnung "mitschleppen".

Also z.B. Kettenregel:
H(X,Y,Z) = H(X) + H(Y|X) + H(Z|Y,X) gilt auch wenn wir jetzt noch ein N dazu nehmen
H(X,Y,Z|N) = H(X|N) + H(Y|X,N) + H(Z|Y,X,N) .... das N steht immer einfach mit dabei. Wäre ja auch irgendwie intuitiv logisch, dass vielleicht das ganze noch von der Kenntnis von irgendwelchen anderen Zufallsvariablen abhängt, aber diese anderen ZV im Verhältnis zwischen den Entropien von X, Y und Z nichts bedeuten.

Funktioniert dann wahrscheinlich auch für Ungleichungen, z.B. statt
H(X|Y) <= H(X)
müsste auch
H(X|Y,Z) <= H(X|Z) gelten.