Hey,
hat sich schon jemand an der Aufgabe 4b) versucht und könnte ein paar tipps geben?
http://www.ti.rwth-aachen.de/teaching/t ... uebung.pdf
danke schonmal
Zusatzübung WS0809
Moderator: Moderatoren
Re: Zusatzübung WS0809
Ich komm auch über eine Idee erst mal nicht heraus.
Bisschen spekulatives umformen gibt:
I(X,Y|Z) = H(X) - H( X | (Y|Z) )
!(soll) >=
H(X) - H(X|Y) = I(X,Y)
=> (da Entropien etc. immer positiv)
H(X | (Y|Z) ) !(soll) <= H(X|Y)
Wenn man das schon mal irgendwie beweisen könnte?
Logisch wäre es ja, dass X bedingt auf Y immer noch mehr Informationen enthält als X bedingt auf Y, wenn Y wiederum auf Z bedingt ist.
Denn Y ist ja stoch. abhängig von Z und wenn Z schon bekannt ist, ist mind. ein Teil der Information, die in Y steckt, damit auch bekannt.
Wobei es im Moment reine Spekulation meinerseits ist, ob man das so mit den Klammern überhaupt machen kann...
Nützlich wird vielleicht auch die Information sein, dass X, Z stoch. unabhängig. Daraus folgt glaube ich H(X,Z) = H(X) + H(Z)
Bisschen spekulatives umformen gibt:
I(X,Y|Z) = H(X) - H( X | (Y|Z) )
!(soll) >=
H(X) - H(X|Y) = I(X,Y)
=> (da Entropien etc. immer positiv)
H(X | (Y|Z) ) !(soll) <= H(X|Y)
Wenn man das schon mal irgendwie beweisen könnte?
Logisch wäre es ja, dass X bedingt auf Y immer noch mehr Informationen enthält als X bedingt auf Y, wenn Y wiederum auf Z bedingt ist.
Denn Y ist ja stoch. abhängig von Z und wenn Z schon bekannt ist, ist mind. ein Teil der Information, die in Y steckt, damit auch bekannt.
Wobei es im Moment reine Spekulation meinerseits ist, ob man das so mit den Klammern überhaupt machen kann...
Nützlich wird vielleicht auch die Information sein, dass X, Z stoch. unabhängig. Daraus folgt glaube ich H(X,Z) = H(X) + H(Z)
Re: Zusatzübung WS0809
Hab die Lösung zu dieser Aufgabe in der Lösung einer älteren Zusatzübung gefunden.
Komischerweise besteht der erste Ansatz darin:
I(X,Y|Z) = H(X|Z) - H(X|Y,Z)
Verstehe ich noch nicht ganz
.
Komischerweise besteht der erste Ansatz darin:
I(X,Y|Z) = H(X|Z) - H(X|Y,Z)
Verstehe ich noch nicht ganz
.Re: Zusatzübung WS0809
ja, das hatte ich hinteher auch noch gefunden, aber das ergibt für mich vorne und hinten keinen sinn, zumal die letzte abschätzung in der lösung aus meiner sicht falsch ist. Aber sogar den Ansatz kann ich nicht nachvollziehen
Re: Zusatzübung WS0809
Ich weiß, dass ist nicht direkt Thema. Aber ich hätte eine Frage zu a)
Ich würde wissen, ob die folgende Lösung korrekt ist:
=f_{1}(y|x,z)\cdot f_{2}(x)\cdot f_{3}(z))
=\frac{f(x,y,z)}{f(x,z)})
=\frac{f(x,y,z)}{f(x,z)} \cdot f_{2}(x)\cdot f_{3}(z))
} \cdot f_{2}(x)\cdot f_{3}(z))
=f_{2}(x)\cdot f_{3}(z))
Und für normalverteilte Zufallsvariablen gilt doch dann:=f_{2}(x)\cdot f_{3}(z)\Rightarrow ~s.u.)
Ist das so korrekt?
Ich würde wissen, ob die folgende Lösung korrekt ist:
Und für normalverteilte Zufallsvariablen gilt doch dann:
Ist das so korrekt?
Re: Zusatzübung WS0809
Kann jemand die Lösung von 4b mal abschreiben?
Danke im Voraus
Danke im Voraus
Re: Zusatzübung WS0809
Ich glaube dieser Ansatz ist falsch.shannon2 hat geschrieben:
Komischerweise besteht der erste Ansatz darin:
I(X,Y|Z) = H(X|Z) - H(X|Y,Z)
Weil außerdem wir I(X,Y) = H(X) - H(X|Y) haben
Wegen der stoch. Unabh. von X,Z -> H(X|Z) = H(X)
und H(X|Y,Z) >= H(X|Y) ist gültig auf jedem Fall
----> I(X,Y|Z) <= I(X,Y) ???????
Re: Zusatzübung WS0809
ja und genau dieser lösungansatz ist aus meiner sicht schwachsinn ^^
Re: Zusatzübung WS0809
Aber aus der Skizze kann man die 4b) leicht beweisen.
Die Gleichheit gilt genau dann, wenn X,Z stoch. unabh. sind ( H(X) und H(Z) haben kein gemeinsame Gebiet)
Die Gleichheit gilt genau dann, wenn X,Z stoch. unabh. sind ( H(X) und H(Z) haben kein gemeinsame Gebiet)