8.10.14: Wykład "Entropia i informacja wzajemna"

Dokończyliśmy wyprowadzanie pojęcia entropii z aksjomatów, wg. Rozdziału 1.2 skryptu [BT] (krok 5 na stronie 7).

Reszta wykładu była prowadzona według następujących fragmentów książki [CT].

• Rozdział 2.3 (cały) -- dywergencja Kullbacka i Leiblera, informacja wzajemna,
• Rozdział 2.4 (cały) -- związki między entropią i informacją wzajemną,
• Rozdział 2.5 (do strony 23 włącznie) -- reguła łańcuchowa dla entropii, warunkowa informacja wzajemna,
• Rozdział 2.6 (cały, z tym, że nierówność Jensena potraktowaliśmy pobieżnie):
• nierówność Jensena, nieujemność dywergencji Kullbacka i Leiblera (Tw. 2.6.3), 
• nieujemność informacji wzajemnej (wniosek z Tw. 2.6.3), 
• Tw. 2.6.4 o tym, że entropia jest ograniczona przez logarytm z rozmiaru przeciwdziedziny zmiennej losowej,
• Tw. 2.6.5 o tym, że warunkowanie nie może zwiększyć entropii,

Pokazaliśmy też diagram Venna dla entropii i informacji wzajemnej: