22.10.14: Ćwiczenia (wspólne)

• ćw 1, ćw 2, ćw 3, ćw 4 z [NSW]
• konstrukcja kodu o długościach słów kodowych: 1, 2, 2, 2, 2, 2, 3, 3, 3 dla alfabetu {0,1,2}
• przykład kodu jednoznacznie dekodowalnego i nieskończonego słowa, które można zdekodować na 2 sposoby

15.10.14: Ćwiczenia (DM)

• ćw 3 [NSW] (TI Ćwiczenia 5)
• przykład zmiennej losowej o dużej entropii, ale małej min entropii
• Przykład zmiennych losowych X i Y, dla których warunkowa min entropia H_inf(X|Y)  (jeżeli ją zdefiniujemy analogicznie jak dla zwykłej entropii) jest większa niż min entropia H_inf(X)
• Zadania 2.5, 2.14, 2.15, 2.16, 2.29 c, d, 2.32 z [CT]
• do przemyślenia w domu: jak za pomocą nieuczciwej monety (reszka wypada z prawdopodobieństwem p \in (0, 1)) wylosować wartość z prawdopodobieństwem równym (dokładnie) 1/2?

8.10.14: Ćwiczenia (DM)

• ćw 3, 4, zad 3 z [NSW] (TI Ćwiczenia 2)
• reguła łańcuchowa dla informacji wzajemnej (Tw. 2.5.2 z [CT])
• zad 3 z [NSW] (TI Ćwiczenia 2) (Entropia Kolizji i Min Entropia)
• Przykład 2.3.1 z [CT]

1.10.14: Ćwiczenia (DM)

• ćw 1, ćw 2 z [NSW] (TI Ćwiczenia 2)

• nierówność Jensena

• minimalna i maksymalna wartość entropii zmiennej losowej o n wartościach

• Entropia pary, Entropia warunkowa - definicja, chain rule, przypadek zmiennych niezależnych

• przykład, że H(x|y) != H(y|x)

15.10.14: Ćwiczenia (DM)

15.10.14: Ćwiczenia (SD)

• Zadania 2.14, 2.15, 2.17 z [CT]

15.10.14: Wykład "Łańcuchy Markowa, nierówność Fano"

Wykład prowadzony był według następujących fragmentów książki [CT]:

• Rozdział 2.8 (cały) -- definicja łańcuchów Markowa, nierówność o przetwarzaniu danych i dwa proste wnioski płynące z niej,
  
• Rozdział 2.10 (do połowy strony 40) -- nierówność Fano i jej optymalność. 

8.10.14: Ćwiczenia (DM)

8.10.14: Ćwiczenia (SD)

• reguła łańcuchowa dla informacji wzajemnej (Tw. 2.5.2 z [CT])
• ograniczenie na entropię ciągu zmiennych losowych (Tw. 2.6.6 z [CT])
• Ćwiczenie 4 i Zadanie 2 z [NSW]

8.10.14: Wykład "Entropia i informacja wzajemna"

Dokończyliśmy wyprowadzanie pojęcia entropii z aksjomatów, wg. Rozdziału 1.2 skryptu [BT] (krok 5 na stronie 7).

Reszta wykładu była prowadzona według następujących fragmentów książki [CT].

• Rozdział 2.3 (cały) -- dywergencja Kullbacka i Leiblera, informacja wzajemna,
• Rozdział 2.4 (cały) -- związki między entropią i informacją wzajemną,
• Rozdział 2.5 (do strony 23 włącznie) -- reguła łańcuchowa dla entropii, warunkowa informacja wzajemna,
• Rozdział 2.6 (cały, z tym, że nierówność Jensena potraktowaliśmy pobieżnie):
• nierówność Jensena, nieujemność dywergencji Kullbacka i Leiblera (Tw. 2.6.3), 
• nieujemność informacji wzajemnej (wniosek z Tw. 2.6.3), 
• Tw. 2.6.4 o tym, że entropia jest ograniczona przez logarytm z rozmiaru przeciwdziedziny zmiennej losowej,
• Tw. 2.6.5 o tym, że warunkowanie nie może zwiększyć entropii,

Pokazaliśmy też diagram Venna dla entropii i informacji wzajemnej:

1.10.14: Ćwiczenia (DM)

1.10.14: Ćwiczenia (SD)

wprowadziliśmy pojęcie entropii warunkowej (strona 17 książki [CT])

pokazaliśmy regułę łańcuchową dla entropii w wersji tylko z dwiema zmiennymi XY (Tw. 2.2.1 z [CT])

zrobiliśmy Ćwiczenia 2,4 i Zadanie 3 z [NSW]

zadanie 2.5 z [CT] zostało do domu

1.10.14: Wykład "Wprowadzenie do pojęcia entropii"

Dokonaliśmy wstępu do pojęcia entropii i wyprowadziliśmy wzór na entropię z aksjomatów entropii. Wykład był prowadzony według Rozdziału 1.2 skryptu [BT] (oprócz kroku 5 na stronie 7, którego nie zdążyliśmy pokazać).

Pokazaliśmy też wykres entropii binarnej: