26.11.14: Ćwiczenia (DM)

• Omówienie zadania "Do przemyślenia" z poprzednich ćwiczeń

• E.x. 5.9, 6.18, 6.20, 6.21 z [JJ]

• Dowód, że 1/n * log(n po t) zbiega do H(t/n) dla n -> inf, t/n stałe (str 110 w [JJ])

26.11.14: Ćwiczenia (SD)

Policzyliśmy wyprowadzenie granicy ze strony 110 książki [JJ] (używając wzoru Stirlinga).

Exercises 6.18, 6.20 i 6.21.

26.11.14: Wykład "Optymalność Twierdzenia Shannona, ograniczenia Hamminga i Gilberta-Varshamova"

Pokazaliśmy dowód optymalności Twierdzenia Shannona (Rozdział 5.5 z książki [JJ]).

Następnie pokazaliśmy ograniczenie Hamminga (Rozdział 6.4 z [JJ]) i ograniczenie Gilberta-Varshamova (Rozdział 6.5 z [JJ]).

Rozpoczęliśmy też wstęp do macierzy Hadamarda (Rozdział 6.6 z [JJ])

19.11.14: Ćwiczenia (SD)

Exercises 4.10, 4.16, 4.18 z [JJ],

19.11.14: Wykład "Odległość Hamminga i Twierdzenie Shannona"

Wprowadziliśmy pojęcie odległości Hamminga (Rozdział 5.3 z [JJ]) i udowodniliśmy Drugie Twierdzenie Shannona (Rozdział 5.4 z [JJ]).

19.11.14: Ćwiczenia (DM)

• Dokończone e.x. 4.17 z [JJ] (pojemność sumy kanałów)
• Obliczyć pojemność kanału (średnik oddziela wiersze, przecinek liczby): (1, 0; 1/2, 1/2)
• e.x. zad 4.10 z [JJ] (pojemność iloczynu kanałów)
• E.x. 5.4 i 5.6 (odległość Hamminga), E.x. 5.8 z [JJ]
• Obliczyć pojemność:
   (1, 0, 0, 0, 0; 1/2, 1/2, 0, 0, 0; 0, 0, 1/2, 0, 1/2; 0, 0, 1/2, 1/2, 0; 0, 0, 0, 1/2, 1/2)
• Do przemyślenia: Kanał dostaje na wejściu x \in {0,1}^n, a na wyjściu ten sam ciąg z pominiętym jednym jednostajnie losowo wybranym bitem (czyli ciąg y \in {0,1}^(n-1)). Pokazać, że pojemność tego kanału to przynajmniej (N - log N - 1).

12.11.14: Ćwiczenia (DM)

• Przypomnienie pojemności kanału BSC
• Dokończenie Zad 1 z [NSW]
• 4.13, 4.15, 4.18 z [JJ]
• 4.17 z [JJ] - niedokończone
• 
  

12.11.14: Ćwiczenia (SD)

• Dokończenie Zad 1 z [NSW]
• Exercises 4.12, 4.13, 4.18 z [JJ]

12.11.14: Wykład "Przepustowość i reguły decyzyjne"

Wprowadziliśmy pojęcie przepustowości kanału i pokazaliśmy, że jest to pojęcie dobrze zdefiniowane (Rozdział 4.8 z [JJ]).

Potem mówiliśmy o regułach decyzyjnych (Rozdziały 5.1 - 5.2 z [JJ]).

5.11.14: Ćwiczenia (DM)

• Example 3.18, Exercise 3.5 z [JJ]
• Obliczanie Q_{ij} - str 59-60 w [JJ], Example 4.5
• Exercise 4.1 z [JJ]
• Ćw 2 z [NSW] (bez przepustowości)
• Częściowo: Zad 1 z [NSW]

5.11.14: Ćwiczenia (SD)

• Example 3.18, Exercise 3.5 z [JJ]
• Obliczanie Q_{ij} - str 59-60 w [JJ],
• Exercise 4.1 z [JJ]
• Ćw 1 i 2 z [NSW] (bez przepustowości)
• Do domu zostało Zad 1 z [NSW]

5.11.14: Wykład "Kody Shannona-Fano, Pierwsze Twierdzenie Shannona, wstęp do kanałów"

Pokazaliśmy kodowanie Shannona-Fano (Rozdział 3.4 z książki [JJ]) i Pierwsze Twierdzenie Shannona (Rozdział 3.6 z [JJ]).

Zaczęliśmy też mówić o kanałach informacyjnych (Rozdziały 4.1 - 4.7 z [JJ], przy czym zagadnienia związane z entropią i informacją wzajemną potraktowaliśmy pobieżnie, bo to już było).

29.10.14: Ćwiczenia (wspólne)

• ćw 3 z ćwiczeń 3 z [NSW],
• Jak kodować pary ciągów binarnych (elementów {0,1}^*x{0,1}^*)?
• Ex 2.10, 2.13, 2.14 z [JJ]
• Ex 2.12 (Nie zostało do końca formalnie udowodnione)
• Porównać optymalne kody dla źródeł o prawdopodobieństwach:
• 1/3, 2/3
• 0, 1/3, 2/3

29.10.14: Wykład "Kody Huffmana"

Wykład prowadzony był według następujących fragmentów książki [JJ]:

• Rozdział 2 (bez 2.5): Średnia długość kodu, (binarne) Kody Huffmana z dowodem optymalności, kodowanie kilku znaków na raz
• Rozdział 3.3: Średnia długość kodu jest nie większa niż entropia źródła. Definicja Wydajności oraz Redundancji kodu.