Cilj i ishod predmeta
Cilj predavanja i vežbi je da se steknu osnovna znanja iz teorije informacija i kodovanja u komunikacionim sistemima. Po završetku kursa student razume pojam količine informacija i upoznat je sa diskretnim izvorima sa i bez memorije. Poznaje teoriju statističkog kodovanja, prvu Šenonovu teoremu i postupke za dobijanje koda sa minimalnom srednjom dužinom kodne reči. Upoznat je sa diskretnim kanalima sa i bez memorije. Razume drugu Šenonovu teoremu i algoritme zaštitnog kodovanja – blok kodove, ciklične kodove i konvolucione kodove.
Teorijska nastava
Model komunikacionog sistema. Pojam informacije. Definicija količine informacija. Diskretni izvori bez memorije. Osobine entropije. Diskretni izvori sa memorijom. Entropija Markovljevog izvora. Kontinualni izvori informacija. Statističko kodovanje. Kraftova nejednakost. Prefiksni kod. Kompaktni kod. Prva Šenonova teorema. Metode konstrukcije kompaktnog koda. Šenon-Fano kodovi. Hafmanovi kodovi. Statistički model kanala. Diskretni kanali bez memorije. Kapacitet diskretnih kanala. Diskretni kanali sa memorijom. Kontinualni kanali. Kapacitet kontinualnog kanala. Zaštitno kodovanje. Druga Šenonova teorema. Verovatnoća greške. Hemingovo rastojanje. Blok kodovi. Konvolucioni kodovi. Viterbijev algoritam. Osnovi trelis kodovane modulacije.
Praktična nastava
Entropija diskretnih izvora bez memorije. Dijagram stanja, stacionarne verovatnoće stanja i simbola, trelis dijagram i entropija Markovljevih izvora. Osobine kodova – singularnost, jednoznačna dekodabilnost, prefiksan kod, kompaktan kod. Hafmanovi kodovi, efikasnost koda i odnos kompresije. Lempel-Ziv 78 algoritam. Diskretni kanal bez memorije, ekvivokacija, irelevancija, uzajamna informacija i kapacitet kanala. Maximum likelihood (ML) i maximum a posteriori (MAP) pravila odlučivanja. Linearni blok kodovi, Hemingovi kodovi, ciklični kodovi, sistematski kodovi i blok šeme odgovarajućih kodera i dekodera. Konvolucioni kodovi, kodni količnik, kodni domašaj, trelis dijagram, dijagram stanja, funkcija prenosa, slobodno kodno rastojanje, Viterbijev algoritam. Sistematski konvolucioni koder.