Циљ и исход предмета
Циљ предавања и вежби је да се стекну основна знања из теорије информација и кодовања у комуникационим системима. По завршетку курса студент разуме појам количине информација и упознат је са дискретним изворима са и без меморије. Познаје теорију статистичког кодовања, прву Шенонову теорему и поступке за добијање кода са минималном средњом дужином кодне речи. Упознат је са дискретним каналима са и без меморије. Разуме другу Шенонову теорему и алгоритме заштитног кодовања – блок кодове, цикличне кодове и конволуционе кодове.
Теоријска настава
Модел комуникационог система. Појам информације. Дефиниција количине информација. Дискретни извори без меморије. Особине ентропије. Дискретни извори са меморијом. Ентропија Марковљевог извора. Континуални извори информација. Статистичко кодовање. Крафтова неједнакост. Префиксни код. Компактни код. Прва Шенонова теорема. Методе конструкције компактног кода. Шенон-Фано кодови. Хафманови кодови. Статистички модел канала. Дискретни канали без меморије. Капацитет дискретних канала. Дискретни канали са меморијом. Континуални канали. Капацитет континуалног канала. Заштитно кодовање. Друга Шенонова теорема. Вероватноћа грешке. Хемингово растојање. Блок кодови. Конволуциони кодови. Витербијев алгоритам. Основи трелис кодоване модулације.
Практична настава
Ентропија дискретних извора без меморије. Дијаграм стања, стационарне вероватноће стања и симбола, трелис дијаграм и ентропија Марковљевих извора. Особине кодова – сингуларност, једнозначна декодабилност, префиксан код, компактан код. Хафманови кодови, ефикасност кода и однос компресије. Lempel-Ziv 78 алгоритам. Дискретни канал без меморије, еквивокација, ирелеванција, узајамна информација и капацитет канала. Maximum likelihood (ML) и maximum a posteriori (MAP) правила одлучивања. Линеарни блок кодови, Хемингови кодови, циклични кодови, систематски кодови и блок шеме одговарајућих кодера и декодера. Конволуциони кодови, кодни количник, кодни домашај, трелис дијаграм, дијаграм стања, функција преноса, слободно кодно растојање, Витербијев алгоритам. Систематски конволуциони кодер.