Кодовање и теорија информација

Модел комуникационог система. Појам информације. Дефиниција количине информација. Дискретни извори без меморије. Особине ентропије.  Дискретни извори са меморијом.  Ентропија Марковљевог извора.  Континуални извори информација. Статистичко кодовање. Крафтова неједнакост. Тренутни код. Врсте префиксних кодова. Компактни код. Прва Шенонова теорема. Методе конструкције компактног кода. Поступак Шенона и Фаноа. Поступак Хафмена. Статистички модел канала. Дискретни канали без меморије. Капацитет дискретних канала. Дискретни канали са меморијом. Континуални канали. Капацитет континуалног канала. Заштитно кодовање. Друга Шенонова теорема. Вероватноћа грешке. Хемингово растојање. Блок кодови. Конволуциони кодови. Витербијев алгоритам. Основи трелис кодоване модулације.

Рачунарски факултет Рачунарски факултет 011-33-48-079