Лекція №1

Тема. Інформація та інформаційні процеси

Мета: надати загальні відомості про склад дисципліни "Теорія інформації та кодування", математичні моделі каналів зв'язку

План

1. Повідомлення та інформація
2. Моделі інформаційних систем
3. Математичні моделі каналу зв'язку
4. Предмет теорії інформації та кодування

Lecture_1.doc

Лекція №2

Тема. Ансамблі та джерела повідомлень

Мета: отримати загальні відомості про об'єкти дисципліни "Теорія інформації та кодування", матемтаичні моделі каналів зв'язку

План

1. Основний об'єкт теорії інформації
2. Дискретні та неперервні канали зв'язку
3. Повна група подій у математичній статистиці
4. Формальне визначення об'єкту теорії інформації

Lecture_2.doc

Лекція №3

Тема. Кількісна міра інформації

Мета: отримати загальні відомості про методи вимірювання інформації, тим, як вона вимір.ється у дисципліні "Теорія інформації та кодування", у математичних моделях каналів зв'язку

План

1. Статистичний підхід до вимірювання інформації
2. Основні принципи теорії інформації щодо її вимірювання
3. Функції, що відповідають основним принципам
4. Формула для вимірювання статистичної інформації

Lecture_3.doc

Лекція №4

Тема. Безумовна ентропія

Мета: ознайомитися з поняттями ентропії, безумовна ентропія, з тим, як визначається середня кількість інформації у повідомленні ансамблю

План

1. Закон великих чисел матемтаичної статистики
2. Математичне очікування кількості інформації по ансамблю
3. Безумовна ентропія
4. Основні властивості безумовної ентропії

Lecture_4.doc

Лекція №5

Тема. Умовна ентропія

Мета: ознайомити з понятям умовної ентропії, з тим, яку роль відіграє вона для вимірювання інформації, втрат інформації.

План

1. Умовні ймовірності та ансамбль джерела
2. Часткова та загальна умовна ентропія
3. Основні властивості умовної ентропії
4. Інформаційний зміст умовної ентропії

Lecture_5.doc

Лекція №6

Тема. Продуктивність дискретного джерела

Мета: ознайомити з поняттям продуктивності дискретного джерела, з тим, яку роль відіграє вона для вимірювання інформації, втрат інформації.

План

1. Матриця умоних ймовірностей джерела
2. Формула ентропії об'єднання двох джерел
3. Основні властивості енропії об'єднання двох джерел
4. Продуктивність дискретного джерела

Lecture_6.doc

Лекція №7

Тема. Пропускна здатність каналу

Мета: ознайомити з поняттям пропускна здатність каналу, з тим, яку роль відіграє вона для вимірювання інформації, втрат інформації.

План

1. Інформаційні втрати при передачі повідомлень по дискретному каналу
2. Формула середньої кількості інформації про джерело у повідомленні спостерігача
3. Пропускна здатність дискретного каналу
4. Пропускна здатність каналу без завад

Lecture_7.doc

Лекція №8

Тема. Інформаційні втрати при передачі інформації по каналу зв'язку

Мета: отримати загальні відомості про інформаційні втрати при передачі інформації по каналу зв'язку, про методи боротьби з перешкодами при передачі інформації

План

1. Зміст загальної умовної ентропії
2. Властивості загальної умовної ентропії при передачі інформації по каналу зв'язку
3. Швидкість передачі даних
4. Оптимальна продуктивність каналу та умови її досягнення

Lecture_8.doc

Лекція №9

Тема. Теорема Шеннона про кодування дискретного джерела

Мета: ознайомити з теоремою Шеннона про кодування дискретного джерела та її практичне застосування

План

1. Теорема Шеннона про кодування дискретного джерела
2. Типові послідовності повідомлень
3. Умови виконання теореми Шеннона
4. Оптимальне кодування

Lecture_9.doc