Учебная программа Дисциплины ен. Ф. 05 «Теория информации» по сп

МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ

Федеральное государственное бюджетное образовательное учреждение

высшего профессионального образования

«Нижегородский государственный университет им. Н.И. Лобачевского»

Радиофизический факультет

Кафедра бионики и статистической радиофизики

УТВЕРЖДАЮ

Декан радиофизического факультета

____________________Якимов А.В.

«27» июня 2012 г.

Учебная программа

Дисциплины ЕН.Ф.05 «Теория информации»

по специальности 090106 «Информационная безопасность телекоммуникационных систем»

Нижний Новгород

2012 г.

1. Область применения

Данная дисциплина относится к общим математическим и естественнонаучным дисциплинам федерального компонента, преподается в 5 семестре.

2. Цели и задачи дисциплины

Содержание дисциплины направлено на ознакомления студентов с основными количественными характеристиками источников сообщений и каналов связи, принципами кодирования информации.

3. Требования к уровню освоения содержания дисциплины

В результате изучения дисциплины студенты должны

иметь представление:

о структуре построения систем связи;

знать:

математические модели источников сообщений;

основные методы кодирования информации;

уметь:

использовать базовые элементы теории информации для анализа поставленных задач;

пользоваться современной научно-технической информацией по курсу теории информации.

4.Объем дисциплины и виды учебной работы

Виды учебной работы

Всего часов

Семестры

Общая трудоемкость дисциплины

100

5

Аудиторные занятия

51

51

Лекции

34

34

Практические занятия (ПЗ)

17

17

Семинары (С)

Лабораторные работы (ЛР)

Другие виды аудиторных занятий

Самостоятельная работа

49

49

Курсовой проект (работа)

Расчетно-графическая работа

Реферат

Другие виды самостоятельной работы

Вид итогового контроля (зачет, экзамен)

экзамен

экзамен

5. Содержание дисциплины

5.1. Разделы дисциплины и виды занятий

№п/п

Раздел дисциплины

Лекции

ПЗ (или С)

ЛР

1.

Математические модели дискретных систем передачи информации.

4

2

2.

Пропускная способность дискретных каналов связи с шумами. Кодирование при наличии помех.

4

3

3.

Математические модели непрерывных систем передачи информации.

4

2

4.

Основы помехоустойчивого кодирования.

6

2

5.

Элементы теории случайных процессов

6

4

6.

Спектрально — корреляционный анализ случайных процессов.

6

2

7.

Элементы теории оптимальной обработки сигналов

4

2

5.2. Содержание разделов дисциплины

Раздел 1. Математические модели дискретных систем передачи информации.

1.1 Энтропия дискретных систем.

Энтропия как мера степени неопределенности случайной системы. Основные свойства энтропии. Теорема о максимальном значении энтропии. Энтропия сложной системы, частная и полная. Теорема сложения энтропий для зависимых подсистем.

1.2. Количество информации в дискретных системах.

Определение частной информации, доставляемой одним событием о другом. Собственная информация события. Среднее количество информации, ее связь с энтропией. Основные свойства. “Потерянная” и “шумовая” информации. Дискретный канал связи с помехами (без памяти). Зависимость количества информации, передаваемой по каналу, от величины действующих помех.

1.3. Кодирование дискретных сообщений в отсутствии помех.

Кодирование сообщений, обратимость кода. Теорема Шеннона о кодировании сообщений в отсутствии помех. Теорема Крафта. Проверка условия однозначного декодирования. Блочное кодирование. Оптимальное кодирование в отсутствии помех. Код Шеннона-Фано, код Хафмана. Модели реальных дискретных сообщений. Энтропийные характеристики случайных последовательностей. Средняя энтропия на один символ сообщения. Обобщение основной теоремы Шеннона о кодировании на стационарные случайные последовательности. Избыточность и коэффициент сжатия реальных языков и сообщений.

Раздел 2. Пропускная способность дискретных каналов связи с шумами. Кодирование при наличии помех.

Скорость создания информации. Пропускная способность каналов связи с помехами. Каналы связи симметричные по входу и выходу. Пропускная способность полностью симметричных каналов связи. Фундаментальное Е-свойство энтропии дискретных эргодических процессов, “высоковероятная” и “маловероятная” группы реализаций, следствия из Е свойства. Кодирование в каналах связи с шумами. Основная теорема Шеннона о кодировании в присутствии шумов.

Раздел 3. Математические модели непрерывных систем передачи информации.

3.1. Энтропийные характеристики непрерывных случайных величин.

Дифференциальная (относительная) энтропия. Частная и полная условные энтропии. Дифференциальная энтропия системы случайных величин. Принцип максимума энтропии. Экстремальные распределения.

3.2. Количество информации в непрерывных системах. Непрерывные каналы связи.

Непрерывные системы связи. Теорема дискретизации Котельникова. Количество информации, его выражение через дифференциальные энтропии. Количество информации, передаваемое по непрерывному каналу связи с гауссовским входом и выходом. Пропускная способность непрерывного канала связи с гауссовской аддитивной помехой. Проблемы передачи непрерывной информации с оценкой ошибок дискретизации по времени и по амплитуде. Возможности информационного подхода к оценке качества функционирования систем связи.

Раздел 4. Основы помехоустойчивого кодирования.

4.1. Основные принципы помехоустойчивого кодирования.

Простейшие помехоустойчивые коды. Значность кода, вес кодовой комбинации, вектор и кратность ошибки. Кодовое расстояние и его связь с исправляющей способностью кода. Минимальное кодовое расстояние для кодов, исправляющих ошибки. Геометрическая модель комбинаций двоичного кода.

4.2. Построение корректирующих кодов с заданной исправляющей способностью.

Показатели качества корректирующих кодов. Классификация помехоустойчивых кодов. Линейные блочные коды с проверкой на четность, систематические коды. Принципы кодировки и декодировки сообщений, порождающие и проверочные матрицы систематических кодов. Примеры линейных кодов: коды Хемминга, циклические коды, их основные свойства.

Раздел 5. Элементы теории случайных процессов.

5.1. Определение и вероятностное описание случайного процесса.

Понятие статистического ансамбля. Вероятностное описание случайного процесса с помощью многомерных плотностей вероятностей. Основные свойства многомерных плотностей вероятностей. Условные плотности вероятностей, их свойства и связь с могомерными безусловными плотностями вероятностей.

5.2. Классификация случайных процессов по их вероятностному последействию.

Совершенно случайные процессы, марковские процессы и их описание. Уравнение Смолуховского для условной плотности вероятности марковского процесса. Квазидетерминированные случайные процессы.

5.3. Многомерные характеристические, моментные и кумулянтные функции случайного процесса.

Характеристическая функция, определение и свойства. Моментные и кумулянтные функции, их взаимосвязь. Корреляционная и ковариационная функции случайного процесса. Коэффициент корреляции.

5.4. Гауссовские случайные процессы.

Многомерная характеристическая функция и плотность вероятностей гауссовского процесса. Информация необходимая для полного описания гауссовского случайного процесса. Ковариационная матрица отсчетов случайного процесса. Основные свойства гауссовских случайных процессов.

5.5. Стационарные и эргодические случайные процессы.

Понятие стационарности в узком и широком смысле.Усреднение по статистическому ансамблю и по времени. Эргодичность случайных процессов. Необходимые и достаточные условия эргодичности по отношению к среднему значению, корреляционной функции, одномерной плотности вероятности. Экспериментальное измерение основных статистических характеристик эргодических случайных процессов.

5.6. Совокупности случайных процессов.

Общее описание совокупности двух случайных процессов. Статистическая независимость случайных процессов. Взаимные корреляционные и ковариационные функции. Стационарность, эргодичность, гауссовость совокупности двух случайных процессов.

Раздел 6. Спектрально — корреляционный анализ случайных процессов.

6.1 Корреляционные функции.

Свойства корреляционных функций нестационарных и стационарных случайных процессов. Среднее значение и корреляционная функция производной и интегрального преобразования от случайного процесса.

6.2. Спектрально-корреляционный анализ сигналов 1-ой группы с конечной энергией.

Спектральная плотность энергии, функция корреляции первого рода и их свойства. Преобразование сигналов первой группы линейными системами.

6.3. Спектрально-корреляционный анализ сигналов П-ой группы с конечной мощностью.

Спектральная плотность мощности. Соотношение между спектральной плотностью мощности и корреляционной функцией для стационарных случайных процессов (формула Винера-Хинчина). Спектральная плотность мощности нестационарных сигналов П-ой группы. Функция корреляции второго рода. Ширина спектра случайного процесса, ее связь со временем корреляции. Узкополосные случайные процессы. Амплитуда и фаза случайного процесса. Представление узкополосного случайного процесса с помощью квадратурных компонент. Преобразование сигналов П-ой группы линейными системами. Приближение “белого” шума.

6.4. Совместные (взаимные) спектральные плотности энергии и мощности случайных процессов.

Взаимные функции корреляции первого и второго рода. Взаимные спектры, синфазная и квадратурная составляющие взаимных спектров. Взаимная спектральная плотность мощности входа и выхода линейной системы, выходных сигналов двух линейных систем. Основные неравенства для взаимных спектров. Функция когерентности. Применение взаимных корреляционных функций и спектров для определения источников шума и каналов его распространения.

6.5. Спектрально-корреляционный анализ нелинейных преобразованных случайных процессов.

Спектрально-корреляционный анализ нелинейных безынерционных преобразований (НБП) случайных гауссовских процессов. Выражение корреляционной функции выходного процесса в виде ряда по ковариационной функции входного процесса. Взаимная корреляционная и ковариационная функции входа и выхода НБП.

Раздел 7. Элементы теории оптимальной обработки сигналов.

7.1 Классификация задач оптимальной обработки сигналов.

Статистическая модель канала связи. Оптимальное обнаружение, различение, измерение параметров, фильтрация сигналов.

7.2. Оптимальное обнаружение сигналов при дискретных наблюдениях.

Двухальтернативная постановка задачи. Критерий идеального наблюдателя. Отношение правдоподобия. Структурная схема оптимального обнаружителя. Другие критерии оптимальности. Обнаружение детерминированного полезного сигнала на фоне гауссовских помех.

7.3. Оптимальное обнаружение сигналов при непрерывных наблюдениях.

Функционал отношения правдоподобия. Случай обнаружения детерминированного сигнала на фоне белого гауссовского шума. Корреляционный приемник. Согласованный фильтр. Отношение сигнал/шум на выходе согласованного фильтра. Анализ эффективности оптимального обнаружителя.

6. Лабораторный практикум.

№п/п

№ раздела дисциплины

Наименование лабораторных работ

1

5

Оценивание параметров случайного процесса

2

6

Измерение спектров шумов

7. Учебно-методическое обеспечение дисциплины

7.1. Рекомендуемая литература.

а) основная литература:

1. Шеннон К. Работы по теории информации и кибернетике. М.: И.Л. 1963.

2. Фано Р. Передача информации. Статистическая теория связи. М.: Мир. 1965.

3. Стратанович Р.Л. Теория информации. М.: Сов. радио, 1977.

4. КузьминИ.В., Кедрус В.А. Основы теории информации и кодирования. Киев.: Высш. шк. 1977

5. Домбровский Е.А., Иванов А.О., Ларионов А.А., Мальцев А.А. Пособие по курсу «Теория информации» ННГУ, 2003.

6. Рытов С.М. Введение в статистическую радиофизику. Часть 1. М.: Наука, 1976.

7. Тихонов В.И. Статистическая радиотехника. М.: Радио и связь, 1982.

8. Левин Б.Р. Теоретические основы статистической радиотехники. М.: Радио и связь, 1989.

9. Тихонов В.И., Харисов И.Н. Статистический анализ и синтез радиотехнических устройств и систем. М.: Радио и связь, 1991.

10. Зачепицкая Л.П., Клибанова И.М. Измерение простейших характеристик случайных процессов, Горький, ГГУ, 1986.

11. Малахов А.Н., Саичев А.И. Спектрально-корреляционный анализ случайных процессов. Горький, ГГУ, 1979.

б) дополнительная литература:

1. Прокис Дж. Цифровая связь. Пер. с англ. М.: Радио и связь , 2000.

2. Финк Л.М. Теория передачи дискретных сообщений. М.: Сов. радио, 1970.

8. Вопросы для контроля

Энтропия как мера степени неопределенности дискретной случайной системы. Единицы измерения энтропии. Основные свойства энтропии.

Теорема о максимальном значении энтропии для системы с двумя состояниями и произвольным числом состояний.

Энтропия сложной системы. Свойство аддитивности энтропии для сложной системы, состоящей из нескольких статистически независимых подсистем.

Условные энтропии, частная и полная. Свойства условных энтропий, основные неравенства для условных энтропий (теорема о средней условной энтропии).

Энтропия сложной системы, состоящей из нескольких зависимых подсистем. Ее связь с условными и безусловными энтропиями, максимальное значение энтропии сложной системы.

Определение частной информации, доставляемой одним событием о другом, ее свойства. Собственная частная информация события. Среднее собственное количество информации сообщения, его связь с энтропией.

Количество информации, как мера снятой неопределенности.Среднее количество информации, содержащееся в принятом сообщении Y о переданном сообщении X, основные свойства, связь с энтропией. “Потерянная “ и “шумовая” информация.

Двоичный симметричный канал связи. Зависимость количества информации передаваемого по этому каналу связи от вероятности ошибок.

Кодирование дискретных сообщений в отсутствии помех. Постановка задачи кодирования, обратимость и экономность кода. Средняя длина кодового слова. Определение нижней границы для средней длины кодового слова на основе понятий количества информации, необходимого для однозначного определения переданного символа.

Выбор длины кодовых слов на основе понятия частной информации переданного сивола. Неравенства для средней длины кодового слова. Условия оптимальности кода при побуквенном кодировании.

Условия однозначного декодирования. Теорема Крафта.

Теорема Шеннона о кодировании сообщений в отсутствии помех (побуквенное кодирование).

Блочное кодирование. Теорема Шеннона о кодировании независимых сообщений в отсутствии помех для блочного кодирования.

Оптимальное кодирование. Коды Шенона-Фано и Хафмана.

Энтропийные характеристики случайных последовательностей, состоящих из зависимых символов. Средняя энтропия на один символ сообщения.

Теорема о существовании предельной условной энтропии для стационарной случайной последовательности. Средняя энтропия на один символ для стационарной случайной последовательности.

Обобщение основной теоремы Шеннона о кодировании в отсутствии помех на стационарные случайные последовательности состоящие из зависимых сообщений.

Избыточность сообщения и коэффициент сжатия. Избыточность реальных языков.

Дискретные каналы связи с помехами. Стационарные каналы связи без памяти, их описание. Пропускная способность дискретных стационарных каналов связи без памяти.

Пропускная способность дискретных каналов связи симметричных по входу. Каналы связи симметричные по входу и выходу, их пропускная способность.

Фундаментальное свойство энтропии дискретных эргодических процессов (Е-свойство).

Следствия из Е свойства эргодической случайной последовательности: “высоковероятная” и “маловероятная” группы реализаций, число реализаций в “высоковероятной” группе.

Скорость создания информации. Кодирование в каналах связи с помехами. Формулировка основной теоремы Шеннона о кодировании в канале связи с помехами.

Доказательство основной теоремы Шеннона о кодировании в канале связи с помехами.

Неопределенность непрерывных систем. Дифференциальная (относительная) энтропия. Энтропийные характеристики системы непрерывных случайных величин.

Экстремальные распределения непрерывных случайных величин.

Обобщение понятия количества взаимной информации на непрерывные системы. Свойства и связь количества взаимной информации с дифференциальными энтропиями.



Страницы: 1 | 2 | Весь текст