Основы теории и информации

Содержание

 

Задание 1. 3

Задание 2. 4

Задание 3. 5

Задание 4. 6

Задание 5. 7

Задание 6. 8

Список  литературы 10

 

 

 

Задание 1.

 

Сравнить количество информации. Содержащееся в двух сообщениях: «sdfdsfg» и «вапвап».

 

Решение:

Русский язык: , i = 6 бит (i не должно быть меньше 6, т.к. , а в русском языке 33 буквы)

Латинский язык: , i = 5 бит.

Количество бит информации одного символа русского языка больше на 1, чем в латинском языке.

Следовательно, информационный объём:

1 сообщения: 7*5=35 бит, или 35/8=4,375 байт

2 сообщения: 6*6=36 бит, или 36/8=4,5 байт.

 

 

 

 

Задание 2.

 

Сообщение составлено из символов алфавита {-, +, 2, 1, 0}. Вычислить количество информации в сообщении: «+-0-+1002».

 

Решение:

N=5

Количество информации, содержащееся в одном символе алфавита заданной мощности используют формулу i = log₂N:

i=log₂(5)=2,3 бит

Т.к. вес каждого символа  равен log₂(5)=2,3 бит, следовательно, информационный объём сообщения:

9* log₂(5)=21 бит или 2,6 байт.

 

 

Задание 3.

 

Информационное сообщение  закодировано цифрами в 3-й системе  счисления. Вероятности появления  цифр в сообщении заданы таблицей.

Цифра	0	1	2
Вероятность	0,5	0,26	0,24

 

В сообщении ******** стали известны 5 цифр. Вычислить априорную и  апостериорную энтропии сообщения.

 

Решение:

Событие «В сообщении ******** стали известны 5 цифр» обозначим буквой А. Данное испытание имеет 8 равновозможных элементарных исходов, из которых 5 благоприятствуют событию A, вероятность события:

p_1i=5/8=0,625.

Априорная энтропия определяется формулой:

Н₀(p)= бит

Апостериорная энтропия:

 

 

Задание 4.

 

Для данных из задачи №3 вычислить  скорость передачи информации, если длительность передачи символов составляет 0,01, 0,02, 0,04 с.

 

Решение:

Энтропия входе/выходе источника равна:

Вероятности появления символов на входе приемника

Скорость передачи информации равна:

0,01*0,5000=0,005 бит/с.

0,02*0,5053=0,01 бит/с.

0,04*0,4941=0,02 бит/с.

 

 

 

 

Задание 5.

 

Вычислить пропускную способность  бинарного симметричного канала с вероятностью ошибки 0,01 и длительностью  передачи одного символа 0,04 с.

 

Решение:

Бинарным дискретным каналом  называется канал, по которому передается только два элементарных дискретных символа (т.е. используется двоичный код).

Пропускная способность  бинарного симметричного канала связи:

где Р – вероятность перехода одного символа в другой.

22,1 бит/с.

 

Ответ: пропускная способность симметричного бинарного канала связи С=22,1 бит/с.

 

Задание 6.

 

Источник выдает сигналы  с вероятностями: 0,15, 0,25, 0,2, 0,15, 0,1, 0,15. Длительность передачи одной цифры  по каналу связи составляет 0,03 секунды. Распределение вероятностей при  передаче сигналов задано таблицей. Вычислить  пропускную способность канала связи.

	0	1	2	3	4	5
0	0,6	0,1	0,12	0,06	0,07	0,05
1	0,1	0,75	0,09	0,01	0,02	0,03
2	0,06	0,05	0,7	0,07	0,03	0,09
3	0,1	0,03	0,02	0,8	0,03	0,02
4	0,1	0,05	0,02	0,01	0,75	0,07
5	0,04	0,02	0,05	0,05	0,1	0,74

 

Решение:

1. Энтропия источника  сообщений равна:

2. Вероятности появления  символов на входе приемника

3. Энтропия приемника информации равна

 

4. Общая условная энтропия равна

5. Пропускная способность канала связи

0,03*(2,585-1,419)=0,035 бит/с.

 

 

 

 

Список литературы

 

1. Гринченко А.Г. Теория информации и кодирование: Учебн. пособие. – Харьков: ХПУ, 2000.
2. Игнатов В.А. Теория информации и передачи сигналов: Учебник для вузов. – 2-е изд., перераб. и доп. – М.: Радио и связь, 1991;
3. Куприянов М.С., Матюшкин Б.Д. – Цифровая обработка сигналов: процессоры, алгоритмы, средства проектирования. – СПб: Политехника, 1999.
4. Практикум по информатике и информационным технологиям. Учебное пособие для общеобразовательных учреждений / Н.Д. Угринович, Л.Л. Босова, Н.И. Михайлова. – М.: Бином. Лаборатория Знаний, 2002. 400 с.: ил.
5. Семакин И., Хеннер Е., Информатика. Задачник-практикум, т.1, Москва, ЛБЗ, 1999, с.131-134.
6. Сиберт У.М. Цепи, сигналы, системы: В 2-х ч. / Пер. с англ. – М.: Мир, 1988.
7. Скляр Б. Цифровая связь. Теоретические основы и практическое применение: Пер. с англ. – М.: Издательский дом «Вильямс», 2003. – 1104 с.
8. Феер К. Беспроводная цифровая связь. Методы модуляции и расширения спектра. Пер. с англ. – М.: Радио и связь, 2000.
9. Хемминг Р.В. Цифровые фильтры: Пер. с англ. / Под ред. А.М. Трахтмана. – М.: Сов. радио, 1980.
10. Kalinin, V.I. Microwave & Telecommunication Technology, 2007. CriMiCo 2007. 17th International Crimean ConferenceVolume, Issue, 10–14 Sept. 2007 Page(s):233 – 234