Характеристика непрерывных источников информации

Характеристика непрерывных источников информации

СОДЕРЖАНИЕ

 

ВВЕДЕНИЕ 3

гЛАВА 1. непрерывныЕ источники информации. Случайные сигналы 5

1.1. Источники информации. Основные понятия. 5

1.2. Математическое описание случайных сигналов 7

1.3. Преобразование непрерывных сигналов в дискретные 10

Глава 2. основные характеристики Непрерывных источников информации 12

2.1. Количественная оценка информации 12

2.2. Количественная оценка информации непрерывного источника. Дифференциальная энтропия 15

2.3. Свойства дифференциальной энтропии 16

2.4. Совместная и условная дифференциальная энтропия 23

ЗАКЛЮЧЕНИЕ 29

СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ 30

 

 

ВВЕДЕНИЕ

 

Актуальность исследования состоит в том, что получение, передача, обработка и хранение информации – это наиболее динамично развивающиеся в последние десятилетия и перспективные области человеческой деятельности. Десятки тысяч крупных, средних и мелких фирм во всем мире, с годовым оборотом в сотни миллиардов долларов, занимаются исследованием, разработкой, производством, продажей и эксплуатацией разнообразных систем и устройств передачи информации [3, 4, 10, 17].

Информация  является объектом хранения, передачи и преобразования. В теории и технике  связи в первую очередь интересуются только свойствами информации при ее передаче. При этом под информацией  понимают совокупность сведений о каких-либо явлениях, событиях и фактах, заранее  неизвестных получателю [1, 2, 5–9].

Система передачи информации представляет собой  совокупность технических средств  и среды распространения сигналов, обеспечивающих передачу информации (сообщений) от источника к получателю [6–9, 12–16, 18–30].

Данные являются диалектической составной  частью информации. Они представляют собой зарегистрированные сигналы. Данные могут нести в себе информацию о событиях, происходящих в материальном мире. Однако данные не тождественны информации. Как только данные начинают использовать в каких-либо практических целях, они превращаются в информацию. Исходя из этого, можно определить информацию как используемые данные.

Для получения информации нужен  метод обработки данных. Информация – это продукт взаимодействия данных и адекватных им методов их обработки.

Любая система передачи информации включает в себя источник и получатель информации, а также канал связи. Источником информации является физический объект, формирующий сообщения. Получатель этих сообщений и является получателем информации. Исходным пунктом в такой системе является источник информации (сообщений). Его сообщения преобразуются в первичные сигналы, а затем, в передатчике, – во вторичные сигналы, удобные для передачи по линии связи (по форме, мощности, частоте или другим параметрам). Эти сигналы поступают в линию связи, в которой они ослабляются и подвергаются вредному воздействию посторонних мешающих воздействий – помех. Приемник осуществляет восстановление (извлечение) первичных сигналов из принятых колебаний, которые затем преобразуются в принимаемые сообщения. Из-за воздействия помех, восстановленные первичные сигналы и, следовательно, сообщения могут отличаться от переданных.

Понятно, что  при разработке любой системы  передачи информации важнейшими вопросами являются задачи определения информационных характеристик источников сообщений, что и определяет актуальность темы настоящей дипломной работы.

Предметом исследования является теория информации и информационные процессы

Объектом исследования данной дипломной работы являются непрерывные источники информации.

Целью дипломной  работы является исследование непрерывных источники информации и их характеристика.

Основными задачами исследования являются:

– определение непрерывных источников информации;

– анализ методов математического описания непрерывных источников информации;

– изучение и оценка основных характеристик непрерывных источников информации;

– примеры  расчета информационных характеристик непрерывных источников информации.

гЛАВА 1. непрерывныЕ источники информации. Случайные сигналы

1.1. Источники информации. Основные понятия.

Информация  поступает в систему в форме  сообщений. Под сообщением понимают совокупность знаков или первичных  сигналов, содержащих информацию. Источник сообщений в общем случае образует совокупность источника информации (ИИ) (исследуемого или наблюдаемого объекта) и первичного преобразователя (ПП) (датчика, человека-оператора и т.п.), воспринимающего информацию о его состояниях или протекающем в нем процессе. Различают дискретные и непрерывные сообщения.

Дискретные  сообщения формируются в результате последовательной выдачи источником отдельных  элементов – знаков. Множество различных знаков называют алфавитом источника сообщений, а число знаков – объемом алфавита. В частности, знаками могут быть буквы естественного или искусственного языка, удовлетворяющие определенным правилам взаимосвязи. Распространенной разновидностью дискретных сообщений являются данные.

Непрерывные сообщения не разделимы на элементы. Они описываются функциями времени, принимающими непрерывное множество  значений. Типичными примерами непрерывных  сообщений могут служить речь, телевизионное изображение. В ряде систем связи непрерывные сообщения  с целью повышения качества передачи преобразуются в дискретные.

Для передачи сообщения по каналу связи  ему необходимо поставить в соответствие определенный сигнал. В информационных системах под сигналом понимают физический процесс, отображающий (несущий) сообщение. Преобразование сообщения в сигнал, удобный для передачи по данному  каналу связи, называют кодированием в  широком смысле слова. Операцию восстановления сообщения по принятому сигналу  называют декодированием.

Так как число возможных дискретных сообщений при неограниченном увеличении времени стремится к бесконечности, а за достаточно большой промежуток времени весьма велико, то ясно, что  создать для каждого сообщения свой сигнал практически невозможно. Однако, поскольку дискретные сообщения складываются из знаков, имеется возможность обойтись конечным числом образцовых сигналов, соответствующих отдельным знакам алфавита источника.

Для обеспечения простоты и надежности распознавания образцовых сигналов их число целесообразно сократить  до минимума. Поэтому, как правило, прибегают  к операции представления исходных знаков в другом алфавите с меньшим  числом знаков, называемых символами. При обозначении этой операции используется тот же термин «кодирование», рассматриваемый  в узком смысле. Устройство, выполняющее  такую операцию, называют кодирующим или кодером (КД). Так как алфавит символов меньше алфавита знаков, то каждому знаку соответствует некоторая последовательность символов, которую назовем кодовой комбинацией. Число символов в кодовой комбинации называют ее значностью, число ненулевых символов – весом.

Аналогично, для операции сопоставления символов со знаками исходного алфавита используется термин «декодирование». Техническая реализация ее осуществляется декодирующим устройством или декодером (ДК). В простейшей системе связи кодирующее и декодирующее устройство могут отсутствовать.

Передающее  устройство осуществляет преобразование непрерывных сообщений или знаков в сигналы, удобные для прохождения  по конкретной линии связи (либо для  хранения в некотором запоминающем устройстве). При этом один или несколько  параметров выбранного носителя изменяют в соответствии с передаваемой информацией. Такой процесс называют модуляцией. Он осуществляется модулятором (МД). Обратное преобразование сигналов в символы производится демодулятором (ДМ).

Под линией связи понимают любую физическую среду (воздух, металл, магнитную ленту  и т. п.), обеспечивающую поступление  сигналов от передающего устройства к приемнику. Сигналы на выходе линии связи могут отличаться от переданных вследствие затухания, искажения и воздействия помех. Помехами называют любые мешающие возмущения, как внешние (атмосферные помехи, промышленные помехи), так и внутренние (источником которых является сама аппаратура связи), вызывающие случайные отклонения принятых сигналов от переданных. Эффект воздействия помех на различные блоки системы стараются учесть эквивалентным изменением характеристик линии связи. Поэтому источник помех условно относят к линии связи.

Из  смеси сигнала и помех приемное устройство выделяет сигнал и посредством  декодера восстанавливает Сообщение, которое в общем случае может  отличаться от посланного. Меру соответствия принятого сообщения посланному называют верностью передачи. Обеспечение  заданной верности передачи сообщений  – важнейшая цель системы связи.

Принятое  сообщение с выхода системы связи  поступает к абоненту-получателю, которому была адресована исходная информация.

Совокупность  средств, предназначенных для передачи сообщений, называют каналом связи. Для передачи информации от группы источников, сосредоточенных в одном  пункте, к группе получателей, расположенных  в другом пункте, часто целесообразно  использовать только одну линию связи, организовав на ней требуемое  число каналов. Такие системы  называют многоканальными.

Непрерывный источник информации – это источник, который вырабатывает непрерывные  сообщения (сигналы), являющиеся реализациями непрерывного случайного процесса [1–6].

1.2. Математическое описание случайных сигналов

Непрерывный случайный процесс (сигнал) – это функция времени t, которая при каждом фиксированном значении времени является непрерывной случайной величиной. Сечение случайного сигнала – это случайная величина , соответствующая фиксированному значению времени . Реализация (траектория) случайного сигнала – это неслучайная функция времени t, равным которой может оказаться случайный сигнал в результате i-го испытания. Множество отдельных реализаций образует ансамбль реализаций случайного сигнала .

Случайный сигнал в общем случае полностью описывается с помощью многомерной (m-мерной) плотности распределения вероятностей , где – аргументы плотности распределения связанные с соответствующими сечениями сигнала в фиксированные моменты времени .

Случайный сигнал называется стационарным в узком (строгом) смысле, если все его многомерные плотности распределения вероятностей любого порядка m инвариантны относительно сдвига по времени [2, 7, 12]. В частности, его одномерная плотность распределения не зависит от времени

,

двумерная плотность зависит только от разности аргументов

,

а m-мерная плотность распределения будет зависеть лишь от временных параметров , i = 2, 3, …, m:

.

Случайный сигнал называется стационарным в широком смысле, если его математическое ожидание, дисперсия и автокорреляционная функция инвариантны относительно сдвига по времени. У такого сигнала математическое ожидание и дисперсия постоянны во времени [2, 7, 12, 14 – 16]

 

; \* MERGEFORMAT ()

, \* MERGEFORMAT ()

а корреляционная функция зависит только от разности :

 \* MERGEFORMAT ()

Автокорреляционная  функция  является четной функцией времени , при нулевом значении аргумента равна дисперсии и в соответствии с теоремой Винера–Хинчина связана с энергетическим спектром (спектральной плотностью мощности) стационарного случайного сигнала парой преобразований Фурье [2, 14 – 16]

; \* MERGEFORMAT ()

. \* MERGEFORMAT ()

Функция показывает, какая часть мощности стационарного случайного сигнала приходится на единицу полосы частот, является неотрицательной функцией частоты и имеет размерность энергии.

Сигнал, стационарный в узком смысле, всегда является стационарным в широком смысле. Обратное утверждение в общем случае неверно.

Стационарный  случайный сигнал называется эргодическим в строгом смысле, если с вероятностью, равной единице, все его вероятностные характеристики могут быть получены по одной реализации сигнала. Практически часто интересуются не всеми, а только отдельными характеристиками процесса и вводят понятие эргодичности относительно этих характеристик. При этом аналоги соответствующих вероятностных характеристик сигнала определяются путем усреднения одной реализации на некотором интервале времени [0, T] и установления условий, при которых дисперсия получающихся средних значений стремится к нулю при .

 

 

1.3. Преобразование непрерывных сигналов в дискретные

Поступающую информацию можно хранить, передавать и обрабатывать в виде непрерывных или дискретных сигналов. Однако при существующих темпах развития информационной техники предпочтение отдается дискретным сигналам, поэтому сигналы от непрерывных источников, как правило, преобразуют в дискретные. Для конкретных задач исследования какого-нибудь объекта обычно требуется значительно меньше информации, чем ее поступает с датчиков в виде сигналов, которые изменяются во времени непрерывно. Поэтому можно ограничиться отсчетами, которые берут через определенные моменты времени.

Для этого каждый непрерывный сигнал подвергается операциям квантования по времени (дискретизации) и по уровню.

Дискретизация – это преобразование функции непрерывного времени в функцию дискретного времени, которая представляется некоторой совокупностью величин, что называют координатами, благодаря значениям которых исходная непрерывная функция может быть восстановлена с заданной точностью. В качестве координат часто выступают мгновенные значения функции, рассчитанные в определенные моменты времени.

Под квантованием подразумевают преобразование некоторой величины с непрерывной  шкалой значений в величину, имеющую  дискретную шкалу значений. Оно сводится к замене любого мгновенного значения одним из конечного множества  разрешенных значений, называемых уровнями квантования.

Рациональное  выполнение операций дискретизации  и квантования при обработке информации средствами цифровой техники, в первую очередь ЭВМ и микропроцессорами, приводит к значительному экономическому эффекту как за счет снижения затрат на хранение и обработку получаемой информации, так и вследствие сокращения времени обработки информации, что ведет к улучшению качества управления.

Изменение вида сигнала u(t) (рис. 1, а) в результате проведения операции дискретизации показано на рис. 1,б), а в результате совместного проведения операций дискретизации и квантования – на рис. 1, в).

В данном случае количество уровней квантования равно 8. Обычно их значительно больше. Передача такого множества различных по уровню импульсов даже на небольшие расстояния применяется крайне редко. Если уровни пронумеровать, то их передача сведется к передаче чисел. Тогда, выразив эти числа в какой-либо системе счисления, можно обойтись меньшим множеством передаваемых сигналов. Как правило, дискретный сигнал преобразуется в последовательность чисел, выраженных в двоичном коде. Каждое дискретное значение сигнала представляется в этом случае последовательностью сигналов двух уровней. Наличие или отсутствие импульса на определенном месте интерпретируется единицей или нулем в соответствующем разряде двоичного числа. Цифровая форма представления сигнала u(t) (рис. 1, а) показана на рис. 1, г). Для восьми уровней достаточно трех двоичных разрядов. Импульсы старших разрядов расположены крайними справа.