Информационная служба и затраты энергии

       Предложенная  Р.Хартли мера количества информации имеет  ограниченное применение, поскольку  предполагает равную вероятность выбора источником любого из возможных его  состояний. В общем случае, когда  вероятности различных состояний  источника не одинаковы, степень  неопределенности конкретного состояния  зависит не только от объема алфавита источника, но и от вероятности этого  состояния.

       Когда К. Шеннон искал способ количественного  описания информации, содержащейся в  некотором сообщении, то логические рассуждения вывели его на формулу  фактически того же вида, что и у  энтропии S, определяемой формулой Планка – Больцмана и характеризующейся термодинамической вероятностью W,

       S=k∙ln W,                                (1.2)

       k = 1,38 ∙ 10 ^-16 эрг/град – постоянная Больцмана.

       В противоположность обычной теории вероятности, которая всегда меньше единицы, термодинамическая вероятность  – это большое целое положительное  число, равное числу микросостояний (комплексий), соответствующих заданному  макроскопическому состоянию. В  трактовке Больцмана упорядоченная  система имеет меньшую энтропию, так как порядок – менее  вероятное состояние, а неупорядоченная  – высокую энтропию, так как  состояние беспорядка является более  вероятным [2].

       Энтропию  производят любые сложные системы, между ними в процессе эволюции идет обмен информацией, который сопровождается изменением энтропии, например при  испарении воды утрачивается информация о пространственном расположении молекул, энтропия возрастает; если вода замерзнет, уменьшается неопределенность в расположении молекул, этот процесс сопровождается понижением энтропии [8]. При этом каждый бит информации имеет энтропийную цену:

       1 бит = k ∙ ln2 = 0,97 ∙ 10 ^-23 Дж/град.

       Приобретение  информации происходит за счет изменения  энтропии, т.е. физическая и информационная энтропии связаны друг с другом.

       Численно  количество информации равно той энтропии, которая имела место до получения информации. Количественное равенство информации и энтропии не означает торжественности этих понятий. Наоборот, они противоположны друг другу, так как информация равна не просто энтропии, а устраненной энтропии [2].

       Ключом  к новому пониманию сущности феномена информации и механизма информационных процессов послужила установленная  Л. Бриллюэном взаимосвязь информации и физической энтропии.

       Л. Бриллюэн писал, что информацию следует  рассматривать как отрицательное  слагаемое энтропии системы. Он считал, что информация есть негэнтропия  и что информация и энтропия должны рассматриваться совместно и  не могут рассматриваться порознь. Энтропия есть мера недостатка информации о системе. Следует отметить, что  Л. Бриллюэн различал между собой  свободную информация и связанную  информацию, и считал, что «только  связанная информация» будет  представлять негэнтропию.

       Из  этого следует, что Л. Бриллюэн не приписывал любой информации свойства негэнтропии, а это свойство приписывал только связанной информации. Важно понять, какое физическое и информационное наполнение содержит термин негэнтропия. Таким образом, для характеристики степени порядка материальных объектов часто используют энтропию как неупорядоченность и негэнтропию, т.е. связанную информацию, как упорядоченность.

       Физическая  энтропия является мерой энергетической упорядоченности объекта и представляет собой функцию от числа их возможных  состояний. Любое повышение упорядоченности  объекта ведет к снижению их совокупной энтропии, и наоборот.

       Понимание физического смысла энтропии затруднено тем обстоятельством, что ее значение не может быть измерено никаким прибором, но зато вычисляется [6].

       Физическая  и термодинамическая энтропия и  информационная энтропия системы принципиально  различны. Если физическая и термодинамическая  энтропии для замкнутых систем со временем не уменьшается, а растут в соответствии со вторым началом термодинамики, то информационная энтропия со временем может не увеличиваться, а уменьшаться для любых систем [4].

       Поскольку принципиально неустранимыми броуновское  движение, флуктуации и шумы как  для микро –, и для макрообъектов  макронаблюдений, то возникает как  микро - , так и макронеупорядоченность, что позволяет использовать в  качестве универсального параметра  микро – и макросиситем обобщенную энтропию. Понятие обобщенной энтропии представляет такие наиболее общие  свойства действительности, как неупорядоченность  и упорядоченность, неопределенность и определенность, хаос и порядок.

       Всякое  явление двойственно, и оно одновременно содержит в себе некоторую хаотическую, броуновскую составляющую и упорядоченную  составляющую, как составляющую хаоса, так и порядка.

       Наряду  с общей положительной энтропией  в природе существует антиэнтропия, или отрицательная энтропия, т.е. энтропия с отрицательным знаком существенно отличающаяся от положительной  энтропии по физическому содержанию.

       Известно, что система обладает антиэнтропией  даже тогда, когда для не существует полной процедуры воспроизведения. Полная процедура воспроизведения  эквивалентна существованию полного  алгоритма воспроизведения. Однако если простейшие системы алгоритмируемы, то природа в целом изобилует  неалгоритмируемыми системами, к которым  следует отнести сознание и, вероятно, все живые организмы. Круг математических задач, не имеющих общего логарифма для своего решения, относится к системам, не имеющих полной алгоритмической процедуры для своего воспроизведения.

       В такой ситуации К. Шеннон количество информации I(u_i), содержащееся в дискретных сообщениях u_i , определил как функцию вероятности этих сообщений p(u_i ) = p_i и охарактеризовал величиной

       H (U) = - log p_i                (1.3)

названой  им энтропией [3].

       Позаимствовать  термин из термодинамики посоветовал  К. Шеннону знаменитый математик  Джон фон Нейман. Полушутя Д. Нейман обосновал свой совет тем, что  в среде математиков и инженеров  мало кто знает об энтропии, поэтому  Шеннон получил огромное преимущество в неизбежных спорах о новой теории.

       Основание логарифма в (1.3) выбирается из тех  же соображений, что и в (1.1). Знак минус в равенстве (1.3) необходим  для того, чтобы количество информации I(u_i) было неотрицательным числом, так как p_i = 1. Очевидно что, так же как мера H (U), определяемая (1.1), величина I(u_i) обладает свойствами аддитивности и в случае достоверного сообщения, тогда p(u_i ) = 1, I(u_i) = 0. Однако теперь количество информации, содержащееся в дискретном сообщении, зависит от степени неожиданности этого сообщения, характеризуемой вероятностью его появления.

       Количество  информации, которое приходиться  на одно сообщение a_i определяется выражением

       I(a_i) = p(a_i) ∙ log_{2 = - p(ai}) ∙ log₂ p(a_i)                 (1.4)

       т.е. количество информации в сообщении  тем больше, чем меньше вероятность  его наступления (чем более неожиданно его наблюдение).

       Официальное рождение теории информации как научной  дисциплины принято отсчитывать  от основополагающей работы К. Шеннона  «Математическая теория связи». Именно он ввел в обиход и двоичную единицу  информации, впоследствии названую бит, и широко используемую сегодня меру количества информации и энтропии [3].

       Итак, энтропия в термодинамики, введенная  в 1865 г. Р. Клаузиусом, образовавшим ее от корня греческого слова «тропе», означающего «превращение», с добавлением  заимствованной из слова «энергия»  приставки «эн-», характеризует неопределенность теплового состояния системы, являясь  мерой ее внутренней неупорядоченности. В информатике энтропия рассматривается  как мера неопределенности системной  ситуации [6].

       Единицей  измерения энтропии, как и информации, является бит. 1 бит – это та неопределенность, которую имеет источник с равновероятной выдачей двух возможный сообщений, обычно символов 0 и 1 [5].

       Можно сказать, что энтропия является мерой  молекулярного хаоса: чем она  больше, тем хаотичнее движение частиц (например атомов или молекул). Второй закон термодинамики утверждает, что все самопроизвольные процессы в макромире всегда протекают  с увеличением хаоса, т. е. с увеличением  энтропии. Это доказано большим числом экспериментов и не подлежит их сомнению. Но столь же надежно установлено, что атомы и молекулы, из которых  состоят все окружающие нас тела, движутся по законам классической механики. А в механике доказана теорема Лиувилля, утверждающая, что при механическом движении частиц их энтропия не меняется. И термодинамика, и классическая механика относятся к фундаментальным физическим теориям. Поэтому их выводы не могут противоречить друг другу. А в данном случае противоречие на лицо: в термодинамике энтропия возрастает, в механике – всегда постоянна [6].

Энергия и энтропия.

       В мировом процессе развития принцип  минимума диссипации энергии играет особую роль. Суть его: если допустимо  не единственное состояние системы, а целая совокупность состояний, согласных с законами сохранения и принципами, а также связями, наложенными на систему, то реализуется  то состояние, которому соответствует  минимальное рассеивание энергии, или, что то- же самое, минимальный рост энтропии (“рыба ищет, где глубже, а человек — где лучше”).

       Принцип минимума диссипации энергии является частным случаем более общего принципа “экономии энтропии”.

       В природе все время возникают  структуры, в которых энтропия не только не растет, но и локально уменьшается. Этим свойством обладают многие открытые системы, в том числе и живые, где за счет притока извне вещества и энергии возникают так называемые квазистационарные (стабильные) состояния.

       Таким образом, если в данных конкретных условиях возможны несколько типов организации  материи, согласующихся с другими  принципами отбора, то реализуется  та структура, которой соответствует  минимальный РОСТ энтропии. Так как  убывание энтропии возможно только за счет поглощения внешней энергии, то реализуются те из возможных форм организации материи, которые способны в максимальной форме поглощать  энергию.

       Область применения принципа минимума диссипации энергии непрерывно расширяется. На протяжении всей истории человечества стремление овладеть источниками энергии  и вещества было одним из важнейших  стимулов развития и устремления  человеческих интересов. И поэтому  всегда было источником разнообразных  конфликтов.

       По  мере развертывания научно-технического прогресса, истощения природных  ресурсов возникает тенденция к  экономному расходованию этих ресурсов, возникновению безотходных технологий, развитию производства, требующего небольших  энергозатрат и материалов.

       Если  говорить об иерархии принципов отбора, то он играет роль как бы завершающего, замыкающего принципа: когда другие принципы не выделяют единственного  устойчивого состояния, а определяют целое их множество, то этот принцип  служит дополнительным принципом отбора. Проблема экономии энтропии, этой меры разрушения организации и необратимого рассеяния энергии, решается в мире живой природы. Существует теорема  о минимуме воспроизводства энтропии, которая утверждает, что производство энтропии системой, находящейся в  стационарном состоянии, достаточно близком  к равновесному состоянию, минимально. Этот принцип можно рассматривать  в качестве универсального. В живом  веществе он проявляется не как закон, а как тенденция. В живой природе  противоречие между тенденцией к  локальной стабильности и стремлением  в максимальной степени использовать внешнюю энергию и материю  является одним из важнейших факторов создания новых форм организации  материального мира [8].

Заключение.

       Информационное  общество диктует человеку нового времени  свои правила. Оно ведет к отмиранию  старых форм власти, культуры, общественного  устройства и перераспределяет мировые  процессы в соответствии доступа  и доступности, управления информацией  как основы управления миром.

       Для удовлетворения неизбежно растущих потребностей самого «прожорливого» на идеи и технологии времени ученые постоянно изыскивают способы ускорить информационные процессы, совершенствуют электронную технику, уходят в область абстрактного мышления, пытаясь заменить более обычное реле сложным физико-химическим профессом, порождают наноэлектронику, оптические системы передачи данных, системы комплексной безопасности и другие.