Анализ размерности энтропии как способ изучения свойств информации
В статье детально рассматривается соотношение между энтропией и информацией. Общепринятой является точка зрения, что энтропия, взятая с обратным знаком, есть мера упорядоченности, вносимой в систему в некотором процессе. Негэнтропийный принцип информации устанавливает, что количество информации, описывающей эту упорядоченность, равно (или меньше) негэнтропии. Так как изменение энтропии имеет размерность изменения действия, то и информация измеряется в тех же размерных единицах.
Эквивалентными преобразованиями базовых переменных размерность действия может быть представлена в нескольких формах.
Для обнаружения новых свойствинформации используется метод Ландау Л.Д. Если изменить единицу действия, то энтропия в новых переменных становится отличной от энтропии в старых переменных. Уменьшение энтропии означает появление информации. Этим методом удалось установить ряд структурных свойств информации и шума.
Связь термодинамических и информационных понятий
Теории информации посвящен достаточно большой объем исследовании, опубликованных в сотнях статей и книг, в том числе и обзорного характера. Вопросы, обсуждаемые в этой главе, лежат в русле взаимосвязи между термодинамическими и информационными понятиями. Наиболее детально эти вопросы рассмотрены в работах Р.П.Поплавского [1]. Исследуя негэнтропийный принцип информации Бриллюэна [2] Р.П.Поплавский уточняет объект исследования и приходит к выводу о необходимости в качестве замкнутой термодинамической системы рассматривать исследуемые подсистемы, погруженные в термостат.
Наиболее обобщенная термодинамическая модель общества [3] представляет собой совокупность подсистем, каждая из которых может иметь n типов "ресурсов". Между подсистемами происходит перераспределение этих ресурсов. На общее количество ресурсов каждого типа, как правило, наложено ограничение. С точки зрения конкретной подсистемы изменение количества ресурсов является обменом, если у нее часть ресурсов возросла, а другая - уменьшилась. Величина обмена двумя выделенными ресурсами характеризуется обменным отношением. Однако результат обменов подсистемы с ее окружением определяется не самими обменными отношениями, а некоторым эффектом, который складывается из значимостей ресурсов для подсистем. В модели эффект задается так называемой структурной функцией, в термодинамике интерпретируемой как энтропия. Совокупность обменов представляет собой стационарный необратимый процесс.
В научной литературе, посвященной термодинамике необратимых процессов [4,С.44], дается формула приращения энтропии термодинамической системы:
dS=dS1+dS2 (1)
где dS1 - отток (приток) энтропии, обусловленный обменом с окружающей средой (по терминологии Р.П.Поплавского - термостатом); dS2- возрастание (порождение) энтропии внутри системы.
Вторая фундаментальная теорема термодинамики устанавливает, что порождение энтропии никогда не бывает отрицательным, т.е. dS2 > = 0, где знак равенства справедлив для обратимых процессов, а знак неравенства - для необратимых. Процесс, у которого dS = 0, называется стационарным (изэнтропическим). Он характеризуется равенством оттока и порождения энтропии:
-dS1=dS2 (2)
Правая часть равенства есть отклонение от максимальной энтропии в рассматриваемой системе (по Р.П.Поплавскому - подсистеме). Левая часть - негэнтропия - появляется как следствие некоторого упорядочивания в системе и является мерой этой упорядоченности. Живые и организационные системы, обладая определенной упорядоченностью, "...остаются живыми только путем постоянного извлечения из окружающей его среды отрицательной энтропии..."[5]. Это уточнение рассматриваемого в теории информации объекта полностью отражает смысл негэнтропийного принципа информации: количество информации, описывающей упорядоченность в системе, равно (или меньше) негэнтропии.
Правомерность использования термодинамической модели человека и общества оспаривается некоторыми исследователями.
Ниже рассмотрен случай стационарных процессов без учета ограничений на диапазоны изменения переменных.
dS1 характеризует то значение действия (энергия*время), которые необходимо рассеять для достижения упорядоченности, т.е. информационного эффекта, и в пределе является мерой этого информационного эффекта - мерой информации.
Энтропия представляет собой количественную меру необратимости процессов в системе за счет потерь из-за трения, теплообмена, диффузии, разрушения связей, появления шумов и т.п. Поддержание системы в стационарном состоянии требует воздействия на систему в форме подачи тепла, совершения работы для поддержки обратимых процессов в системе, для создания упорядоченности, организованности и т.д. Негэнтропия указывает меру этой необходимой работы (согласно равенству (2)) в единицах информации.
Так как информация была определена через энтропию (точнее, негэнтропию), то она измерялась в тех же размерных единицах, что и энтропия. Размерность информации, однако, создавала неудобства исследователям при изучении информационных процессов. Поэтому в теории информации стали использовать безразмерные выражения для энтропии и следовательно для количества информации. Это достигалось измерением температуры в энергетических единицах. В то же время анализ именно размерности энтропии позволяет установить ряд новых интересных свойств информации, в частности, выражение ее через затраты энергии, ресурсов, денег, труда (времени), через объемы произведенных (социальной) системой продуктов. Таким образом, возникает как бы возврат к первоначальным определениям информации и к тем эвристическим представлениям, которые служили ученым в качестве исходных идей при поиске строгого и формального определения информации.
Развитие понятия энтропии
Понятие энтропии, возникшее в термодинамике в середине прошлого столетия, через 50 лет завершило эволюцию своего становления в статистической физике, которая решала задачу статистического обоснования классической термодинамики. Энтропия, первоначально определенная через количество тепла, сообщенное телу, и абсолютную температуру [6], в статистической физике полностью определяется через статистический вес V (и постоянную Больцмана k):
S=k*Ln(W) (3)
В этом случае рассматривается произвольная макроскопическая система в многомерном фазовом пространстве Гиббса (Г-пространство). Элементарный фазовый объем равен произведению:
;p*;q (4)
где p - импульс, а q - координата.
Размерность р есть [кг*м/сек]. Размерность q есть [м].
Произведение рq называется действием, которое - в других единицах - имеет размерность эрг*сек:
[D1]=[эрг*сек] (5)
Полный фазовый объем для n частиц в 3*п раз больше, так как каждая частица имеет 3 степени свободы.
В статистической физике [7] доказано, что для макросистемы, находящейся в контакте с другими макросистемами, W есть число микросостояний, реализующих данное макросостояние с энергией Е. Поэтому для получения статистического веса W необходимо пронормировать фазовый объем, разделив каждый элементарный фазовый объем на h - постоянную Планка:
Рис 1
h - постоянная Планка имеет размерность действия - эрг*сек.
Таким образом, выражение для статистического веса является безразмерным. Безразмерность энтропии и, следовательно, информации получается приравниванием постоянной Больцмана единице.
Направления уменьшения скорости изменения энтропии
Для определения направлений уменьшения скорости изменения энтропии используется известное свойство энтропии возрастать с максимальной скоростью.
Так как энтропия определяется логарифмом действия, то, исходя из размерности действия [размерность пространства*энергия*время], или, используя принятые в физике обозначения: [S] = [n*эрг*сек]), можно получить размерность скорости изменения энтропии:
[dn/n + dэрг/эрг + dсек/сек] (*)
В формуле размерности d обозначает дифференциал, т.е. приращение. Приращение переменной в теории размерности пока не используется, однако математически точно отражает закон изменения энтропии и факторы, оказывающие влияние на ее величину. Кроме того, именно приращения связываются с нашими представлениями об информации. Этим можно оправдать применение приращений в теории размерности. Практика, как известно, есть критерий истины. Возможно, что применение приращений в теории размерности упростит рассмотрение и каких-то других проблем. Кроме того, надо иметь ввиду, что величина действия ограничена и это должно при анализе учитываться введением некоторой дельта-функции.
Производная энтропии представляется в виде суммы двух частей: первая часть относится к структуре описания динамики системы, а вторая - к структуре размерности. Однако энтропия может получить изменение в результате изменения и других ее составляющих. Поэтому в общем случае более корректно воспользоваться выражением для приращения энтропии:
Рис 2
Из выражени производной энтропии (**) следует, что информация есть функция трех переменных: пространства, массы и времени. Причем, время всегда информативно, а пространство и время информативны только при их уменьшении.
Эквивалентные комбинации базовых переменных
Известно [8], что любая размерность может быть выражена в виде нескольких эквивалентных комбинаций базовых переменных (масса, расстояние, время). Другие виды представления действия:
[D2]=[расстояние2*масса/время] (7)
[D3]=[масса*длина*скорость] (8)
[D4]=[массовыйрасход*поверхность] (9)
[D5]=[частотаа*скорость2*объем] (10)
[D6]=[сила*расстояние*время] (11)
Возможны и другие эквивалентные виды представления размерности действия. Из них можно получить другие направления уменьшения энтропии.
Метод исследования свойств информации через анализ размерности действия
Выражение статистического веса через объем фазового пространства можно переписать cледуя Ландау и Лифшицу [7] в виде произведение Зn импульсов (p) и Зn координат ((q). Это позволяет записать формулу энтропии в виде:
Рис 3
Представление энтропии в форме, которая соответствует формализму квантовой статистики, создает базис для исследования свойств информации. Прежде всего, надо отметить, что при описании макросистем не используется такая единица, как квант действия.
Если изменить единицу действия h в а раз, то:
Рис 4
Если а> 1, то энтропия в новых переменных становится меньше на величину Зn*Ln(a), что означает появление информации как раз на эту же величину. Это значит, что введение нового более крупного масштаба порождает информацию. Отсюда польза классификаций. Однако, изменению масштаба есть предел - область определения переменных.
Указанным преобразованием масштаба удалось установить:
Свойство 1. Использование более крупного масштаба порождает информацию.
Этот способ изучения свойств энтропии заимствован нами из статистической физики. Используем его для обнаружения других свойств энтропии (и информации).
Структурные свойства информации
Чтобы конкретизировать содержание масштаба (См.свойство 1.), рассмотрим структуру размерности действия: эрг*сек.
Энтропия в квантовой статистике является безразмерной величиной. В то же время по К.Шеннону [9] информация была определена как отрицательное приращение энтропии, определенной с присущей ей размерностью. Квантовая статистика позволила нам установить, что эта размерность совпадает с размерностью действия. Поэтому более корректно написать, что элементарный объем фазового пространства (для одной переменной) равен:
|;p|*|;q|*эрг*сек (14)
Размерность эрг есть [кГ*сек*м]. Размерность кГ есть [кг*м/сек**2]. [кГ] - размерность силы. [кг] - размерность массы.
Отсюда размерность действия и масштаба есть:
[кг*(м**2)/сек]
Конкретизируя Свойство 1, устанавливаем:
Свойство 2. Переход к более крупным единицам измерения массы и линейных размеров (например, тонна и километр) ведет к увеличению информации об объекте. Ограничение: диапазон изменения переменной должен быть больше единицы масштаба.
Свойство 3. Переход к более мелким единицам измерения времени (например, милисекунды, микросекунды и т.д.) повышает информативность описания. Ограничение: временная переменная должна иметь несколько изменений за время масштаба единицы измерения времени.
Свойство 4. Изменение линейного масштаба на порядок сильнее влияет на изменение информативности описания по сравнению с изменением масштаба измерения массы и времени.
Физический смысл квадрата линейного параметра в размерности информации
Рассмотрим прямолинейное движение материальной частицы в реальном физическом пространстве. Физическое пространство описывается системой координат с осями, например, ХУZ. Каждую ось мы представляем себе в виде линии, состоящей из континиума точек. Линия может быть разбита на отрезки с помощью образца единицы длины (эталона длины). Таким образом, ось координат превращается в линейную шкалу.
Материальная частица единичной массы проходит за единицу времени некоторое расстояние, определяемое скоростью ее движения. Это расстояние измеряется с помощью шкалы. В общем случае для измерения требуется измерительный прибор. Таким образом, в результате измерения, которое безусловно является информацией для измерителя, на равных участвует две линейные величины: измеряемая и шкала. И этот факт находит свое отражение в размерности информации. В случае свободного движения частицы используются проекции пройденного ею отрезка на оси координат, которые находятся с помощью скалярных произведений пройденного отрезка и реперов осей координат. В общем случае измерений используется корреляция различных переменных, а наличие связи переменных - обобщается как реляционная концепция информации: информация есть результат связи измеряющего прибора (модели, шкалы) с измеряемым объектом (системой). В математике коэффициент корреляции вычисляется с помощью интеграла.
Измерение - корреляция со шкалой измерений. В приведенном выше тексте было заложено неявное предположение, что координаты описания выбраны ортогональными. Реально это не так. Поэтому размерность n вынести в общем случае за скобку нельзя. В результате в описании фазового пространства могут возникнуть произведения вида:
((м1)2)*((м2)2)*..... (15)
Для дальнейшего анализа с учетом полученных результатов о роли шкал перепишем выражение (15) в виде:
(м1*м2)* (м1*м2) *.....
Будем считать вторую пару шкалами. Тогда:
(м1*м2)* (М1*М2) *..... (16)
Таким образом можно выделить связь переменных м1 с м2 и шкал М1 с М2. Если значения м1 и м2 появляются во времени случайно, то (м1*м2) можно интерпретировать как корреляцию м1 и м2. Наличие корреляционной связи (зависимости между переменными) математически ведет к уменьшению энтропии, так как (м1*м2) меньше, чем [м1]*[м2]. Значит, установление связи между переменными есть получение информации. Также - установление связи шкал есть информационный акт. Такая информация может побудить уменьшить размерность описания объекта и получить более точную его модель в независимых переменных.
Физический смысл первой степени массы и времени в размерности энтропии
Считая, что измерение есть корреляция величины и шкалы, измерение массы и времени также формально нуждается и в измеряемой величине и в шкале. Однако время представлено объективным процессом, который не "возьмешь". Поэтому для измерения времени требуется только прибор (часы), отсчитывающие число единиц времени (например, секунд). Что касается массы, то здесь подобное положение: для измерения массы используется единица массы (е - масса электрона в микроописании), которая является универсальной константой; масса макросистемы пропорциональна размерности объекта: n*е.
Информация и шум
Между измеряемыми переменными объекта и измерительными шкалами (приборами) могут быть многообразные связи. Если между измеряемыми величинами отсутствуют связи, то один результат измерения для второго является шумом. То же самое, если шкала не коррелирует ни с одной из переменных, то такая шкала является для данного объекта шумом. В целом любая нечетная комбинация величин и шкал содержит шум. Четная комбинация величин и шкал также содержит шум, если набор шкал не соответствует набору величин. Любое информирование в общем случае состоит из информации и шума.
Ассиметрия приращений информации относительно знака изменения энтропии
Рассмотрим такое преобразование объекта, которое характеризуется изменением энтропии (для независимых переменных);
Используем разложение Ln(1 + z) в ряд:
Ln(1+z)= z-z2/2+z3/3-z4/4+z5/5- … (17)
Тогда, если представим энтропию в виде:
S=Ln(W)=Ln(W0+dW)=Ln[W0(1+dW/W0)]=
=LnW0+Ln(1+dW/W0)= LnW0+Ln(1+z) (18)
получим еще одно свойство информации:
Свойство 5. Четные степени разложения энтропии в ряд всегда информативны, так как уменьшают энтропию.
Но какой в этом физический смысл? Может быть, z2 обозначает повторение результата измерения; между первым и вторым результатом устанавливается корреляционная связь? Так как статистикой выявляются устойчивые закономерные связи, то действительно информация нарастает с увеличением числа измерений. Нечетные степени z дадут уменьшение энтропии и, следовательно, - информацию только в том случае, когда приращение z (т.е. действия W) отрицательно и по опредению связано с информированием. Эта ассиметрия степени проявления "положительных" и "отрицательных" относительно знака изменения z закономерностей примечательна. Положительные изменения z порождают как новые связи (т.е. информацию), так и разрывает старые, т.е. создают шум. Это можно рассматривать как интересное, но естественное свойство систем.
Полученное разложение можно интерпретировать как учет рефлексий 2-го, 3-го и т.д. порядков. Вопрос: в чем особенность рефлексий более высокого порядка?
Возможный ответ качественного характера можно найти в статье [10]. На стр. 8 этой статьи написано: "когда требуется хранение некоторых знаний, полученных в результате логической обработки и обобщения отдельных фактов, "язык отношений" оказывается недостаточно "технологичным"."
Более подробно свойства рефлексии рассматриваются в другой работе автора [11].
Заключение
Размерность информации создавала неудобства исследователям при изучении информационных процессов и поэтому они предпринимали усилия по ее устранению путем изменения единиц измерения. Но оказывается, размерность информации содержит в себе важные для практики свойства самой информации, некоторые из которых представлены в докладе и были использованы автором для создания теории богатства [12].
Литература.
1. Поплавский Р.П., монография "Термодинамика информационных процессов",М.:Наука,Главная редакция физико-математической литературы, 1981. и другие научные статьи.
2. Бриллюэн Л. Наука и теория информации; Пер. с англ. А.А.Харкевича. -М.: Физматгиз, 1960.
3. Л.И.Розоноэр Обмен и распределение ресурсов [обобщенный термодинамический подход], журнал "Автоматика и телемеханика", 1973, № 5,6,8
4. Циглер Г. Экстремальные принципы термодинамики необратимых процессов и механика сплошной среды, Изд-во МИР. М.. 1966, библиотека сборника "Механика"
5. Шредингер Э. Что такое жизнь с точки зрения физики? Пер. с англ. и послесловие А.А.Малиновского.-М.:ИЛ. 1947.
6. Клаузиус Р. Механическая теория тепла: Пер. с англ.-В кн.: Второе начало термодинамики./Под ред. А.К.Тимирязева.-М.-Л.,ОНТИ, 1934, с.71-158; в кн.: Основатели кинетической теории/Под ред. А.К.Тимирязева.-М.-Л.:ОНТИ, 1937, С.39-154.
7. Ландау Л.Д., Лифшиц Е.М. Статистическая физика.-З-е изд., дополненное Е.М.Лифшицем и Л.П.Питаевским.-М.:Наука, 1976, часть 1.
8. П.Г.Кузнецов Искусственный интеллект и разум человеческой популяции / в книге: Е.А.Александров Основы теории эвристических решений, М. .Советское радио, 1975
9. Шеннон К. Работы по теории информации и кибернетике: Пер. с англ./Под ред. Р.Л.Добрушина и О.Б.Лупанова.-М.: ИЛ, 1963.
10. Журнал НТИ, сер.2, Ж2, 1985 г. (информационные системы) "Об "интеллектуальности" автоматизированных фактографических ИПС". Авторы: Б.В.Кристальский, В.Г.Войскунский, А.А.Раскина, И.С.Сидоров, В.И.Шарыгин.
11. Шолохов В.Г. Структура отражающего // Социальная информатика-96. М.:Институт молодежи, 1996. С. 65-77.
12. Шолохов В.Г. Структура информации, капитала и направления роста богатства общества // Социальная информатика-95. М.:Институт молодежи, 1995. С. 47-57.
Исследование было сделано до 1995 года
Публикуется впервые
Виталий Шолохов