В аксиоматике Альберта Вейника, вещество обладает качеством и количеством. Точнее, набором качеств, но это, пока, несущественно. Например, качеством может быть "иметь массу", а количеством - сама эта масса, выраженная в каких-либо единицах.
Далее Вейник вводит понятие Заряд - как нечто, что можно переместить в пространстве. Для заряда формулируется закон сохранения: если переместить заряд из одного места в другое, то в прежнем его уже не будет.
Вторая важная характеристика, вводимая Вейником в его аксиоматике - Потенциал. Если взять два заряда одинакового качества, то разница их количеств и будет разностью потенциалов. Очевидно, эта разность потенциалов не существует изолированно, подобно заряду, а всегда требует пары зарядов и измеряется между ними.
Например, если взять две массы, то их разность потенциалов - это насколько одна масса больше другой.
Важно, что хотя как числовая характеристика разность потенциалов существует сама по себе (можно, например, сказать что одна разность больше другой), она, в отличие от заряда, неперемещаема. Иными словами, имеет смысл только в привязке к конкретным зарядам.
В силу этой фундаментальной разницы между Зарядом и Потенциалом, Флойдом Файрстоуном была предложена терминология "продольные" и "поперечные" величины. Продольные - это те, что замеряются в разрезе системы, поперечные - те, что измеряются между ее частями.
Например, в электрической схеме амперметр включается в разрыв проводника, а вольтметр - между двумя узлами цепи.
Очевидно, что если перепутать порядок включения этих приборов, последствия могут быть плачевными.
Одно из первых устройств для измерения разности потенциалов масс - это (равноплечие) рычажные весы, состоящие из коромысла и двух подвешенных к нему чаш для грузов. Если массы грузов равны, то весы находятся в равновесии, иначе, под действием сил гравитации, более тяжелая чаша опускается вниз, а более легкая поднимается вверх.
Обобщением рычажных весов служит дифференциальный измеритель: любое устройство, которое находится в равновесии при двух одинаковых воздействиях и реагирует только на их разницу.
Например, дифференциальным измерителем является состязательный суд, где на весах Фемиды взвешивается правота обоих спорящих. Другой пример - соревнования по перетягиванию каната или дуэльные единоборства.
Общепринятой моделью коммуникации является пятизвенная диаграмма Шеннона: Источник-Кодер-Канал связи-Декодер-Приемник.
Этой схеме полностью соответствует дифференциальный измеритель, например, рычажные весы. Чаши весов (Кодер-Декодер) отвечают за трансформацию груза (насыпной, гири итп), коромысло является Каналом связи, грузы - Источником/Приемником сигнала.
Для систем с единственным качеством, например, массой выполнение измерения очевидно - прямым сравнением двух количеств.
Но для "мультивалентных" систем это уже затруднительно. Например, два борца сумо - один выше, другой толще. Единственный вариант сравнения - организовать их схватку и выявить победителя. Такая оценка всегда качественная: невозможно сказать насколько именно и в каких единицах один борец сильнее другого.
Процесс взвешивания на рычажных весах дает общее понимание процесса коммуникации: добавляем гирьки до равновесия.
Применительно к процессу передачи информации это означает передачу сигналов до окончания синхронизации двух систем.
Процесс синхронизации (взвешивания) требует выполнения нескольких условий:
- Груз и гири разделяют те же самые весы
- До начала взвешивания весы были сбалансированы
- Процесс взвешивания продолжается до достижения равновесия
Тот набор (и порядок) весов, который добавлялся на чашу весов до достижения равновесия, называется сообщением.
В общем случае, измерение не является именно "взвешиванием", но реализует тот же самый процесс дифференциального сравнения.
Пусть, например, рабочий протачивает цилиндрическую деталь, контролируя ее диаметр калибром (мерной скобой). Если диаметр детали больше калибра, записывает "НЕТ" и продолжает проточку, если диаметр равен калибру - завершает операцию.
В таком случае, записанное сообщение выглядит как последовательность "НЕТ". Причем число их не имеет отношения к диаметру детали, а только к частоте измерений. Получив фразу "НЕТ-НЕТ..НЕТ-НЕТ" все что можно сказать о диаметре детали - что он соответствует калибру. Информация о диаметре не передавалась по каналу связи, но тем не менее, она известна и Источнику и Приемнику (отвечает заданию, тезаурусу).
Как видно из изложенного, сообщение (то, что передается по каналу связи) не имеет ничего общего с семантической информацией (кроме факта получения данного сообщения). Это как продольные и поперечные величины - их не нужно и нельзя смешивать.
Например, напряжение в розетке - 220 вольт - ничего не говорит о том, какой ток потребляет лампочка.
Из сообщения - как набора символов - невозможно получить информацию, которой обменялись Источник и Приемник, только установить сам факт обмена.
Понятно, что любые разговоры об "единицах информации" при этом бессмысленны.
Тем не менее, в технике связи широко используется понятие "количество информации", измеряемое в битах. К чему же оно относится?
В те годы, когда разрабатывалась математическая теория связи, термина Фрактал еще не существовало, он появился намного позднее. Тем не менее, то что передается по линиям связи, фактически, является текстовым фракталом. Точное определение этого объекта в данном случае неважно. Важно, что задача коммуникации - транспорт сообщений. Транспорт требует расчета объема груза и потребности в таре. Клод Шеннон разработал способ такой оценки.
Используя аналогию, текст можно сравнить, например, с насыпанной кучей или разведенным раствором: частицы агента перемешаны с пустотами или растворителем. Кучу можно утрамбовать, растворитель - выпарить, достигнув предельной плотности или концентрации. Понятно, что концентрации не может быть больше 100% чистого вещества. Утрамбовывать кучу тоже можно только до определенной предельной плотности. Иными словами, обойтись меньшим количеством тары, чем требуется при 100% плотной упаковке невозможно. В теории информации эта величина называется "энтропийный предел".
Приступив к решению задачи о транспорте сообщений, Клод Шеннон интуитивно (без явной формулировки) пришел к двухкомпонентной модели сообщения. По Шеннону, сообщение имеет две составляющие: абсолютно несжимаемую (энтропия) и абсолютно сжимаемую (избыточность).
Если устранить из сообщения избыточность и передавать по каналу связи только несжимаемую часть, то можно получить экономию тары и времени передачи. На приемном конце сухой концентрат можно заново развести, получив исходную избыточность. Такая техника называется "эффективное кодирование" (сжатие данных).
"Сухой вес" сообщения (в битах, после удаления из него избыточности) - это и есть "количество информации" по Шеннону.
Очевидно, что никакого отношения к семантике сообщения (собственно информации) оно не имеет.
Более того, можно сразу сказать, что любые попытки введения в эту оценку поправок ("на полезность", "за семантику", "на сложность" и проч.) заранее обречены - так же, как попытки складывать вольты с амперами. Это просто несвязанные вещи.
Точно также, заранее неверной можно назвать любую теорию, как-либо связывающую структуру сообщения с переносимой им информацией.
Никакой "объективной" информации не существует, это "разность потенциалов" (поперечная величина), результат диалога между источником и приемником.
Таким образом, информацию невозможно "локализовать" в канале связи, она разделена между источником и приемником в силу существования общей модели (тезауруса). Если такой общей модели нет, коммуникация невозможна (например, источник и приемник не знают языка друг друга).
Для дальнейшего изложения удобно ввести два новых понятия: Упругая система и Квазиупругая система.
Упругой будем называть систему, которая способна деформироваться под действием внешней силы, запасая энергию и, после снятия нагрузки, самопроизвольно возвращаться в исходное состояние.
Например, пружинку можно сжать, резиновую ленту растянуть, брошенный теннисный мячик отскакивает от стенки итп.
Но понятие энергии неприменимо в теории информации, там рассматриваются только безэнергетические процессы.
Поэтому, аналогично упругой, введем понятие квазиупругой системы. Квазиупругая система не запасает энергию и не может самопроизвольно вернуться в исходное состояние. Но под действием нагрузки обратного знака может вновь вернуться в исходное состояние.
Иными словами, там где упругая система не потребляет энергию, возвращая всю ее назад в обратном ходе цикла, квазиупругая система, наоборот, требует двойных затрат - и на прямой и на обратный ход.
Примеры квазиупругой системы: выключатель, песочные часы итп.
Сообщение - это квазиупругая система. Если на его деформацию (сжатие) требуются какие-то затраты, то они же потребуются еще раз на обратный процесс - распаковки. Оценить эти затраты можно введя понятие Энергии деформации (не путать с реальной физической энергией). Найти ее можно как разность энтропий до и после деформации сообщения.