> 1. Оставляя в стороне понятие "Информация", рассмотрим сообщение как некоторый геометрический объект, а его представление в различных системах кодов - как обратимую трансформацию, сохраняющую нечто существенное, понимаемое как "содержание" сообщения.

- Вот это и есть свойство "ковариантности": изменчивость формы при сохранении сути.

Нет возражений.

> 2. каждому сообщению можно поставить в соответствие Координатное пространство, точки которого будут соответствовать всем возможным сообщениям данного размера.

- Прекрасная формулировка. Вы ее создали после того как уверяли меня, что не понимаете, что такое "информационный код"? Или до?

Для точного ответа надо сравнить даты, но, в любом случае, про "координатное пространство" я писал еще в самых первых статьях. А вот что такое ваш ""информационный код", у меня нет понимания до сих пор. И, в любом случае, у вас нет ни слова про "фиксацию размера", без чего теряет смысл и все остальное.

Инвариант   23.11.2019 22:48   Заявить о нарушении

> у вас нет ни слова про "фиксацию размера"
– Что в данном случае есть «фиксация размера»? Если то же самое, что и в тексте (множество возможных вариантов выбора), то – призываю вас к внимательному чтению; в частности – «Философии информационных сред».
Вы все время забываете (чем я чрезвычайно польщен), что это не научная статья, а беллетристика; и измерять информацию я не имел намерения. Для литературы достаточно знать, что такое измерение в принципе возможно, и ограничено только нашими способностями (в т.ч., научными).
С уважением, Ник.

Ник Пичугин   26.11.2019 12:22   Заявить о нарушении

> Что в данном случае есть "фиксация размера" Если то же самое, что и в тексте (множество возможных вариантов выбора), то - призываю вас к внимательному чтению; в частности - "Философии информационных сред".

> Вы все время забываете (чем я чрезвычайно польщен), что это не научная статья, а беллетристика; и измерять информацию я не имел намерения. Для литературы достаточно знать, что такое измерение в принципе возможно, и ограничено только нашими способностями (в т.ч., научными).

Посмотрел еще раз и "Философия информационных сред" и "Систематика информационных процессов". Понятнее не стало. Несмотря на злоупотребление словом "код" (более 100 раз в "Философии"), само это понятие никак не раскрывается и понять о чем идет речь из текста невозможно.( Цитата: "Вблизи точки равновесия все информационные коды ведут себя линейно"). В "Систематике", скорее, речь идет о корректирующих кодах (Цитата: Эта "вата" у Шеннона называется "корректирующими кодами"), что тем более не добавляет ясности.

Инвариант   27.11.2019 22:57   Заявить о нарушении

> Несмотря на злоупотребление словом "код" (более 100 раз в "Философии")
– Господь с Вами, Вы преувеличиваете. В любом случае не туда смотрите. Цитата: «Сигналы на информационную систему могут поступать самые разные (из одного и того же векторного пространства, впрочем), В линейной информатике сигналы i(1) и i(2) изображаются векторами, – то есть, наборами чисел, которые (числа) Ф. Розенблатт называл «весами», и которые есть не что иное как простейшая разновидность информационных кодов.» ("Философия информационных сред") Вот. А Вы говорите:
> само это понятие никак не раскрывается и понять о чем идет речь из текста невозможно. Понятнее не стало
– что такое координаты вектора? Ничем не могу помочь.
С уважением, Ник.

Ник Пичугин   28.11.2019 11:20   Заявить о нарушении

> В любом случае не туда смотрите. Цитата: "Сигналы на информационную систему могут поступать самые разные (из одного и того же векторного пространства, впрочем), В линейной информатике сигналы i(1) и i(2) изображаются векторами, - то есть, наборами чисел, которые (числа) Ф. Розенблатт называл "весами", и которые есть не что иное как простейшая разновидность информационных кодов." ("Философия информационных сред")

По-прежнему, ничего не понял. Наипаче, вот это: "которые (числа) Ф. Розенблатт называл "весами", и которые есть не что иное как простейшая разновидность информационных кодов". По пословице: "В огороде бузина, а в Киеве - дядька"? Ну, да ладно. Большего, видимо, не добиться.

Инвариант   28.11.2019 22:28   Заявить о нарушении

Большего, видимо, не добиться, воистину.

Ник Пичугин   29.11.2019 12:59   Заявить о нарушении

> Большего, видимо, не добиться, воистину.

Вы напрасно заламываете руки. Всякому сведущему человеку очевидна нелепость ваших утверждений.

Цитата: "сигналы i(1) и i(2) изображаются векторами, - то есть, наборами чисел, которые (числа) Ф. Розенблатт называл "весами", и которые есть не что иное как простейшая разновидность информационных кодов".

Набор весов, вообще говоря, диссипативных, не может быть "информационными кодами", лишенными, по определению, диссипации. Сама эта фраза выглядит, как попытка заявить, что "бесконечномерные банаховы пространства - простейшая разновидность одномерных длинных линий". Наконец, причем тут "векторы"? Вектор - специфический объект линейной алгебры (систематически используемый после работ У. Гамильтона по кватернионам), с четко оговоренными правилами сложения и умножения. "Веса" персептронов Розенблатта складываются по "правилу параллелограмма"? Нет - забудьте про "вектор".

Инвариант   30.11.2019 01:21   Заявить о нарушении

> "Веса" персептронов Розенблатта складываются по "правилу параллелограмма"? Нет - забудьте про "вектор".
– Туды-бо. Параллелограммы и треугольники устраняются из линейной алгебры сразу за порогом средней школы. Взрослые люди складывают и вычитают векторы покомпонентно – складыванием и вычитанием их координат. Другое дело, что я ничего не слышал о сложении и вычитании кодированной информации, и я смутно представляю себе, как это можно интерпретировать. (Две двойки – это не четверка, и отцовский ремень это подтверждает в два счета.) В линейной информатике сигналы преобразуются иначе: матричными операторами, по правилам матричного умножения.
И как же мне не заламывать руки, читая такие вопросы? Что ответить человеку, который предлагает складывать числа «по правилу параллелограмма»?
> Всякому сведущему человеку очевидна нелепость ваших утверждений
– и вопросов тоже. Вот сижу я перед экраном, простой постсоветский юзер, и думу думаю над текстом: что бы это значило:
> Набор весов, вообще говоря, диссипативных, не может быть "информационными кодами", лишенными, по определению, диссипации. Сама эта фраза выглядит, как попытка заявить, что "бесконечномерные банаховы пространства - простейшая разновидность одномерных длинных линий".
– «Диссипативные веса»! (Здесь кто-то просил «без истерики»?) Гм… «Бесконечномерные пространства»? Что Вы имеете в виду? «Одномерные линии»? Что у Вас в голове? Ну, попробую угадать.
> Если, вслед за Хартли, рассматривать каждый алфавитный символ как элементарный выбор, а сообщение в целом - как последовательность таких выборов,
– то набор весовых кодов это ОДИН такой алфавитный символ, а информационное пространство – отнюдь не бесконечномерное! – это алфавит. И если уж мы начали говорить о нейроне Розенблатта, о котором у Вас «имеется общее преставление»… Информационный сигнал (алфавитный символ), поступающий в нейрон – это N данных от N датчиков, совпадающих по времени. Это N весовых кодов – сиречь координат – информационного сигнала в N-мерном координатном пространстве, которое по этой причине именуется «информационным». После этих объяснений, стало ли Вам. Инвариант, что-нибудь понятнее? Если нет, я продолжу.
В первом же слое нейрона из этих весов (это числа, Инвариант!) образуется М линейных комбинаций с «весовыми коэффициентами» (тоже числа!), и это уже другой, преобразованный «оператором трансформации» сигнал, который описывается М данными, весовыми кодами, координатами… етсетера – в М-мерном информационном пространстве. В математическом смысле это матричное умножение N-мерного вектора на матрицу формата М∙N. Все, я исчерпался. Сообщите, что у меня получилось.
Ник.

Ник Пичугин   03.12.2019 11:53   Заявить о нарушении

> "Веса" персептронов Розенблатта складываются по "правилу параллелограмма" Нет - забудьте про "вектор".

> - Туды-бо. Параллелограммы и треугольники устраняются из линейной алгебры сразу за порогом средней школы.

Ага. Теперь ясно, откуда взялось вот это все... У вас пробелы в базовом образовании и непонимание элементарного. Вектор - это геометрический объект. И два вектора могут быть сложены - по "правилу параллелограмма" без какого-либо знания их компонент, как геометрические объекты. Покомпонентное сложение - деталь реализации, следующая за геометрическим представлением. Более того, именно сложение по "правилу параллелограмма" и выделяет вектор среди всех прочих многокомпонентных объектов.

К примеру, если на тело действуют две перпендикулярные силы (например, летящий артиллерийский снаряд), то они могут быть сложены по "правилу параллелограмма" и найдена их равнодействующая - они векторы. А, скажем, два перпендикулярных автомобильных потока на перекрестке складывать бессмысленно - они НЕ векторы.

> Что ответить человеку, который предлагает складывать числа "по правилу параллелограмма"?

Могу дать совет: найдите доступный учебник линейной алгебры и читайте - до просветления.

> - "Диссипативные веса"!

Все просто: коэффициент передачи < 1 означает потери (диссипацию).

< skip >

Остальное не заслуживает комментария.

> Все, я исчерпался. Сообщите, что у меня получилось.

Пшик.

Инвариант   03.12.2019 22:23   Заявить о нарушении

> Пшик.
– То есть как?! А кто написал:
> Теперь ясно, откуда взялось вот это все...
– Значит, уже что-то понятно, хоть что-то. Поэтому мы не будем отчаиваться и, не заламывая рук, пойдем просветлять стиль и ликвидировать пробелы.
Осмелюсь предположить, что поработать над стилем никогда и никому не вредно (о, только над стилем). Что может означать вот это:
> коэффициент передачи < 1 означает потери (диссипацию)
– Что есть «коэффициент передачи»? Кому-чему-кого-чего передачи? Какие могут быть «потери», если речь идет о единичном импульсе? (Диссипация, вообще-то, динамическое понятие.) Естественно, информационные коды, передающие (отсюда и «коэффициент передачи» –или откуда?) дискретный сигнал, диссипации лишены; но весовых коэффициентов это тоже касается, причем на тех же основаниях.
Пишите, не забывайте нас. Ник.

Ник Пичугин   04.12.2019 10:22   Заявить о нарушении

Как обычно, вы торопитесь высказаться о предмете, в котором не успели разобраться.

> Что есть "коэффициент передачи"? Кому-чему-кого-чего передачи? Какие могут быть "потери", если речь идет о единичном импульсе?

Ну, что бы вам не почитать про персептрон, прежде чем писать все это?

Цитата из "Психофизиология вики": Персептрон Розенблатта

"Формальные нейроны могут быть объединены в сети путем замыкания выходов одних нейронов на входы других, и по мысли авторов модели, такая кибернетическая система с надлежаще выбранными весами может представлять произвольную логическую функцию. Для теоретического описания получаемых нейронных сетей предлагался математический язык исчисления логических предикатов. По Розенблату персептроном называется нейронная сеть, состоящая из чувствительных, ассоциирующих и реагирующих элементов. Сенсорный способен выдавать сигнал 1 либо 0. Далее сигналы поступают в слой ассоциативных. Ассоциативный элемент - обычный нейрон модели МакКаллока-Питса с бинарно-пороговой функцией активации. Реагирующий элемент - обычный нейрон с биполярно-пороговой функцией активации. Реагирующие элементы с фиксированными весами формируют сигнал реакции персептрона на входной стимул. Фрэнк Розенблатт выделял персептроны с последовательными связями, персептроны с перекрёстными связями и персептроны с обратными связями. Так же она должна удовлетворять следующим пяти условиям:

1. В сети имеется только один реагирующий нейрон, который соединен связями с переменными весами со всеми ассоциирующими нейронами.

2. В сети имеются только последовательные связи от чувствительных к ассоциирующим элементам и от ассоциирующих элементов к реагирующему элементу.

3. Веса связей между чувствительными и ассоциирующих элементами являются фиксированными.

4. Время передачи сигналов каждой связью равно нулю (либо фиксированной постоянной величине).

5. Выходные сигналы всех нейронов сети формируются в виде:

net = sum(W[i] * x[i]))"
Еще раз: "Реагирующие элементы с фиксированными весами формируют сигнал реакции персептрона на входной стимул".

И об этом написано, буквально, в каждой статье. Например, "Студопедия" Персептрон. Процедура обучения Розенблатта (http://studopedia.info/6-90607.html)

"...обучение персептрона происходит путем настройки весовых коэффициентов W между слоями S и А".
...
"Процедура обучения Розенблатта называется алгоритмом обучения с подкреплением. Она характеризуется тем, что весовые коэффициенты нейронной сети изменяются только в том случае, если выходная реакция сети не совпадает с эталонной".

Цитата из "Лекции по теории и приложениям искусственных нейронных сетей" ПЕРСЕПТРОН Розенблатта. (http://alife.narod.ru/lectures/neural/Neu_ch04.htm)

"Обучение сети состоит в подстройке весовых коэффициентов каждого нейрона. Пусть имеется набор пар векторов (xa, ya), a = 1..p, называемый обучающей выборкой. Будем называть нейронную сеть обученной на данной обучающей выборке, если при подаче на входы сети каждого вектора xa на выходах всякий раз получается соответствующий вектор ya. Предложенный Ф.Розенблаттом метод обучения состоит в итерационной подстройке матрицы весов, последовательно уменьшающей ошибку в выходных векторах".

Из статьи "Персептрон Розенблатта - машина, которая смогла обучаться" (http://neurohive.io/ru/osnovy-data-science/perseptron-rozenblatta-mashina-kotoraja-smogla-obuchatsja/)

"Персептрон представляет собой линейный классификатор, то есть алгоритм, который классифицирует объект путем разделения двух категорий прямой. Объектом обычно является вектор-функция x, взятая с весом w и смещенная на b:

y = w * x + b.

На выходе персептрон выдает результат y, основанный на нескольких вещественных входных объектах путем формирования линейной комбинации с использованием весовых коэффициентов (иногда с последующим пропусканием результата через нелинейную функцию активации)".

Наконец, даже при дискретных (-1, 0, 1) весах (однослойный персептрон), ассоциативные A-элементы являются "диссипативными":

Цитата: "Персептроны" (http://neuralnet.info/chapter/%D0%BF%D0%B5%D1%80%D1%81%D0%B5%D0%BF%D1%82%D1%80%D0%BE%D0%BD%D1%8B/)

"Если сигналы, поступившие на A-элемент, в совокупности превышают некоторый его порог ?\( \theta \)?, то этот A-элемент возбуждается и выдает сигнал, равный 1. В противном случае (сигнал от S-элементов не превысил порога A-элемента), генерируется нулевой сигнал".

> Поэтому мы не будем отчаиваться и, не заламывая рук, пойдем просветлять стиль и ликвидировать пробелы.

OK. Продожайте совершенствоваться.

Инвариант   04.12.2019 17:42   Заявить о нарушении

> Как обычно, вы торопитесь высказаться о предмете, в котором не успели разобраться.
– По вопросам, в которых я не успел разобраться, я высказываюсь адекватным образом – в виде вопроса:
> Что есть "коэффициент передачи"? Кому-чему-кого-чего передачи? Какие могут быть "потери", если речь идет о единичном импульсе?
– Справедливости ради надо признать, что все эти вопросы риторические. Вы совершенно напрасно приподымали такую гору литературы и формировали такой обстоятельный ответ. Издержки вычурного стиля: Вы опять восприняли мои слова буквально. Поэтому придется сказать прямо и без экивоков: я не нуждался в ответе, тема для меня закрыта, и новую я не открывал. Осмелюсь напомнить, что речь шла о способе (или возможности) задать информационный сигнал в виде вектора координатного пространства («алфавита»). Если Вы действительно хотите разобраться в этом вопросе самостоятельно, я сделал все, что мог.
С уважением, Ник.

Ник Пичугин   05.12.2019 16:34   Заявить о нарушении

> речь шла о способе (или возможности) задать информационный сигнал в виде вектора координатного пространства ("алфавита").

Как обычно, химера. По очевидным причинам, координатное пространство неалфавитно, а алфавит - не вектор. Как уже было сказано, векторы ваши "информационные сигналы" только если складываются по "правилу параллелограмма".

Инвариант   06.12.2019 17:27   Заявить о нарушении