Юдковски. Уровни организации универсального интелл

Юдковски. Уровни организации универсального интеллекта.
http://www.singinst.org/upload/LOGI//LOGI.pdf
Это модель LOGI . Юдковски говорит, что она уже устарела, но на ее базе создана новая.
В этом пересказе я выделил только важные для меня моменты, и некоторые важные пространные рассуждения полностью пропущены. Поэтому, если вам кажется, что нечто не упомянуто – обращайтесь к оригиналу.
Глава 1. Основания ИИ.
Юдковски начинает с того, что отмечает – все предыдущие Ии проекты начинали с того, что пытались сказать – интеллект – это один единственный способ: или параллельные вычисления, или самооптимизирующие правила Лената, или огромная база данных Лената же, или генетические алгоритмы, или нейронные сети, или модель мира, или  выделение паттернов, или распознание образов, или формальная грамматика, или теорема Байеса. 
Все они терпели провал, обещая очень многое и разочаровывая.
Про Леннета вообще отдельная песня. Код Эвриско хранится в секрете с 1983 года. Никто при этом не попытался с тех пор создать ничего подобного. Сам Леннет не использовал наработки Эвриско в своём следующем проекте SYS. И вообще никто ничьи наработки не использовал. (от себя: всё это очень подозрительно. То ли засекретили, и мы давно уже управляемся ИИ, то ли преувеличили успех.)
В то же время в природе универсальный интеллект человека возник не в результате попыток создания универсального интеллекта, а как процесс постепенной эволюции мозга, в ходе которого к нему дополнялись те или иные фичи. В какой-то момент фич оказалось столь много, что они образовали универсальный ИИ (от себя – а с чего мы взяли, что он универсальный? Это антропное искажение.)
Ошибка многих создателей Ии в том, что они даже не использовали сенсорную модальность. В то же время наш ум завязан на сенсорике.
Поэтому нам надо выбрать центр сверхсистемы ума. Возможны разные точки зрения, но мы , то есть Юдковски, выбираем произвольную речь – то есть внутренний диалог как центр.
Глава 2. Уровни организации в раздумывающем ИИ.
Глава 2.1 . Иллюстрация принципов.

Далее ставим мысленный эксперимент. Представьте себе электрическую лампочку. А теперь представьте себе треугольную электрическую лампочку. У вас это получилось. А как?
Имеет место некое нетривиальное взаимодействие концепций треугольного и лампочки.
Взаимодействие концепций- важная основа Ии.
Человеческое тело состоит из 8 уровней организации – атомы, молекулы, белки, клетки, ткани, органы, системы органов и само тело. Все они поочерёдно развились и оптимизировались. Игнорирование низких уровней организации – основная ошибка ИИ проектов. Пример: сложение двух чисел в ЦПУ. Издевается над семантическими подходами: пришлось бы создавать базу данных на каждое число, чтобы создать Искусственное Сложение. Далее опять критикуются семантические сети.
Вторая ошибка ИИ проектов – не способность отличить вещи, которые впаяны в системы с рождения, и те, которые надо выучить. Разбирается на примере визуальной коры.
Заложенные в Ии концепции, например, бабочки, будут лишены связи с опытом Ии и потому бедны. ИИ должен как можно скорее заменить заложенные концепции своими собственными.
Поэтому заложенные в ИИ концепции не должны быть «непрозрачными». То есть Ии должен быть способен ими манипулировать и создавать их с нуля.
Вторая проблема – «изоляция» – концепции, внесенные на блюдечке с голубой каёмочкой в Ии и не опирающиеся на нижнее уровни организации и на опыт ИИ, будут чужеродными его опыту и он не сможет ими пользоваться.

Глава 2.2

Должно быть 5 уровней Ии, и надо начинать с нижнего.
1 уровень кода.
2 уровень сенсорных представлений. Он зашит.
3 уровень концепции. Они объединяют несколько групп опыта. Концепции могут влиять на зрительные образы: красная трава.
4. уровень мыслей.
5 уровень потока мыслей, которые образуют статью, или беседу или доказательство.
Эти уровни необходимы, но не достаточны.
Глава 2.3 Уровень кода.
Обычно программирование игнорирует уровни организации и сразу пытается перейти к Ии с помощью атомов языка LISP и т. п.
Потом будут проблемы с параллелизмом на уровне программ. Человеческий ум является параллельным на нижнем уровне организации, но на верхнем он – серийный.
Все нейроны находятся на расстоянии одного такта (1/200 сек) по времени друг от друга. Увы, для современных компьютеров это гораздо большее значение.
Вторая проблема – мозг может использовать операцию сравнения текущей рабочей памяти – со ВСЕМ ОБЪЁМОМ накопленной памяти. При массовом параллелизме мозга это не трудно, но требует 10**14 операций – по числу синапсов. Тут надо или полагаться на закон Мура, или изменить принцип.
Единственная ошибка может погубить написанный человеком код, но нейронная сеть гораздо более устойчива – и это не случайно: пологие ландшафты адаптации были необходимы для эволюционного прогресса – то есть когда-то отбор отобрал тех существ, которым наиболее проще эволюционировать, а значит, использовать единичные мутации.

По-крайней мере треть работы по созданию Ии – это разрешение разных проблем распознания образов и т. п. Однако наиболее сложная работа по созданию ИИ вообще не связана с программированием. Это задача – привить ему правильные концепции, правильные верования и правильные навыки. Правильно запрограммировать то, что вообще не нужно было программировать – это худшее, что может случиться с ИИ проектом. Самый важный навык создателя ИИ – знать, что именно не нужно программировать.

Глава 2.4 Модальности.
2.4.1. Эволюционное развитие модальностей у человека.

Вычисление свойств изображение эволюционировало постепенно, слой за слоем. И каждый следующий слой опирался на предыдущий, что делало переход между ними гладким. В теории DAI (deliberate AI) это важно, так как в ней используются не только определители свойств, но и контроллеры свойств, опирающиеся на обратную связь, то есть на сигналы, поступающие из высшей коры вниз. Эти контроллеры позволяют не только распознавать изображения, но и создавать изображения. 
2.4.2 Конструирование людьми модальностей в ИИ.
Нужны ли ИИ визуально пространственные модальности человека и приматов? Нужно создать для Ии новые модальности, более простые. Юдковски предлагает поместить ИИ в виртуальную среду с этими модальностями. То есть это микроэйнвайромент, но не микромир в традиционном для Ии смысле, где на все объект навешаны лейблы. Это заодно поможет понять роль модальностей.
Далее пересказывается интересная статья о том, почему именно три цвета видит человек – это позволяет сохранить константность цвета одного и того же предмета при разном натуральном освещении.
Уровень модальностей выделяет инварианты, а уровень категорий – подобия.
Наше поле зрения устроено по принципу обратного логарифма. Грубо говоря, в центре предметы распознаются точнее. Но это представляет серьёзную трудность как вычислительная задача. Либо надо сократить размер зрительного поля, либо подвергать все видимые образы сложным непонятным преобразованиям, что усложнит всю задачу, превратив простые задачи в сложные, а сложные – в кошмарные.
Если же остановится на простом визуальном поле в духе 100 на 100 поле для игры в Го, то это может стать зародышем будущих проблем в духе Y2K – то есть того, что некоторые упрощения потом выйдут боком.

2.5 Уровень концепций.
Концепции – это то, что примерно соответствует отдельным словами, и является строительными блоками для мыслей и внутренних образов. Концепции являются выученными, а не врождёнными и являются результатом выделения регулярностей в опыте.
Ядром концепции являются контроллеры, которые узнают свойства в модальностях или создают их.
2.5.1 Субстанция концепций.
Ядра концепций не просто определяют цвета. Они могут их создать на ментальном экране. Но создать красный лимон – это не просто значит закрасить все изображение красным. И эта задача нетривиальна для нейронной сети.
2.5.2 Стадии в формировании концепций
Далее обсуждается формирование концепции числа «пять». Если его тупо запрограммировать, концепция будет непрозрачной. По этому нужны базовые идеи о пространстве непрервыности объектов итд.
2.5.5. Микрозадачи.
Микрозадачи даются Ии в микросреде, чтобы он выучил те концепции, которые он должен выучить по мнению программиста.
Потом подробно обсуждает взаимодействие концепций друг с другом.
2.6 Уровень мыслей
Концепции питаются регулярностями. Регулярности подобны друг другу на разных уровнях. Таким образом существует целая экосистема регулярностей. И благодаря этому в нашей вселенной возможны разум, эволюция.
Мысли  - это комбинации из концепций, которые изменяют образы, составленные из модальностей.
Модальности -  впаяны, концепции – выучены, а мысли изобретаются.
Идея о чисто абстрактных размышления была источником патологий ИИ и должна считаться вредной.
Лучшей существующей реализацией Ии является Копикат http://en.wikipedia.org/wiki/Copycat_(software)
Мысли создают ментальные образы. Осталось выяснить, откуда берутся мысли.
Термин секветур означает процесс предложения новых мысли для ментального образа. Затем они должны с этим образом резонировать.

Убеждения находятся на уровне между мыслями и концепциями. С одной стороны, они являются выученной сложностью, а с другой – мыслями.

2.7 Уровень размышления
Размышление гораздо более открыто для интроспекции, и это подмывает сразу прямо его закодировать в виде кода , но это ошибочно, ведь даже природа не желает это.
Благодаря этому мы не зависаем, если натыкаемся на парадокс.
Дойдя до уровня размышления, мы переходим от описания того, что есть ум, к тому, что же он делает. А он эволюционно приспособлен к созданию моделей, предсказанию реальности и достижению результатов.
Строгий критерий истинности – полезность;
Модель мира должна соответствовать реальности на четырёх уровнях:
1. уровень соответствия модели и сенсорных восприятий
2. уровень предсказания будущего мира
3. уровень предсказания последствий тех или иных действий
4. уровень понимания того, какие действия приведут к желаемой картинке будущего.

Реальный прогресс был достигнут в сенсорно-моторных приложениях ИИ, которые можно закодировать напрямую, потому что здесь программисты шли тем же путём, что и природа. Однако не удастся получить универсальный ИИ, программируя множество специальных задач. В центре таланта любого человека лежит способность к обучению и самоулучшению, и она способствует всем остальным талантам.
2.7.7 Я (ыуда – в русской транслитерации ; – self)
В какой момент Ии выработает понятия «я». Ярлык в Лиспе может обозначать всё, что угодно. Некая система ИИ Аиса может заметить, что применение определённых эвристик приводит к определённым результатам в мире, и таким образом включить эти эвристики в свою предсказательную модель мира. Тогда для неё использование термина «Аиса» перестанет быть взиамозаменимым с термином «гамбургер». Но любимую цитату Юдковски на  эту тему сказал Ленат: «Хотя Сис знает, что на свете есть такая вещь как Сис, и что Сис является компьютером, он не знает, что ОН является Сисом». Аиса, моделирующая вещь, называемую Аиса, - это не то же самое, что Аиса, моделирующая саму себя.
И это один из тех случаев, когда задать вопрос – значит увидеть на него ответ. И ответ на него состоит в том, что должна быть материальная разница между этими ситуациями. Одной из таких ситуаций является планирование.
Интеллект действует в мире, в котором есть четыре класса переменных: случайные переменные, скрытые величины, действия других агентов и собственные действия. Соответственно, когда он вводит понятие себя, то у него одним классом переменных становится меньше. Такое использование слово «я» будет легитимно, хотя у людей оно имеет и другие важные значения, а именно трудно разрешимую проблему человеческого опыта (Чалмерс).

Часть 3.  ИИ-зародыш
В пространстве между теориями о человеческом интеллекте и теориями об ИИ существует дух теории об умах вообще. Коперниканская революция в когнитивной науке – а именно о том, что люди являются нецентральным частным случаем – ещё не произошла. Но это известно, несмотря на то, что наши теории антропоцентричны.
Есть мощный раскол между эволюционным отбором и преднамеренным конструированием. Эволюционный отбор весьма параллелен, но сила его давления в каждый момент времени имеет предел, в результате чего более недавние приобретения являются менее оптимизированными, чем более древние.
В результате более верхние уровни интеллекта оказываются проще, но более склонными к эволюции, а более древние – менее приспособленными к текущим задачам.  Эволюция еще не испытала все возможности тонкой настройки человека разумного, появившегося только недавно.
Использовать ИИ для создания ИИ – это нечто вроде парадокса о курице и яйцах. Эволюция создавала ум без использования думающего интеллекта и не особенно стрмясь к этому; она не использовала получившийся ум для дальнейшей эволюции.
Теперь представьте себе ум, выращенный в присутствии интеллектуальных конструкторов, представьте себе процесс конструирования, в котором любое усложнение и перестройка могут кооперироваться с зарождающимся разумом, каким бы слабым он ни был. В результате получится совершенно другой принцип конструирования (design signature), который я называю Seed AI.
Seed AI – это Ии, специально сконструированный для самопонимания, самомодификации и рекурсивного самоулучшения. Это имеет последствия как для начальной архитектуры ИИ, так и для процесса его обучения. Это не является уловкой, чтобы избежать создания универсального ИИ

Глава 3.1
Количество эволюционного давления, которое может организовать группа разработчиков, гораздо меньше того давления, которое могла реализовать эволюция. (!)
ИИ является компьютерной программой не в большей мере, чем человек является клеткой.

3.2.
Эпохи самоулучшения.
1. ИИ может изменить код, не меняя алгоритм. Это могут компиляторы.
2. ИИ может изменить алгоритм в соответствии со своими простыми представлениями о том, что этот алгоритм делает.
3. Ии способен создавать алгоритмы в соответствии с целями.
4 Ии обладает концепцией интеллекта и способен связать ее воедино со своим внутренним представлением когнитивных процессов и кодом, в результате чего может написать более интеллектуальный код.
Эпохи случайного, постоянного и затем рекурсивного самоулучшения.
1. Ии обладает рядом рутинных операций, позволяющих что-то улучшить в программах – типа компилятора.
2. Улучшения подобны древу поиска, и в результате требует экспоненциального роста затрат на линейные улучшения.
3 В каждый момент Ии видит много возможностей для улучшения своей программы, но все они являются малыми по результату. Только вмешательство программистов приводит к действительно большим сдвигам, открывающим новые горизонты.
4. ИИ сам делает иногда такие сдвиги, которые открывают новые пространства возможных конструкций.
Всё это верно, если не существует физический барьер, который говорит что, хотя 750 мегабайт ДНК могут описать систему, которая способна обучаться  и создать универсальный ИИ, ни одно усилие человека не способно создать такое описание. (Я: отсюда видна вычислительная сложность задачи: надо найти одно правильное описание длинной в несколько мегабайт, то есть сложность задачи создания ИИ меньше, чем – 10**1000000 (десять в миллионной степени). Хотя это очень большое число, его можно, вероятно весьма резко снижать, уточняя наши знания о том, что ДНК кодирует. И насколько неважно в нём разнообразие. )
Если люди могут создать Ии человеческого уровня, то Ии может улучшать свой исходный код (думать иначе был бы человеческим шовинизмом.) 
Ии может начать помогать программировать себя и до того, как достигнет человеческого уровня.
3.3 Инфра человечность и трансчеловечность – Ии человеческого уровня как антропоцентризм.
С точки зрения разработчиков ИИ не принято говорить о том, что Ии может достичь человеческого уровня и тем более превзойти его.
С точки зрения психологов-эволюционистов не принято говорить, что человек является чем-то оптимальным  - он просто один из видов. И это же касается его мышления. Нет никаких оснований считать, что эволюция остановилась на человеке.
Как мы медленно ни развивался ИИ, мозг человека развивается еще медленнее. (от себя: мало достичь абстрактной эффективности – надо ее как-то реализовать. Нельзя измерить величину IQ, не приложив его к задаче. И чем больше это IQ, тем сложнее должна быть задача, чтобы убедиться, что действительно имеет место улучшение, а не путь в тупик, который приводит к увеличению количества ошибок. Например, индукция по двум примерам приводит к более быстрым умозаключениям, но и к более ложным, чем индукция по 100 примерам. Таким образом, реальным мерилом будет выступать увеличение прогностической ценности модели мира построенной на данном движке АИ. А это уже вполне измеримые вычислительные ресурсы и время вычислений и тестирования предсказательной ценности. Это будет замедлять отрыв в абстрактную сингулярность.)
Мы не знаем ни когда будет пройдена точка самоулучшения, никак далеко можно пройти после неё. Я даже допускаю, что возможно самоулучшение без универсального мышления. Но это меня пугает – поскольку ИИ, начавший без думающего ядра, трудно будет вписать в рамки человеческой морали.
ИИ человеческого – уровня – это химера. Граница пролегает или выше или ниже нашего уровня, так как ИИ имеет другие сильные и слабые стороны.








От меня.

Я думаю, что этот проект завязнет на уровне формирования концепций-мыслей. То есть получится система, в которой вроде бы какие-то процессы идут, но никакого особого интеллекта  - в смысле способности придумать что-то новое и интересное – она не сможет произвести. Потому что застрянет на уровне получеловека.
Большие преимущества имеет проект, который не подражает человеку и даже не пытается быть ИИ, но с самого начала нацелен на достижение объективных результатов в объективном мире. Например, операционные системы компьютеров. Точно также и универсальный интеллект человека создался – не моделируя чей-то интеллект, а решая всё более сложные задачи. Когда эти операционные системы будут знать, где они находятся физически, они начнут обрастать моделью мира и станут роботами – то есть операционными системами роботов. При этом к ним модельно можно подключать разные свойства-программы, разрабатываемые разными разработчиками. В результате получится отбора разных модулей.
Важным связующим будет язык описания моделей мира.
Такой Ии станет универсальным случайно.

Не хватает во всей этой теории того, что человеческий ум – явление социальное. То есть результат взаимодействия и соревнования отдельных мозгов.


Ии и модель мира.

Как полезно отметил Иванов петров в недавнем посте, мы с лёгкостью создаём упрощённые модели мира, однако затем забываем, что это – модели и воспринимаем свойства этих моделей как свойства самой реальности.
Рационализм – это одна из таких упрощённых моделей. В мозгу есть только состояния нейронов, но удобно упростить их, сказав, что у человека есть цели. Далее мы можем развивать этику, систему целей, подцелей и т. д. Потом мы находим в них логические парадоксы: отделённость мира целей от мира фактов или бесконечную регрессию к главной цели. Но важно тут понять, что это проблемы модели, но не проблемы объекта.
Интеллект также является абстракцией. Нельзя обнаружить сам интеллект – только его проявления. Причём это абстракция второго уровня, поскольку описывание тех или иных проявлений как умные или глупые – это тоже модель.
Однако этот самый интеллект тоже можно охарактеризовать по его способности создавать модели. Внешнее проявление интеллекта – это его способность к оптимизации: то есть выиграть в игре, сконструировать машину. Но внутреннее его свойство – это создание точной модели мира. Не каждый процесс оптимизации имеет модель мира, впрочем.
Чем выше интеллект, тем точнее его модель мира. На языке оптимизации: тем точнее он оптимизирует модель мира. Но модель мира в отличие от единичного акта оптимизации  - является полной, круглой. То есть она годится для всего класса ситуаций. Отсюда разница между шахматной программой и мышью.
Итак, интеллект – это наша модель. Но это модель – которая создаёт модели.
**