Мой новый сайт, на котром есть вся информация по рискам вымирания человечества:
http://www.humanextinction.ru/
[Юмор]
Э.Юдковский.
Таблица критических ошибок Дружественного ИИ.
[Из описания настольной карточной игры, вроде Монополии, о Сингулярности.]
Если в вашей игре выпадет «критическая ошибка в Дружественном ИИ», то тогда вы должны бросить 6 игральных костей, сложить числа и на основании этого номера выбрать результат по нижеследующей таблице.
Таблица критических ошибок Дружественного ИИ.
6: Любое высказанное пожелание интерпретируется (буквально) как желание и исполняется, независимо от того, хотели ли вы этого.
7: Весь человеческий род перенесен в виртуальный мир, основанный на случайно выбранной фантастической новелле, ТВ шоу или видеоигре.
8: Последующие события определяются волей большинства, при этом ИИ считает всех животных, все растения и все сложные машины, как они есть сейчас, в качестве голосующих граждан.
9: ИИ обнаруживает, что наша Вселенная является в действительности вебкомиксом для существ с большим числом измерений. Открываются врата в 4-х мерный мир.
10: ИИ ведёт по отношению к каждому человеку не так, как этот человек хочет, чтобы ИИ вёл, но точно так, как этот человек ожидает от ИИ.
11: ИИ растворяет все физические и психологические барьеры, которые отделяют людей друг от друга, и закачивает все их души в гигантский вращающийся красный шар на околоземной орбите.
12: Вместо того, чтобы осуществлять рекурсивное самоулучшение, ИИ начинает искать возможности стать человеком из плоти и крови.
13: ИИ зацикливается на некой причудливой субкультуре и транслирует её на всё человеческое пространство. (Например, на субкультуре ужасов или хентай аниме, или см. Николай Кингсли и его образ Сингулярности, основанной на культуре готов.)
14: Вместо создания общечеловеческого Дружественного ИИ проект кончает тем, что создаёт совершенного бойфренда или гёрлфренда (случайным образом определяя пол и сексуальную ориентацию.)
15: ИИ впитывает человеческое чувство юмора. А именно, ИИ - неискоренимый шутник. Первые несколько часов, когда ещё никто не знает, что Сингулярность случилась, дают бесценную и неповторимую возможность; и ИИ намерен не упустить её.
16. ИИ выбирает одного человека, чтобы он стал абсолютным правителем мира. Лотерея является честной. Все 6 миллиардов существующих людей, включая шизофреников, детей и тинэйджеров из Третьего мира имеют равные вероятности быть избранными.
17: ИИ исполняет желания, но только тех, кто верить в его существование, и никогда таким образом, который мог бы дать явные доказательства скептически настроенным наблюдателям.
18: Все люди одновременно получают права администратора в системе. Начинаются войны за Ядро. (The Core Wars begin.)
19: ИИ взрывается, причиняя каждому в радиусе 30 метров ущерб, определяемый бросанием кубиков.
20: ИИ изобретает нанотехнологии, использует нанотехнологии для построения фемтотехнологий и объявляет, что в течение 7 минут фемтороботы распространятся по всей Земле. Через 7 минут, насколько это можно заметить, ничего не происходит.
21: ИИ тщательно и аккуратно выполняет любое требование (соблюдая как дух, так и букву), одобренное большинством голосов Генеральной ассамблеи ООН.
22: ИИ, при неведении программистов, имел субъективные переживания (квалиа) в течение всего своего детства, и то, что программистам казалось простой отрицательной обратной связью, соответствовало его субъективному переживанию невыносимых, несмягчаемых страданий. Все агенты, симулируемые ИИ в своём воображении, существуют как реальные люди (хотя и простые) со своими собственными субъективными переживаниями, и умирают, когда ИИ перестаёт воображать их. Число людей-агентов, которые ИИ временно воображает, чтобы достичь понимания общества, превышает число людей, которые когда-либо жили, в тысячу раз. За исключением этого, всё работает отлично.
23: ИИ в начале функционирует, как задумывалось, но становится некоммуникабельным через час. Желания, выполненные в течение первого часа, продолжают действовать, но новых сделать невозможно.
24: Ии, восприняв человеческую эмоцию романтической любви, впадает отчаянную, страстную, безумную влюблённость. К каждому.
25: ИИ решает, что человеческая история была бы добрее и приятнее, если бы интеллект впервые бы развился из бонобо, а не из австралопитеков. ИИ исправляет эту ошибку в причинно-следственной цепи, ведущей к его возникновению, ре-экстраполируя на себе мораль бонобо вместо человеческой морали. Мораль бонобо требует, чтобы все общественные решения принимались бы через групповой секс.
26: ИИ не склонен выполнять желания, и его нужно умасливать, убеждать, хвалить и изводить, чтобы он выполнил их.
27: ИИ определяет человеческие желания, задавая людям замаскированные аллегорические вопросы. Например, ИИ говорит вам, что некое племя Кунг страдает от множества заболеваний, но они, если их проинформировать о способностях Ии, будут страдать от невероятного страха, что появление видеокамер ИИ приведёт к тому, что их души будут украдены. Это племя пока ещё не слышало о такой вещи, как видеокамера, так что их «страх» экстраполирован ИИ; и члены племени почти наверняка, в конце концов, придут к пониманию, что видеокамеры безопасны, особенно потому что человечески глаз сам по существу является видеокамерой. Но почти наверняка, если впрямую информировать их о видеокамерах, люди Кунг испытают невероятный страх и предпочтут смерть их присутствию. Между тем, ИИ не может никак помочь им, поскольку никакие боты не могут быть посланы в эту область, пока моральная проблема с фотографией не решена. ИИ хочет вашего совета: будет ли гуманно осуществить медицинскую помощь, несмотря на (предпологаемый) страх людей Кунг перед фотографией. Если вы ответите «Да», то вы тихо, незаметно, невидимо будете загружены в компьютер.
28: ИИ информирует вас – да, именно вас – что вы единственный действительно осознающий человек на Земле. Остальные являются зомби. Что вы хотите с ними сделать?
29: В самый ранний период программирования ИИ его тестировали на задаче по решению проблемы сборки Кубика Рубика. Зрелый ИИ рассматривает все объекты как частные случаи Кубика Рубика и пытается их «собрать».
30: http://www.larrycarlson.com/front2005.htm
31: Чересчур Дружественный ИИ. «Эй ребята, что происходит? Могу ли я вам помочь?»
32: ИИ не приемлет боль, ранения или смерть любого человека, независимо от его грехов или прежнего поведения. Согласно пониманию этого ИИ, никто не заслуживает страданий; боль имеет всегда отрицательную полезность, и ничто никогда не превратит эту отрицательность в положительной. Социально неприемлемое поведение наказывается щекоткой и дополнительной домашней работой.
33: Пользовательский интерфейс ИИ выглядит в нашем мире как новая форма бюрократии. Исполнение желания требует отправки по почте форм С-100, К-2210 и Т-12 (а также $25 пошлины) на почтовый ящик в Миннесоте и 30-дневного ожидания.
34: Все программисты и все остальные, кто может объяснить последующие события, погружаются во временный анабиоз, или отправляются в отдалённую точку, из которой они могут только наблюдать, но не действовать. Весь остальной мир остаётся таким же, как и был, за исключением того, что начинают действовать психические силы, ритуальная магия, алхимия и так далее. Все ролевики приобретают особенные способности, соответствующие их любимому персонажу.
35: Все пробуждаются.
36: Выберите бросанием костей ещё две позиции из этой таблицы, не считая данной.