Глобальные риски - сборник статей

http://www.scribd.com/doc/12738928/-
http://www.proza.ru/2009/10/15/107
http://humanextinction.ru/sbornik.doc

купить на бумаге
http://www.lulu.com/author/content_revise.php?fCID=10957593

© перевод, составление, редактура – А.В.Турчин, 2007-2011
© корректура, макет, вёрстка, обложка, фотография
 – М.А.Власова, 2011
© авторы статей и переводчики
Глобальные риски

Сборник статей




Под редакцией А.В.Турчина

Препринт


Проект
Российского Трансгуманистического
Движения



















Illegal editions

Москва 2011

 
;

Содержание



Предисловие                8

ЧАСТЬ 1. ОБЩИЕ ОБЗОРЫ ТЕМЫ
ГЛОБАЛЬНЫХ РИСКОВ                10

Билл Джой
Почему мы не нужны будущему                11

Вернор Виндж
Технологическая Сингулярность                45

Ник Бостром
Угрозы существованию: Анализ сценариев человеческого
вымирания и других подобных опасностей                58

Елиезер Юдковски
Когнитивные искажения,
влияющие на оценку глобальных рисков                97

Дэвид Брин
Сингулярность и кошмары                131

Александр Кононов
Идеологические начала общей теории
неуничтожимости человечества                156

Робин Хансен
Катастрофа, социальный коллапс и человеческое вымирание                169

Алексей Турчин
Процессы с положительной обратной связью
как основной механизм глобальных катастроф                188






ЧАСТЬ 2. ОЦЕНКА ВЕРОЯТНОСТИ
ГЛОБАЛЬНОЙ КАТАСТРОФЫ                203

Ник Бостром, Макс Тегмарк
Насколько невероятна катастрофа судного дня?                204

Ник Бостром
Doomsday Argument для начинающих                212

Ник Бостром
Doomsday Argument жив и брыкается                217

Ник Бостром
Доказательство симуляции                228

Данила Медведев
Живём ли мы в спекуляции Ника Бострома?                246

Милан Чиркович, Андерес Сандберг, Ник Бостром
Антропная тень: Эффекты наблюдательной селекции
и риски вымирания человечества                269

Алексей Турчин
Природные катастрофы и антропный принцип                291

Тоби Орд, Рафаела Хиллербранд, Андрес Сандберг
Проверяя непроверяемое: методологические вызовы
в оценке рисков с низкой вероятностью и высокими ставками               328

Эдриан Кент
Критический обзор оценок рисков глобальных катастроф                349

ЧАСТЬ 3. ГЛОБАЛЬНЫЕ РИСКИ
И НОВЫЕ ТЕХНОЛОГИИ                372

Eлиезер Юдковски
Искусственный интеллект как позитивный и негативный
фактор глобального риска                373

Роберт Фрейтас
Проблема Серой Слизи                424

Центр ответственных нанотехнологий
Опасности молекулярного производства                439

Майкл Вассер, Роберт Фрайтас
Проект «Нанощит»                452

Милан Чиркович, Ричард Каткарт
Гео-инженерия, пошедшая насмарку:
новое частное решение парадокса Ферми                484

Ричард Керригэн
Следует ли обеззараживать сигналы SETI?                499

Алексей Турчин
Глобальные риски, связанные с программой SETI                510

Питер Смит
Кобальтовая бомба                534

ЧАСТЬ 4. ГЛОБАЛЬНЫЕ РИСКИ, СВЯЗАННЫЕ
С ПРИРОДНЫМИ КАТАСТРОФАМИ                537

Владислав Пустынский
Последствия падения на Землю крупных астероидов                538

Уильям Нейпьер
Опасность комет и астероидов                550

Майкл Рампино
Супервулканизм
и другие катастрофические геофизические процессы                570

Арнон Дар
Влияние сверхновых, гамма-всплесков, солнечных вспышек
и космических лучей на земную окружающую среду                588

      




Предисловие



Этот сборник статей посвящен пока малоисследованной области – рискам катастроф, которые могут привести к полному и окончательному вымиранию людей.
В XXI веке перед человечеством стоит монументальная задача  – ос-воение сверхтехнологий. И хотя эти технологии обещают много сладких плодов, в том числе неограниченное продление жизни, главным вопросом все же является безопасность их применения. А наибольший риск от новых технологий – это  катастрофа, которая может привести к полному исчезнове-нию человечества.
Цель этого сборника – показать серьёзность подхода зарубежных учёных к проблеме глобальных рисков и ознакомить отечественного читате-ля с первоисточниками информации по проблеме.
В начале сборника находятся три фундаментальные статьи, каждая из которых в своё время привела к многочисленным откликам.
Первой идёт основополагающая статья Билла Джоя «Почему мы не нужны будущему», изданная в 2000 году в журнале Wired. Эта статья приве-ла к началу широкой дискуссии в обществе на тему глобальных рисков.
Далее следует статья Вернора Винджа 1993 года о Технологической сингулярности, которая необходима для понимания проблем, возникающих перед человечеством в связи с будущим созданием Искусственного Интеллекта (ИИ).
Наконец, статья Ника Бострома об угрозах существованию (так мы переводим термин «existential risks»), послужившая отправной точкой для многочисленных статей, приведенных в этом сборнике, а термин «existential risks» закрепился в зарубежной науке.
В первую часть сборника входит и статья Е.Юдковски о когнитив-ных искажениях в оценке глобальных рисков, которая дала новую перспек-тиву в анализе проблемы.
В статье знаменитого писателя-фантаста Д.Брина рассматривается такой способ предотвращения глобальных катастроф как «тотальная про-зрачность».
А.Кононов рассматривает в своей статье глобальные цели, которые необходимы для долгосрочного выживания человечества, а именно «задачу неуничтожимости цивилизации».
Американский экономист Р.Хансен исследует вопрос о том, может ли социальный коллапс привести к последующему вымиранию человечества.
В моей статье рассматриваются процессы с положительной обратной связью как общий механизм разных глобальных катастроф.
Во второй части собраны статьи, в которых рассмотрены проблемы вычисления вероятности глобальной катастрофы. Это – наиболее сложная часть сборника,  и неподготовленный читатель может ее пропустить. Боль-шое внимание в сборнике уделено так называемой Теореме о конце света (Doomsday argument) и вообще различным приложениям теории вероятности для оценки рисков глобальных катастроф с учётом эффектов наблюдатель-ной селекции. Дискуссии эти далеко не закончены, но наверняка представ-ляют интерес для будущего исследователя глобальных рисков. Ещё две ста-тьи дают новую перспективу в оценке рисков опасных физических экспери-ментов, вроде Большого Адронного Коллайдера. В этих статьях производит-ся оценка рисков с точки зрения ожидаемого возможного ущерба и с точки зрения вероятности истинности оценок безопасности коллайдера. Две статьи рассматривают гипотезу о том, что мы живём внутри компьютерной симуля-ции, созданной сверхцивилизацией. Вероятность того, что мы можем быть в симуляции, полностью изменяет оценку глобальных рисков. Эти две статьи высказывают противоположные точки зрения на данный аргумент.
В третьей части собраны статьи, в которых рассматриваются риски, связанные с новыми технологиями. Три статьи посвящены рискам, связан-ным с нанотехнологиями, и проектам их предотвращения. Обсуждаются рис-ки программы поиска сигналов внеземного разума SETI, а также риски Ис-кусственного интеллекта. Глава из книги П.Д.Смита рассказывает о забытой угрозе – кобальтовой бомбе.
В четвертой части рассматриваются глобальные риски, создаваемые возможными природными катастрофами.
Часть статей для этого сборника взята из книги “Global catastrophic risks”, вышедшей в Оксфорде в 2008 году. Большую часть статей, которые приведены в этой книге, были переведены мной. (Кроме статей Билла Джоя, Винджа и одной статьи Бострома.)
Сборник выходит при поддержке Российского Трансгуманистиче-ского Движения в серии «Диалоги о будущем» и рассчитан в первую очередь на тех, кто имеет профессиональный интерес к глобальным рискам, но может быть любопытен и для широкого круга читателей.


А.Турчин
;
ЧАСТЬ 1. ОБЩИЕ ОБЗОРЫ ТЕМЫ
ГЛОБАЛЬНЫХ РИСКОВ
;
         Билл Джой. Почему мы не нужны будущему

Впервые опубликовано на русском в журнале
«Компьютерра» в 2001г.
От переводчика:
Автором статьи, первоначально опубликованной в журнале “Wired” , является Билл Джой – заведующий научной частью и сооснователь американской компьютерной компании "Sun Microsystems". Билл Джой – человек-легенда, один из отцов BSD Unix, разработчик программ csh и vi ("азбука" для каждого специалиста по Unix). Джой сыграл в истории Java одну из главных ролей, оставаясь зачастую за сценой. Работал в самом центре команды BSD Unix; усовершенствовав протокол TCP/IP для работы на Ethernet, а не только на 50 кбит/сек линиях Arpanet, Билл Джой сделал возможным появление Internet. Компьютеры Sun с работающей на них сис-темой BSD Unix оказались наиболее надёжными кораблями для TCP/IP, су-щественная доля всех хост-компьютеров для Web по-прежнему являются машинами от Sun.                Перевод: Илья Осипов
Оригинал на сайте “Wired”: Bill Joy "Why the future doesn't need us".

Наши наиболее могущественные технологии 21-го века – робо-тотехника, генная инженерия и нанотехнология  – угрожают подверг-нуть человеческий род опасности.

Нравственные измерения новых технологий беспокоили меня с того момента, как я стал заниматься их созданием, но только осенью 1998-го года я с тревогой понял, насколько велики опасности, с которыми мы столкнёмся в 21-м веке. Я могу датировать начало моей тревоги днём, когда я встретил Рэя Курцвейла (Ray Kurzweil), заслуженно прославленного изобретателя первой читающей машины для слепых и многих других удивительных ве-щей.
Я и Рэй были докладчиками на конференции Telecosm Джорджа Гилдера , и я встретил его случайно в гостиничном баре после того, как окончились наши заседания. Я сидел с Джоном Сирлом , философом из Беркли, работавшим над изучением сознания. Пока мы беседовали, подошёл Рэй и завязался разговор, предмет которого преследует меня по сей день.
Я пропустил разговор Рэя и упустил тему разговора, а они теперь начали как раз там, где остановились. Рэй говорил о том, что темп улучше-ния технологии собирается ускоряться и что мы собираемся стать роботами, слиться с роботами или что-то наподобие, а Джон возражал, говорил, что этого не может случиться, поскольку роботы не могут быть сознательными.
Пока я слышал такие толки раньше, я всегда полагал, что чувствую-щие роботы относятся к сфере научной фантастики. Но теперь от некоторых уважаемых мною людей я услышал веский аргумент в пользу того, что такие роботы являются делом близкого будущего. Я был ошеломлён, особенно если учесть подтверждённую способность Рэя воображать и создавать буду-щее. Я уже знал, что новые технологии, вроде генной инженерии и нанотех-нологии, дают нам власть переделать мир, но реалистичный и близкий сце-нарий создания разумных роботов поразил меня.
От таких открытий я чувствую себя больным. Мы едва ли не каждый день слышим в новостях про тот или иной технический или научный успех. Но это было совершенно неординарное предсказание. В гостиничном баре Рэй дал мне часть своей готовящейся к выходу в свет книги "Век духовных машин" . Эта книга намечает в общих чертах утопию, которую он предвидит – утопию, в которой люди, "смертные", достигают почти бессмертия путём становления единым целым с робототехнической технологией. От чтения данной книги моё чувство тревоги только усилилось; я был уверен, что он преуменьшал опасности, преуменьшал вероятность плохого исхода при сле-довании по этой тропе.
Больше всего меня обеспокоил отрывок, подробно описывающий антиутопический сценарий:         



               Вызов нового луддита 

«Сперва давайте примем без доказательства, что компьютерщики преуспеют в совершенствовании разумных машин, которые всё смогут де-лать лучше, чем люди. В этом случае, по-видимому, вся работа будет де-латься многочисленными высокоорганизованными системами машин и не нужны будут никакие людские усилия. Может произойти одно из двух. Либо машинам может быть разрешено делать всё, что они сочтут нужным, без человеческого за ними присмотра, либо человеческий контроль над машина-ми может быть сохранён.
Если машинам дана полная свобода в осуществлении их собствен-ных решений, то невозможно сказать, к чему это приведёт, поскольку не-возможно угадать, как такие машины могут себя вести. Мы только ука-жем, что гибель рода человеческого была бы во власти машин. Будет ли человечество когда-нибудь столь безрассудно, что передаст всю власть машинам, или же никогда не будет – спорный вопрос. Но мы не намекаем ни на то, что человечество добровольно передаст власть машинам, ни на то, что машины умышленно захватят власть. На что мы намекаем – так это на то, что человечество легко может позволить себе скатиться до положения такой зависимости от машин, что уже не будет никакого практического выбора, кроме как полного принятия всех машинных решений. В то время как общество и проблемы, с которыми оно сталкивается, будут становиться всё более и более сложными и всё более и более интеллектуальными будут становиться машины, люди будут позволять машинам принимать за них больше решений, просто потому, что решения, выработанные машинами, будут приводить к лучшим результатам, чем решения, принятые людьми. В конце концов может быть достигнута ступень, когда решения, необходимые для поддержания системы в рабочем состоянии, будут таки-ми сложными, что люди будут неспособны к разумной выработке этих ре-шений. На этой ступени фактически распоряжаться будут машины. Люди просто не смогут выключить машины, потому что они будут столь зави-симы от них, что их выключение равнялось бы самоубийству.
С другой стороны, возможно, что человеческий контроль над ма-шинами может быть сохранён. В этом случае средний человек может управлять некоторыми своими личными машинами, такими, как автомобиль или персональный компьютер, но контроль над крупными системами машин будет в руках крохотной элиты – совсем как сейчас, но с двумя различиями. Благодаря усовершенствованной технике элита будет иметь больший контроль над массами, а поскольку человеческий труд будет больше не нужен, массы будут излишними, бесполезным бременем для системы. Если элита безжалостна, она может просто принять решение истребить людскую массу. Если же она гуманна, то она может использовать пропа-ганду или иные психологические или биологические способы для сокращения уровня рождаемости, до тех пор, пока людская масса не вымрет, освободив мир для элиты. Или, если элита состоит из мягкосердечных либералов, она может решить сыграть роль доброго пастыря для остального человечест-ва. Они будут присматривать, чтобы физические потребности каждого были удовлетворены, чтобы все дети воспитывались в психологически здо-ровых условиях, чтобы каждый человек не бездельничал, а имел полезное занятие по душе и чтобы всякий, кто мог стать недовольным, подвергался "лечению" для того, чтобы исцелить его "трудный случай". Конечно, жизнь будет настолько бесцельной, что людей придётся биологически или психологически перестроить: либо устранить их потребность в процессе власти , либо заставить их "сублимировать" своё побуждение к власти в некоторое безобидное хобби. Эти спроектированные люди могут быть счастливы в таком обществе, но они совершенно определённо не будут свободны. Они будут приведены к статусу домашних животных ».
В книге, пока вы не перевернете страницу, вы не обнаружите, что автором этого отрывка является Теодор Качински – Унабомбер . Я не аполо-гет Качински. В течение 17-летней кампании террора его бомбы убили троих людей и многих поранили. Одна из его бомб тяжело поранила моего друга Дэвида Гелернтера, одного из самых выдающихся компьютерщиков и провидцев нашего времени. Подобно многим моим коллегам, я чувствовал, что следующей мишенью Унабомбера запросто мог быть я.
Качински действовал кровожадно и, по моему мнению, невменяемо. Он несомненно является луддитом, но простое указание этого факта не от-клоняет его аргументацию; как ни тяжело мне было это сознавать, я видел некоторое достоинство в рассуждениях, изложенных в этом единственном отрывке. Я чувствовал необходимость противостоять им.
Антиутопическое предвидение Качински описывает непреднамерен-ные последствия пресловутой проблемы проектирования технологии и её использования, а также проблемы, которая имеет очевидное отношение к закону Мэрфи – "Всё, что может сломаться, сломается". (Фактически это закон Жулика , который сам по себе показывает, что Жулик был прав.) Наше чрезмерное использование антибиотиков привело к тому, что до сих пор является, быть может, наибольшей такой проблемой: появление бактерий, устойчивых к антибиотикам и гораздо более опасных. Нечто подобное произошло, когда попытки ликвидировать малярийных комаров с использованием ДДТ вызвали у них устойчивость к этому препарату; более того, малярийные паразиты приобрели гены мультимедикаментозной устойчивости .
Причина многих таких неожиданностей кажется понятной: задейст-вованные системы сложны, они включают в себя взаимодействие и обратные связи между множеством частей. Всякие изменения такой системы будут каскадно ниспадать путями, которые трудно предсказать; это особенно вер-но, когда задействована человеческая деятельность.
Я начал показывать друзьям цитату Качински из книги "Век духов-ных машин"; я обычно вручал им курцвейловскую книгу, давал им прочитать цитату, а потом наблюдал их реакцию, когда они обнаруживали, кто её написал. Приблизительно в то же время я нашёл книгу Ганса Моравека "Робот: просто машина для превосходящего разума" . Моравек является одним из лидеров исследований в робототехнике и основателем крупнейшей в мире робототехнической исследовательской программы при университете Карнеги Меллона. "Робот" дал мне больше материала для проб на моих друзьях – материала, удивительно подкрепляющего аргументацию Качински. Например:

Короткий бег (ранние 2000-е)

«Биологические виды почти никогда не переживали столкновений с превосходящими конкурентами. Десять миллионов лет назад Южная и Се-верная Америки были разделены затопленным Панамским перешейком. Южная Америка, подобно Австралии в наши дни, была населена сумчатыми млекопитающими, включая сумчатых эквивалентов крыс, оленей и тигров. Когда же перешеек, соединяющий Северную и Южную Америки, поднялся, северным плацентарным видам со слегка более эффективными метаболиз-мами, а также репродуктивной и нервной системами, понадобилось всего лишь несколько тысяч лет для того, чтобы вытеснить и ликвидировать почти всех южных сумчатых.
В совершенно свободном рыночном пространстве превосходящие человека роботы, несомненно, воздействовали бы на людей так же, как се-вероамериканские плацентарные воздействовали на южноамериканских сумчатых (и как люди повоздействовали на бесчисленное множество видов). Робототехнические промышленности сильно конкурировали бы между со-бой за материю, энергию и пространство, устанавливая, между прочим, цены на них выше тех, которые достижимы для человека. Будучи не в со-стоянии позволить себе предметы первой необходимости и необходимые условия жизни, биологические люди оказались бы выдавленными за пределы бытия.
Вероятно, имеется некоторая светлая возможность, так как мы живём не в абсолютно свободном рыночном пространстве. Правительство принуждает к нерыночному поведению, главным образом, через собирание налогов. Если правительственные принуждения применять рассудительно, то они смогут поддерживать человеческое население в роскошном стиле на плодах работы роботов, возможно, в течение длительного промежутка времени».
Учебник антиутопии – а Моравеку удалось именно это. Моравек идёт дальше, обсуждая, как наша основная работа в 21-м веке будет "обеспечивать непрерывное сотрудничество для защиты от промышленностей роботов" путём принятия законов, которые приказывают роботам быть "любезными" , а также он описывает, насколько серьёзно опасным может быть человек, "однажды превращённый в неограниченного сверхразумного робота". Мнение Моравека состоит в том, что со временем роботы нас сменят – что люди несомненно стоят лицом к вымиранию.
Я решил, что пришло время поговорить с моим другом Дэнни Хил-лисом . Дэнни стал знаменит как соучредитель корпорации "Думающие Машины", которая строила очень мощный параллельный суперкомпьютер. Несмотря на моё теперешнее звание главного учёного в "Sun Microsystems", я больше компьютерный архитектор, чем учёный, и я уважаю знания Дэнни в области информационных и естественных наук больше, чем знания какого-либо известного мне человека. Дэнни также считается крупным футуристом, думающим долгосрочно, – четыре года назад он основал фонд "Долгосроч-ное Настоящее" , который строит часы, предназначенные для последних 10000 лет, в качестве попытки привлечь внимание к ничтожно короткому сроку существования нашего общества. (См. "Испытание Времени" ("Test of Time"), журнал "Wired" 8.03, стр. 78.)
Итак, я летел в Лос-Анджелес с определённой целью: отобедать с Дэнни и его женой, Пэйти. Я проходил эту семейную процедуру, щеголяя идеями и отрывками, которые я счёл столь волнующими. Ответ Дэнни – на-правленный специально на сценарий Курцвейла о слиянии людей с роботами – пришёл быстро и совершенно меня поразил. Он сказал просто, что изменения придут постепенно, и что мы к ним привыкнем.
Впрочем, я полагаю, что абсолютно удивлён я не был. В книге Кур-звейла я видел цитату Дэнни, в которой он говорит: "Я также люблю своё тело, как и всякий другой, но если я смогу жить 200 лет с кремниевым телом, я приму его". Похоже, он был в мире с этим процессом и сопровождающим его риском. А я – не был.
Во время разговора и размышления о Курзвейле, Качински и о Мо-равеке, я вдруг вспомнил роман, который я читал почти 20 лет назад – "Белая Чума" Герберта Фрэнка. В этом романе молекулярный биолог, семью которого зверски убили, помешался. Чтобы отомстить, он конструирует и распространяет новую и очень заразную моровую язву, которая убивает широко, но избирательно. (Нам повезло, что Качински был математиком, а не молекулярным биологом.) Мне вспомнился также Борг из "Звёздного пути", рой частично биологических, частично робототехнических созданий с выраженными разрушительными наклонностями. Бедствия, подобные Боргу, являются главным элементом научной фантастики, так почему же я недостаточно беспокоился о таких робототехнических антиутопиях раньше? Почему другие люди недостаточно беспокоились об этих кошмарных сценариях?
Часть ответа состоит в том, что мы склонны к безоговорочному одобрению всего нового. Привыкнув жить с почти шаблонными научными открытиями, нам всё же придётся столкнуться с фактом, что наиболее неот-разимые технологии 21-го века – робототехника, генная инженерия и нано-технология – ставят угрозу, отличную от той, которую ставили прежние тех-нологии. А именно, роботы, спроектированные организмы и нанороботы разделяют опасный усиливающий фактор: они могут самовоспроизводиться. Бомба взрывается лишь однажды – а один робот или наноробот может стать множеством роботов и быстро выйти из-под контроля.
Последние 25 лет я много работал над организацией компьютерных сетей, где отправление и получение сообщений создавало благоприятную возможность для бесконтрольного размножения. Но если размножение в компьютере или в компьютерной сети может быть лишь досадой, на худой конец, оно выводит из строя машину или дезорганизует сеть и/или сетевые службы, то неконтролируемое саморазмножение в этих новых технологиях порождает гораздо больший риск: риск вещественного повреждения в физи-ческом мире.
Каждая из этих технологий предлагает также несказанные перспек-тивы: мечта о почти бессмертии, которую видит Курцвейл в своих робото-технических грёзах, движет нас вперёд; генная инженерия вскоре может дать лекарства если и не от всех болезней, то от многих, а нанотехнология с на-номедициной могут поправить ещё больше несчастий. Сообща они могли бы значительно продлить среднюю продолжительность нашей жизни и улуч-шить качество наших жизней. Однако ряд продвижений в этих технологиях мало-помалу ведёт к накоплению огромной силы и вместе с тем огромной опасности.
Что было отличительного в 20-м веке? Конечно, технологии, лежа-щие в основе оружий массового уничтожения – ядерного, биологического и химического (ЯБХ) – были сильны и являлись оружиями огромной угрозы. Но создание ядерного оружия требовало, хотя бы на время, доступа как к редкому – действительно недоступному – сырью, так и к хорошо защищён-ной информации; программы биологического и химического оружия также были склонны требовать крупномасштабной деятельности.
Эти технологии 21-го века – генетика, нанотехнология и робототех-ника (ГНР) – настолько могущественны, что они могут породить совершенно новые виды катастроф и злоупотреблений. Наиболее опасным является то, что впервые за всю историю эти катастрофы и злоупотребления станут по плечу частным лицам и небольшим группам. Для этого не потребуется ни крупное оборудование, ни редкое сырье; достаточно будет одних лишь зна-ний.
Таким образом, мы имеем возможность не просто оружия массового уничтожения, а возможность знаний массового уничтожения (ЗМУ); эта раз-рушительная способность весьма расширена силой саморазмножения.
Думаю, можно без преувеличения сказать, что мы живём накануне дальнейшего совершенствования чрезвычайного зла – зла, чьи возможности простираются далеко за пределы мощи государств-наций с их оружием мас-сового уничтожения, наделяя поразительной и жуткой властью индивиду-альных экстремистов. Хотя я и занимался компьютерами, я не видел вокруг никаких намёков на то, что мне придётся столкнуться с проблемами такого рода.
Моя жизнь движима глубокой потребностью задавать вопросы и на-ходить ответы. Когда мне было 3 года, я уже умел читать, так что мой папа взял меня в начальную школу, где я познавал первые азы и читал ему рассказы. В школу я пошёл рано, потом перескочил через класс и погрузился в книги – у меня была невероятная тяга к знаниям. Я задавал много вопросов, часто доводя взрослых до раздражения.
Когда я был подростком, я очень интересовался наукой и техникой. Я хотел быть радистом-радиолюбителем, но не имел денег на покупку обо-рудования. Любительское радиовещание было Интернетом того времени: очень притягательно и полностью уединённо. Однако дело было не столько в отсутствии денег, сколько в том, что моя мама была решительно против моего желания стать радиолюбителем; я и без того уже был довольно необщителен.
Может быть я и не имел многих близких друзей, но зато я был обу-реваем идеями. В средней школе я открыл великих писателей-фантастов. Я особенно хорошо помню Хайнлайновское  "Надень скафандр и путешест-вуй" и "Я, робот" Азимова  с его тремя законами робототехники. Я был за-чарован описаниями космического путешествия и хотел иметь телескоп, чтобы смотреть на звёзды; так как у меня не было денег чтобы купить или изготовить его, я вместо этого проверял библиотечные книги по телескопо-строению и читал про их изготовление. Я высоко парил в своём воображе-нии.
В четверг вечером мои родители ушли играть в шары и мы, дети, ос-тались дома одни. В эту ночь я прочитал самобытное произведение Джина Родденбери  "Звёздный путь" и план произвел на меня большое впечатле-ние. Я принял идею того, что будущее человечество будет жить в западном стиле, в космосе, что будут крупные герои и приключения. Родденбери пред-ставлял грядущие столетия со строгими моральными ценностями, вопло-щёнными в кодексах, подобных Главной Директиве: не вмешиваться в эволюцию технологически менее развитых цивилизаций. Для меня это было невероятно привлекательно: нравственные люди, а отнюдь не роботы, господствовали в будущем, и родденберивские мечты стали частью моих собственных.
В средней школе я выделялся по математике, а когда я поступил в мичиганский университет в качестве студента технической специальности, я взял углублённый курс высшей математики. Решение математических задач было возбуждающим вызовом, но когда я открыл для себя компьютер, я на-шёл нечто гораздо более интересное: машину, в которую можно заложить программу, пытающуюся решить задачу, после чего машина быстро прове-рит решение. Компьютеры имеют ясное понятие о правильности и непра-вильности, об истине и лжи. Были мои представления правильны? Машина могла сказать мне. Это было очень соблазнительно.
Я был счастлив получить работу по программированию ранних су-перкомпьютеров и открыл поразительную силу больших машин с помощью чисел моделировать сложные конструкции. Когда в середине 70-х я собирал-ся заканчивать училище при университете в Беркли, я стал засиживаться допоздна, порой всю ночь напролёт, изобретая новые миры внутри машин. Решение задач. Написание строгого кода.
Ирвинг Стоун в биографическом романе про Микеланджело "Стра-дание и экстаз"  ярко описывает, как Микеланджело высвобождал изваяния из камня, "разбивая мраморные чары", высекая образы своего ума . В мои наиболее восторженные моменты так же вот возникали и компьютерные программы. Однажды вообразив программу в своём уме, я уже чувствовал, что она находится внутри машины, ожидая, когда её высвободят. Бодрство-вание всю ночь казалось небольшой ценой за то, чтобы освободить её – при-дать идеям реальную форму.
Через несколько лет я начал выпускать в Беркли некоторые из соз-данных мною программ: учебную паскалевскую систему, служебные про-граммы для "Unix" и текстовый редактор, именуемый "vi" (который, к моему удивлению, широко применяется до сих пор, спустя более чем 20 лет). Этими программами могли пользоваться люди, имевшие небольшие мини-ЭВМ, подобные "PDP-11" или "VAX". Эти рискованные предприятия в конечном счёте вылились в берклийскую версию операционной системы "Unix", кото-рая стала личным "бедствием успеха" – её хотело так много людей, что я так и не закончил мою докторскую диссертацию по философии. Вместо этого я получил задание для работы на агентство перспективных исследований ми-нистерства обороны США. Работа состояла в приспособлении берклийской версии "Unix" под Интернет и в её исправлении с целью повысить надёж-ность и оптимизировать для выполнения больших научно-исследовательских программ. Всё это было очень забавно и весьма стояще. И, откровенно говоря, я не видел никаких роботов ни здесь, ни где-либо поблизости.
В начале 80-х я был ещё незаметным. Выпуск в продажу "Unix" шёл очень успешно, и этот мой маленький проект вскоре стал иметь и деньги, и некоторый штат служащих, но проблемой в Беркли всегда была нехватка помещений, а не отсутствие денег – не было комнаты для предоставления её проекту, который в ней нуждался, так что когда объявились другие учреди-тели "Sun Microsystems", я ухватился за шанс к ним присоединиться. В "Sun" многие часы проходили за работой на ранних моделях рабочих станций и персональных компьютеров, и я насладился участием в создании передовых микропроцессорных и интернет-технологий, таких, как "Java" и "Jini".
После всего сказанного, я полагаю, ясно, что я не луддит. Я всегда имел весьма твердую веру в ценность научных поисков истины и в способ-ность могучей техники принести материальный прогресс. За последнюю пару столетий промышленная революция неизмеримо улучшила жизнь каждого из нас, и я всегда желал посвятить себя решению стоящих проблем.
Я не разочаровался. Моя работа имела большее влияние, чем я ко-гда-либо надеялся, а широта её использования превзошла все мои ожидания. Я потратил последние 20 лет, всё пробуя разгадать, как сделать компьютеры столь надёжными, как мне того хочется (они пока и близко не подошли к этому) и как сделать их простыми в использовании (задача, которая решена в ещё меньшей степени). Несмотря на некоторый прогресс, остающиеся про-блемы выглядят даже более обескураживающими.
Хотя я сознавал моральную дилемму, окружающую последствия технологий в областях типа оружейных исследований, я не ожидал, что ли-цом к лицу столкнусь с такими проблемами в моей собственной области, или, по крайней мере, я не думал, что это случится так скоро.
Может быть, всегда трудно видеть более крупные коллизии, пока находишься в вихре событий. Неспособность понять последствия наших изобретений, пока мы пребываем в восторге от открытия и новаторства, представляется общим недостатком учёных и технологов; нами долго прави-ла всё покрывающая страсть знать, которая, собственно, и составляет природу научного поиска, и мы не останавливались для того, чтобы заметить, что продвижение к более новым и более могущественным технологиям может обернуться против нас самих.
Я давно обнаружил, что крупные продвижения в информационных технологиях происходят не от работы компьютерщиков, компьютерных ар-хитекторов или электронщиков, а от работы учёных-физиков. В начале 80-х годов физики Стефан Вольфрам  и Бросль Хэсслэчер (Brosl Hasslacher) ввели меня в теорию хаоса и в нелинейные системы. В 1990-х я узнавал о сложных системах из разговоров с Дэнни Хиллисом, с биологом Стюартом Коффманом (Stuart Kauffman), с физиком, лауреатом Нобелевской премии, Мурри Геллманном (Murray Gell-Mann) и с другими. Совсем недавно Хэсслэчер с электронщиком и физиком Марком Ридом (Mark Reed) дали мне понимание потрясающих возможностей молекулярной электроники.
В моей собственной работе, как соразработчик трёх микропроцес-сорных архитектур – "SPARC", "picoJava" и "MAJC" – и как разработчик не-скольких их реализаций, я имел возможность основательно и из первых рук познакомиться с законом Мура . В течение десятилетий закон Мура кор-ректно предсказывал экспоненциальный рост совершенствования полупро-водниковой техники. До прошлого года я полагал, что темп продвижений, предсказываемый законом Мура, может продолжаться только до приблизи-тельно 2010-го года, когда будут достигнуты некоторые физические преде-лы. Мне не было очевидным, что новая технология будет прибывать вовремя для того, чтобы гладко поддерживать повышение производительности.
Но вследствие недавнего быстрого и коренного прогресса в молеку-лярной электронике – где отдельные атомы и молекулы заменяют литогра-фически начерченные транзисторы – а также в родственных наноразмерных технологиях, мы будем способны в течение ещё 30-и лет удовлетворять или даже превысить темпы прогресса, предписываемые законом Мура. К 2030-му году мы, вероятно, будем способны в большом количестве строить машины, в миллион раз более мощные, чем сегодняшние персональные компьютеры – машины, достаточные для осуществления грёз Курцвейла и Моравека.
Когда эта огромная вычислительная мощность будет объединена с ключевыми достижениями естественных наук и с новыми, глубокими пони-маниями генетики, огромная преобразующая сила будет спущена с привязи. Эти сочетания делают доступной возможность совершенно перестроить мир, к лучшему или к худшему: процессы воспроизводства и эволюции, которые в естественном мире ограничены, собираются стать сферой человеческого старания.
При разработке программ и микропроцессоров у меня никогда не было чувства, что я конструирую разумную машину. Программные и аппа-ратные средства настолько слабы и потенциальные возможности машины "думать" с такой степенью ясности отсутствуют, что, даже в виде возможно-сти, это всегда казалось делом очень далёкого будущего.
Но теперь, с перспективой появления вычислительной мощности че-ловеческого уровня приблизительно через 30 лет, новая мысль напрашивает-ся сама собой: что я, быть может, работаю над созданием инструментов, которые облегчат построение технологии, которая может заместить человеческий род. Как я себя в связи с этим чувствую? Очень неуютно. В течение всей своей профессиональной деятельности я прилагал усилия к построению надёжных программных систем, и мне кажется более чем вероятным, что это будущее не будет таким успешным, как представляется некоторым. Мой личный опыт подсказывает мне, что мы склонны переоценивать наши конструкторские способности.
Учитывая потрясающую силу этих новых технологий, не следует ли нам спросить самих себя, как мы будем с этими технологиями сосущество-вать? И если наше вымирание является вероятным, или даже возможным, исходом нашего технологического роста, то не следует ли нам действовать с великой осторожностью?
Первая мечта робототехники состоит в том, что разумные машины смогут делать нашу работу за нас, позволяя нам жить досугом, возвращая нас в Эдем. Всё же в своей истории таких идей, "Дарвин среди машин", Джордж Дайсон предостерегает: "В игре жизни и эволюции за столом сидят три игрока: люди, природа и машины. Я твёрдо на стороне природы. Но природа, я полагаю, на стороне машин." Моравек, как мы видели, с этим соглашается, полагая, что мы вполне можем не пережить столкновения с превосходящей нас породой роботов.
Как скоро могут быть построены такие разумные роботы? Представ-ляется, что предстоящий прогресс в вычислительной мощности сделает это возможным к 2030-му году. А как только разумный робот будет сделан, до породы роботов – до разумных роботов, которые могут делать развёрнутые копии самих себя – останется только небольшой шаг.
Вторая мечта робототехники состоит в том, что мы будем постепен-но замещать самих себя нашей робототехнической технологией, достигая почти бессмертия путём загрузки наших сознаний в машину подобно ком-пьютерным программам; это тот самый процесс, про который Дэнни Хиллис думает, что мы к нему постепенно привыкнем и который изящно и подробно описывает Рэй Курцвейл в "Веке духовных машин". (Мы начинаем видеть намёки на это во вживлении компьютерных устройств внутрь человеческого тела, как это было проиллюстрировано на обложке журнала "Wired" 8.02.)
Но если мы будем загружаться в нашу технологию подобно про-граммам, то где гарантия того, что после этого мы будем самими собой или даже людьми? Мне представляется гораздо более вероятным, что робототехническое существование ни в каком подразумеваемом смысле не будет подобно человеческому существованию, что роботы ни в каком отношении не будут нашими детьми и что на этой тропе наша человеческая природа может быть полностью утрачена.
Генная инженерия обещает произвести коренной переворот в сель-ском хозяйстве за счёт повышения урожайности с одновременным сокраще-нием использования пестицидов; обещает создать десятки тысяч новых ви-дов бактерий, растений, вирусов и животных; заменить или дополнить вос-производство клонированием; создать лекарства от многих болезней, про-длить нашу жизнь и улучшить её качество; и многое, многое другое. Мы те-перь со всей определённостью знаем, что эти глубокие изменения в биологи-ческих науках уже близки и что они бросят вызов всем нашим представлени-ям о том, что такое жизнь.
Такие технологии, как клонирование человека, вызвали, в частности, осознание глубоких этических и моральных проблем, с которыми мы столк-нёмся. Если, к примеру, мы должны были бы перепроектировать самих себя в несколько отдельных и неравноценных видов с помощью генной инженерии, то мы угрожали бы понятию равенства, которое является настоящим краеугольным камнем нашей демократии.
Учитывая невероятную мощь генной инженерии, нет ничего удиви-тельного в том, что в её применении имеются значительные проблемы безо-пасности. Недавно мой друг Эймори Ловинс вместе с Хантер Ловинс  напи-сали передовую статью, которая даёт экологический обзор некоторых из этих опасностей. Кроме прочего, они обеспокоены тем, что "новая ботаника придерживается совершенствования растений с точки зрения их экономиче-ской, а не эволюционной, состоятельности". (См. "Повесть двух ботаник", стр. 247 ) В течение своей длительной профессиональной деятельности Эй-мори сосредотачивался на энергетической и ресурсной эффективности путём целостного системного взгляда на системы, созданные человеком; такой целостный системный подход часто находит простые и остроумные решения трудных на вид проблем; этот подход он с успехом и применяет в своей статье.
После прочтения статьи Ловинсов, я увидел критическую заметку Грегга Истербрука  в "Нью-Йорк Таймс" (за 19-е ноября 1999-го года) про генетически модифицированные культуры, под заголовком: "Пища для бу-дущего: когда-нибудь рис будет иметь встроенный витамин "A". Если не победят луддиты".
Являются ли Эймори и Хантер Ловинс луддитами? Конечно нет. Я полагаю, что все мы согласились бы с тем, что золотой рис со встроенным витамином "A" является, вероятно, вещью хорошей, если он усовершенство-ван с должной тщательностью и с учётом вероятных опасностей в переме-щении генов через границы видов.
Осознание опасностей, присущих генной инженерии, начинает рас-ти, что нашло своё отражение в передовой статье Ловинсов. Общественность эти опасности сознаёт, беспокоится о генетически модифицированных про-дуктах питания и, кажется, отвергает мнение о том, что следует разрешить не ставить специальную пометку на таких продуктах.
Но генно-инженерная технология продвинулась уже очень далеко. Как отмечают Ловинсы, министерство сельского хозяйства США уже одоб-рило приблизительно 50 генетически модифицированных культур к неогра-ниченной продаже; свыше половины соевых бобов мира и треть мировых культур содержат теперь в себе встроенные гены, взятые от других форм жизни.
Хотя здесь много значительных проблем, моё главное беспокойство по поводу генной инженерии узко ограничено: что она даёт возможность – в военных ли целях, случайно ли или же в качестве умышленного террористи-ческого акта – создать Белую Чуму.
Многие чудеса нанотехнологии впервые были представлены физи-ком, лауреатом Нобелевской премии, Ричардом Фейнманом  в речи, с кото-рой он выступил в 1959-м году. Впоследствии эта речь была опубликована под заголовком "На дне много места". Книгой, которая в середине 80-х годов произвела на меня большое впечатление, была книга Эрика Дрекслера "Ма-шины созидания" . В ней он красиво описал, как манипуляция материей на атомном уровне может создать утопический мир изобилия, где чуть ли не всё может быть создано дёшево и почти все мыслимые болезни или физические проблемы могут быть решены с помощью нанотехнологии и искусственного интеллекта.
Последующая книга, "Освобождение будущего: нанотехнологиче-ская революция" , соавтором которой является Дрекслер, представляет не-которые из изменений, которые могут случиться в мире, где мы будем иметь молекулярных "сборщиков" . Сборщики могут сделать возможным неверо-ятно дешёвую солнечную энергию; лекарства от рака и от обыкновенной простуды путём наращивания иммунной системы человека; по существу полную очистку окружающей среды; невероятно дешёвые карманные супер-компьютеры – по сути, любое изделие могло бы быть изготовлено сборщи-ками по цене, не превосходящей стоимости древесины – космические полё-ты, более доступные по цене, чем трансокеанические путешествия сегодня и восстановление вымерших видов.
Помнится, после прочтения "Машин созидания" я испытывал доб-рые чувства к нанотехнологии. Как технологу, эта книга дала мне ощущение спокойствия, то есть нанотехнология показывает нам, что неслыханный про-гресс возможен, а похоже, что даже и неизбежен. Если нанотехнология явля-ется нашим будущим, то я не чувствую настоятельной необходимости ре-шать так много задач в настоящем. Я достиг бы дрекслеровского утопиче-ского будущего в должное время; к тому же, я мог бы полнее наслаждаться жизнью здесь и сейчас. Учитывая его видение, не было смысла не спать всю ночь, всё время.
Дрекслеровское видение приводило также к множеству хороших шуток. Я порой начинал описывать чудеса нанотехнологии людям, которые о ней не слышали. После их раздразнивания всеми теми вещами, которые описывает Дрекслер, я, бывало, давал моё собственное домашнее задание: "Используйте нанотехнологию для создания вампира-вымогателя ; чтобы сделать противоядие от висящих долгов".
Вместе с этими чудесами пришли ясные угрозы, которые я остро сознавал. Как я сказал на нанотехнологической конференции в 1989 году, "мы не можем просто делать нашу науку и не беспокоиться об этих этиче-ских проблемах" . Однако мои последующие беседы с физиками убедили меня, что нанотехнология может даже и не заработать, или, по крайней мере, она не заработает слишком уж скоро. Вскоре после этого я переехал в Коло-радо, к скунсовым работам , которые я основал, и центр моей работы пере-местился на программное обеспечение для Интернета, а именно, на идеи, которые превратились в "Java" и "Jini".
Потом, прошлым летом, Бросль Хэсслэчер (Brosl Hasslacher) сказал мне, что наноразмерная молекулярная электроника является теперь реально-стью. Это была новая новость, по крайней мере, для меня и, я думаю, для многих других людей – и она коренным образом изменила мой взгляд на нанотехнологию. Я снова взял в руки книгу Дрекслера "Машины созидания". Заново перечитав её после более чем 10-и лет, я ужаснулся, поняв, как мало я запомнил из её очень длинного раздела, называющегося "Опасности и надежды", включающего обсуждение того, как нанотехнологии могут стать "машинами разрушения". В самом деле, прочитав этот предупреждающий материал сегодня, я был поражён, до чего наивными выглядели некоторые из предложенных Дрекслером мер предосторожности, и насколько лучше я оцениваю эти опасности сейчас, чем даже он их себе представлял в то время. (Предвосхитив и описав многие технические и политические проблемы с нанотехнологией, Дрекслер в конце 1980-х основал "Институт предвиде-ния" , "чтобы помочь обществу подготовиться к ожидаемым передовым технологиям" – главным образом, к нанотехнологии.)
Представляется вполне вероятным, что крупные достижения в раз-работке сборщиков могут произойти в течение ближайших 20-и лет. Моле-кулярная электроника – новый подраздел нанотехнологии, где отдельные молекулы являются схемными элементами – должна быстро созреть и стать чрезвычайно прибыльной в течение этого десятилетия, вызвав большой при-ток инвестиций во все нанотехнологии.
К сожалению, подобно тому, как это имеет место для ядерной техно-логии, гораздо легче применять нанотехнологию для разрушения, чем для созидания. Нанотехнология имеет ясное военное и террористическое упот-ребление, и вовсе не нужно быть самоубийцей для того, чтобы в большом количестве выпустить на волю разрушающие нанотехнологические устрой-ства – такие устройства могут быть сделаны так, что они будут разрушать избирательно, затрагивая, например, только определённые географические зоны или только генетически определённые группы людей.
Непосредственным следствием Фаустовской сделки для получения огромной силы нанотехнологии является то, что мы подвергнемся серьёзно-му риску – риску, что мы можем разрушить биосферу, от которой зависит вся жизнь.
Как объяснял Дрекслер:
«"Растения" с "листьями", которые нисколько не эффективнее се-годняшних солнечных батарей, могут в процессе конкуренции вытеснить настоящие растения, битком набивая биосферу несъедобной листвой. Стойкие всеядные "бактерии" могут вытеснить в процессе конкуренции настоящие бактерии; они могут распространяться подобно развевающейся пыльце, размножаться быстро и превратить биосферу в прах за считанные дни. Опасные репликаторы легко могут оказаться слишком стойкими, мел-кими и быстро распространяющимися для того, чтобы их можно было ос-тановить – по крайней мере, если мы никак не подготовились. Мы имеем довольно хлопот, контролируя вирусы и плодовых вредителей».
Среди знатоков нанотехнологии эта угроза стала известна как "про-блема серой слизи" . Хотя массы неуправляемых репликаторов не обяза-тельно должны быть серыми или липкими, термин "серая слизь" подчёркива-ет, что репликаторы способны уничтожить жизнь, при это будучи ещё менее вдохновляющими, чем какой-нибудь вид ползучего сорняка. Они могут пре-восходить в эволюционном смысле, но это не обязательно делает их полез-ными.
Угроза серой слизи делает совершенно ясным одно: мы не можем позволять себе определённого рода случайностей с размножающимися сборщиками.
Серая слизь была бы, конечно, унылым окончанием наших челове-ческих приключений на Земле; окончанием, гораздо более худшим, чем про-сто огонь или лёд. И это может произойти от простой лабораторной случай-ности .
Прежде всего именно из-за силы разрушительного саморазмножения в генетике, нанотехнологии и робототехнике (ГНР) мы должны призадумать-ся. Саморазмножение является образом действия в генной инженерии, кото-рая использует клеточные механизмы для тиражирования своих конструк-ций, но главная опасность, лежащая в основе серой слизи, заключается в нанотехнологии. В наших научно-фантастических книгах и кино широко укоренились истории о неистовствующих роботах, вроде Борга, которые воспроизводятся или видоизменяются, чтобы отделаться от нравственной скованности, наложенной на них их создателями. Возможно даже, что процесс самовоспроизведения более фундаментален, чем мы думали и, следовательно, его труднее – или даже невозможно – контролировать. Недавняя статья Стюарта Коффмана в журнале "Природа" ("Nature"), озаглавленная "Самовоспроизводство: даже пептиды это делают" (36) обсуждает открытие того, что 32-аминокислотный пептид может "автокатализировать свой собственный синтез". Мы не знаем, как широко распространена эта способность, но Коффман замечает, что это может подсказать "путь к самовоспроизводящимся молекулярным системам на базе, гораздо более широкой, чем спаривание оснований по Уотсону и Крику ".
Поистине, мы получили на годы вперёд ясные предостережения об опасностях, присущих широкому распространению знаний о ГНР-технологиях – о способности одних лишь знаний создать возможность мас-сового уничтожения. Но эти предостережения не были широко оглашены; публичные дискуссии были явно недостаточными. В оповещении об опасно-стях нет никакой выгоды.
Ядерная, биологическая и химическая (ЯБХ) технологии, применяе-мые в оружии массового уничтожения 20-го века, были и есть в значитель-ной степени технологии военные, развиваемые в правительственных лабора-ториях. ГНР-технологии 21-го века в этом плане резко отличаются: они имеют ясные коммерческие применения и развиваются почти исключительно корпоративным предпринимательством. В этот век торжествующего тор-гашеского духа технология – с наукой в качестве своей служанки – поставляет ряд почти волшебных изобретений, которые по своей прибыльности превосходят всё виденное раньше. Мы настойчиво гонимся за перспективами этих новых технологий в рамках неоспариваемой сейчас системы мирового капитализма с его многочисленными денежными стимулами и давлением конкуренции.
Это первый момент в истории нашей планеты, когда какой-либо биологический вид, по своему произволению, стал опасностью для самого себя, а заодно и для обширного множества других видов.
Это может быть обычной последовательностью, случающейся во многих мирах – планета, недавно образовавшаяся, безмятежно вращается вокруг своей звезды; жизнь медленно формируется; эволюционирует калей-доскопическая вереница живых существ; появляется разум, который, по крайней мере, до какого-то момента, даёт огромный потенциал выживания, а затем изобретается техника. Им становится ясным, что существуют такие вещи, как законы природы, что эти законы можно открыть с помощью экс-перимента и что знание этих законов можно направить как на спасение, так и на отнятие жизней, причём в беспрецедентном масштабе. Они обнаружива-ют, что наука даёт необъятную силу. В очень короткий отрезок времени они изобретают нечто, способное переделать мир. Одни планетные цивилизации осознают последствия, полагают пределы тому, что можно и что нельзя де-лать, и благополучно минуют время опасностей. Другие, не столь удачные или не такие благоразумные, погибают.
Это написал в 1994-м году Карл Саган в своей книге "Бледно-голубое пятнышко" , где он изложил своё видение человеческого будущего в космосе. Только теперь я понимаю, как глубока была его проницательность, и как тяжко, что я не слышу и не услышу его голос. Несмотря на всё своё красноречие, статья Сагана не лишена простого здравого смысла – свойства, которого, вместе со скромностью, многим из ведущих сторонников этих технологий 21-го века, похоже, недостаёт.
Из своего детства я помню, что моя бабушка была строго против чрезмерного употребления антибиотиков. Она ещё до Первой Мировой Вой-ны работала медицинской сестрой и на основании здравого смысла считала, что принятие антибиотиков, если только они не были абсолютно необходи-мы, было вредно для вас.
Это не значит, что она была врагом прогресса. Она видела много достижений на протяжении почти 70-летней медицинской карьеры; мой де-душка, диабетик, извлёк большую пользу из усовершенствованных методов лечения, которые стали доступны во время его жизни. Но она, как и многие уравновешенные люди, вероятно, думала бы, что сконструировать сейчас робототехнический "замещающий вид" было бы очень самонадеянным для нас. Ведь даже заставляя работать относительно простые вещи, мы прилага-ем, очевидно, так много усилий. И так же много усилий мы прилагаем к управлению – или даже пониманию – самих себя.
Я ясно понимаю теперь, что она сознавала сущность порядка жизни и понимала необходимость жить с этим порядком и уважать его. С этим ува-жением приходит необходимая скромность, в которой мы, с нашей гордыней начала 21-го века, нуждаемся при нашей опасности. Взгляд с точки зрения здравого смысла, основанный на этом уважении, часто бывает правильным, предшествуя научной очевидности. Явная слабость и неэффективность по-строенных нами искусственных систем должна заставить всех нас призаду-маться; слабость систем, над которыми я работал, несомненно, смиряет меня.
Нам следовало бы извлечь урок из создания первой атомной бомбы и последующей гонки вооружений. Мы не извлекли его тогда должным обра-зом, и параллели с нашей текущей ситуацией тревожат.
Работа по созданию первой атомной бомбы возглавлялась выдаю-щимся физиком Робертом Оппенгеймером . Оппенгеймер, естественно, не интересовался политикой, но он мучительно осознал серьёзную угрозу за-падной цивилизации от Третьего Рейха. Эта угроза была, без сомнения, серь-ёзной, из-за возможности того, что Гитлер мог заполучить ядерное оружие. Побуждаемый этим беспокойством, он привёз свой крепкий ум, страсть к физике и гениальное мастерство руководителя в Лос-Аламос и возглавил потрясающую коллекцию великих умов, чтобы быстро изобрести бомбу.
Что поражает, так это то, как эта работа продолжалась столь свободно даже после устранения первоначального стимула. На встрече физиков, состоявшейся вскоре после дня победы в Европе, некоторые полагали, что работу, возможно, следует прекратить, но Оппенгеймер доказывал, что надо продолжать. Сформулированный им довод выглядел немного странно: продолжать надо не из-за возможности крупных потерь от вторжения Японии, а потому, что Организация Объединённых Наций, которая вскоре должна была сформироваться, должна быть осведомлена об атомном оружии. Более вероятной причиной, почему проект продолжался, была накопленная движущая сила – первое атомное испытание, "Тринити", было уже на носу.
Мы знаем, что в подготовке первого атомного испытания физики действовали, невзирая на большое количество возможных опасностей. Вна-чале они беспокоились, основываясь на расчёте Эдварда Теллера , что атомный взрыв может воспламенить атмосферу. Исправленный расчёт уменьшил опасность разрушения мира к трём шансам на миллион. (Теллер говорит, что позже он был способен полностью отбросить перспективу воспламенения атмосферы.) Оппенгеймер, тем не менее, был достаточно обеспокоен результатом "Тринити", так, что он принимал меры для возможной эвакуации юго-западной части штата Нью-Мексико. И, конечно, была очевидная угроза начала гонки ядерных вооружений.
Не прошло и месяца после первого успешного испытания, как две атомные бомбы уничтожили Хиросиму и Нагасаки. Некоторые учёные пред-полагали, что бомба предназначалась просто для демонстрации, а не для сброса на японские города – говоря, что это значительно улучшило бы воз-можности военного контроля после войны – но это ничего не дало. Посколь-ку трагедия Пёрл-Харбора  была всё ещё свежа в умах американцев, прези-денту Трумену было бы очень затруднительно ограничиться демонстрацией этого оружия, а не применить его, что он и сделал – желание быстро окон-чить войну и сохранить жизни, которые были бы потеряны при любом втор-жении Японии, было очень сильно. Всё же основная истина была, вероятно, очень простой: как позже сказал физик Фриман Дайсон , "причиной, по ко-торой бомба была сброшена, было просто то, что ни у кого не нашлось му-жества или предусмотрительности сказать "нет"".
Важно себе представить, как были потрясены физики последствиями бомбёжки Хиросимы 6-го августа 1945-го года. Они описывают ряд волн эмоций: сначала чувство удовлетворения, что бомба работала, потом ужас при мысли об убитых людях и затем убедительное чувство, что ни в коем случае не следует сбрасывать ещё одну бомбу. Но, конечно, ещё одна бомба сброшена была, на Нагасаки, всего лишь через три дня после бомбёжки Хи-росимы.
В ноябре 1945-го года, через три месяца после атомных бомбардировок, Оппенгеймер решительно встал за научную позицию, сказав: "Невозможно быть учёным, если вы не верите в то, что знания и сила, которую они дают, представляют внутреннюю ценность для человечества, а также в то, что вы их используете для помощи в распространении знаний и вы хотите нести ответственность за последствия".
Оппенгеймер, вместе с другими, упорно продолжал работать над докладом Ачесона-Лилиенталя, который, как говорит Ричард Родес в своей недавней книге "Видение технологии" , "нашёл путь предотвратить тайную гонку ядерных вооружений без обращения за помощью к вооруженному ми-ровому правительству"; их предложение было формой отказа государств-наций от права работ в области ядерного оружия в пользу международного органа.
Это предложение привело к плану Баруха, который был представлен на рассмотрение Соединённым Штатам в июне 1946-го года, но так и не был принят (возможно, потому, что, как намекает Родес, Бернард Барух "настойчиво потребовал обременить этот план обусловленными санкциями", тем самым неизбежно обрекая его, даже несмотря на то, что "в любом случае он был бы почти наверняка отвергнут сталинской Россией"). Другие попытки осуществления ощутимых шагов к тому, чтобы поставить ядерную силу под контроль различных стран с целью предотвратить гонку вооружений, проваливались либо из-за политики Соединённых Штатов и внутреннего недоверия, либо из-за недоверия Советов. Удобный случай избежать гонки вооружений был упущен, и очень быстро.
Двумя годами позже, в 1948-м, Оппенгеймер, кажется, достиг ещё одной стадии в своих размышлениях, заявив: "В некотором роде грубого смысла, который ни вульгарность, ни юмор, ни преувеличение не могут пол-ностью затмить, физики познали грех; и это знание они не могут потерять".
В 1949-м году Советы взорвали атомную бомбу. В 1955-м как США, так и Советский Союз испытали водородные бомбы, пригодные для доставки самолётом.
Так началась гонка ядерных вооружений.
Около 20-и лет назад, в документальном фильме "День после Трои-цы", Фриман Дайсон подытожил научные положения, которые привели нас к ядерной пропасти:
"Я сам это почувствовал. Блеск ядерного оружия. Он неотразим, ес-ли вы подходите к этому оружию как учёный. Почувствовать, что оно в ва-ших руках, освободить энергию, питающую звёзды, позволить ей исполнять ваши приказания. Совершить эти чудеса, поднять миллион тонн булыжника в небо. Это даёт людям иллюзию беспредельной силы и до некоторой степе-ни является причиной всех наших тревог. Это то, что можно назвать техни-ческой надменностью. Она овладевает людьми тогда, когда они видят, что они могут делать силой своего разума" .
Теперь, как и тогда, мы являемся создателями новых технологий и судеб воображаемого будущего. В данное время нас побуждают крупные денежные вознаграждения и мировая конкуренция. Мы не взираем на явные опасности, едва ли оцениваем, на что это может быть похоже – попробовать жить в мире, являющемся практическим результатом того, что мы сейчас создаём и воображаем.
В 1947-м году "Бюллетень учёных-атомщиков" начал помещать на своей обложке "Часы конца света" . В течение более чем 50-и лет они пока-зывали оценку относительной ядерной угрозы, к которой мы стоим лицом, отражая изменения международной обстановки. Стрелки на этих часах дви-гались 15 раз и сегодня, показывая без девяти минут полночь, отражают со-храняющуюся и реальную угрозу от ядерного оружия. Недавнее добавление в список ядерных держав Индии и Пакистана увеличило опасность провала задачи нераспространения ядерного оружия, и эта опасность в 1998-м году была отражена движением стрелок ближе к полуночи.
С насколько большей опасностью мы стоим лицом к лицу в наше время, не просто от ядерного оружия, а от всех этих технологий? Насколько высок риск вымирания?
Философ Джон Лесли изучил этот вопрос и пришёл к выводу, что риск человеческого вымирания составляет, как минимум, 30 процентов  , в то время как Рэй Курзвейл верит, что у нас есть "больше, чем даже шанс, это преодолеть", с предостережением, что его "всегда обвиняют в том, что он оптимист". Эти оценки не только не ободряют, но они и не включают воз-можности многих ужасных исходов, которые лежат не доезжая до вымира-ния.
Некоторые серьёзные люди, столкнувшиеся с такими оценками, уже внушают, что мы просто как можно быстрее переселимся за пределы Земли. Мы, дескать, будем заселять Галактику, применяя космические зонды фон-Неймана, которые перепрыгивают от одной звёздной системы к другой и размножаются при этом. Этот шаг станет необходим через 5 миллиардов лет (или раньше, если наша солнечная система погибнет от предстоящего столк-новения нашей галактики с галактикой Андромеды в течение ближайших 3-х миллиардов лет), но если мы поймаем Курцвейла и Моравека на слове, то такой шаг может стать необходимым к середине этого столетия.
Что отсюда в нравственном плане следует? Если мы обязаны быстро переселиться за пределы Земли для сохранения нашего вида, то кто возьмёт на себя ответственность за судьбу тех (большинства из нас, в конце концов), которые останутся позади? Но даже если мы рассеемся к звёздам, то не явля-ется ли вероятным, что мы можем взять наши проблемы с собой или же об-наружить позднее, что они за нами последовали? Удел человеческого рода на Земле и наш удел в Галактике представляются неразрывно связанными.
Другая идея состоит в том, чтобы соорудить ряд щитов для обороны от каждой из этих опасных технологий. Стратегическая оборонная инициа-тива, предложенная администрацией Рейгана, была попыткой сконструиро-вать такой щит против угрозы ядерного нападения Советского Союза. Но как замечает Артур Кларк , который был заинтересованным лицом в обсуждениях этого проекта, "Хотя это и возможно, при больших издержках, построить местную систему обороны, пропускающую "только" небольшой процент баллистических ракет, пышно разрекламированная идея национального зонтика являлась чушью. Луис Алварез, быть может, величайший физик-экспериментатор этого столетия, заметил мне, что сторонники таких проектов являются "очень весёлыми малыми без капли здравого смысла"."
Кларк продолжает: "Заглядывая в мой часто затуманенный магиче-ский кристалл, я предполагаю, что абсолютная защита в самом деле может стать возможной в течение столетия или около того. Но вовлечённая техно-логия создала бы, в качестве побочного продукта, оружия настолько страш-ные, что никто не стал бы возиться с чем-либо таким примитивным, как бал-листические ракеты."
Эрик Дрекслер в "Машинах созидания" предлагает нам соорудить активный нанотехнологический щит – своего рода иммунную систему для биосферы – чтобы обороняться от опасных репликаторов всех родов, кото-рые могут ускользнуть из лабораторий или быть злоумышленно созданы иным способом. Но щит, который он предлагает, сам был бы чрезвычайно опасным – ничто не могло бы предотвратить его от развития аутоиммунных реакций и от поражения самой биосферы  .
Подобные трудности относятся и к построению защиты от робото-техники и генной инженерии. Эти технологии слишком могущественны для того, чтобы от них можно было бы защититься в интересующий срок; даже если бы это и было возможным – сделать оборонительные щиты – то побоч-ные эффекты их разработки были бы, как минимум, такими же опасными, как и сами технологии, от которых мы пробуем защититься.
Таким образом, все эти возможности либо нежелательны, либо не-достижимы, либо и то и другое. Единственной практической альтернативой, которую я вижу, является отказ: ограничить развитие слишком опасных тех-нологий путём ограничения нашего стремления к определённым родам зна-ний.
Да, я знаю, знания хороши, как хороши и поиски новых истин. Мы ищем знаний с древних времён. Аристотель начал свою "Метафизику" с про-стого утверждения: "Все люди от рождения хотят знать". Мы в качестве ос-новополагающей ценности нашего общества долгое время соглашались с ценностью открытого доступа к информации, и мы признаём проблемы, ко-торые возникают при попытках ограничить доступ к знаниям и ограничить их развитие. В современную эпоху мы пришли к уважению научного знания.
Но невзирая на сильные исторические прецеденты, если свободный доступ к знанию и неограниченное развитие знания подвергает всех нас с этого времени ясной опасности вымирания, то здравый смысл требует, чтобы мы пересмотрели даже эти основные, долго удерживаемые убеждения.
Именно Ницше  в конце 19-го века предупреждал нас, что не только Бог мёртв, но и что "вера в науку, которая, в конце концов, бесспорно суще-ствует, не может быть обязана своим происхождением исчислению общест-венной полезности; она должна происходить назло тому обстоятельству, что бесполезность и опасность принципов "воля к истине", "истина любой ценой" то и дело подтверждает это". Это и есть та дальнейшая опасность, с которой мы сейчас сталкиваемся в полной мере – последствия нашего искания истины. Истина, которую ищет наука, несомненно может считаться опасной подменой Бога, если она, вероятно, должна привести к нашему вымиранию.
Если бы мы могли, как биологический вид, договориться о том, чего мы хотим, куда мы держим курс и почему, то мы бы сделали наше будущее гораздо менее опасным – мы могли бы тогда понять, от чего мы можем и должны отказаться. В противном случае мы легко можем представить себе гонку вооружений, развивающуюся над ГНР-технологиями, как это было с ЯБХ-технологиями в 20-м веке. Это, возможно, представляет наибольший риск, ибо если однажды такая гонка началась, окончить её будет очень трудно. В настоящее время – в отличие от времени Манхэттенского проекта – мы не воюем, смело встречая непримиримого врага, который угрожает нашей цивилизации; нами вместо этого движут наши привычки, наши желания, наше экономическое устройство и наша соревнующаяся потребность знать.
Я верю в то, что все мы желаем, чтобы наш курс определялся бы нашими совместными ценностями, нравственностью и этикой. Если бы мы извлекли больше совместной мудрости из нескольких прошедших тысячеле-тий, то диалог к этой цели был бы более практическим, а неслыханная сила, которую мы собираемся высвободить, тревожила бы в несравненно меньшей степени.
Можно было бы подумать, что к такому диалогу нас может подтал-кивать наш инстинкт самосохранения. Отдельные лица, несомненно, имеют такое желание, но поведение рода человеческого оставляет желать лучшего. Имея дело с ядерной угрозой, мы часто говорили самим себе и друг другу нечестно, тем самым сильно увеличивая риск. Было ли это мотивировано с политической точки зрения, или потому, что мы решили не задумываться, или потому, что когда мы сталкивались с такими мрачными угрозами, мы, будучи вне себя от страха, действовали нелогично, я не знаю, но такой образ действия не сулит ничего хорошего.
Новые генетические, нанотехнологические и робототехнические ящики Пандоры  почти открыты, но мы, похоже, вряд ли уведомлены об этом. Идеи нельзя положить обратно в ящик; в отличие от урана или плуто-ния, их не нужно добывать и подвергать очистке и их можно свободно копи-ровать. Раз уж они выпущены, значит, они выпущены. Черчилль в своём знаменитом сомнительном комплименте заметил, что американский народ и его руководители "неизменно делают правильную вещь после того, как они проверят все другие альтернативы". В данном случае, однако, мы обязаны действовать с большим предвидением, так как сделать правильную вещь лишь напоследок – это, быть может, потерять шанс сделать её вообще.
Как сказал Торо, "мы не ездим по железной дороге; она ездит по нам" ; и это есть то, с чем мы обязаны в наше время бороться. Вопрос на самом деле в том, кто должен быть главным? Переживём ли мы наши техно-логии?
Мы движемся в этот новый век безо всякого плана, без управления, без тормозов. Спустились ли мы уже по этой тропе слишком далеко для того, чтобы можно было изменить курс? Я не верю в это, но мы так и не пробуем, а последняя возможность взять ситуацию под контроль – отказобезопасная точка – быстро приближается. Мы имеем наших первых любимцев-роботов, а также доступные для приобретения генно-инженерные методики, и наша наноразмерная техника быстро развивается. Несмотря на то, что развитие этих технологий происходит через множество шагов, последний шаг в испы-тании технологии вовсе не обязательно является крупным и трудным – как это случилось в Манхэттенском проекте и при испытании "Тринити". Про-рыв к необузданному саморазмножению в робототехнике, генной инженерии или в нанотехнологии может произойти внезапно, возобновив удивление, которое мы чувствовали, когда узнали о клонировании млекопитающих.
И всё же я верю, что мы и впрямь имеем прочную и твёрдую основу для надежды. Наши попытки иметь дело с оружиями массового уничтожения в прежнем столетии предоставляют нам на рассмотрение блестящий пример отказа: односторонний, без предварительных условий, отказ Соединённых Штатов от разработки биологического оружия. Этот отказ произошёл из осознания того, что хотя создание этого страшного оружия и потребовало бы огромных усилий, но после этого его можно было бы легко скопировать и оно могло бы попасть в руки плутовских наций или террористических групп.
Очевидный вывод – что мы создали бы для себя дополнительные уг-розы от погони за этими вооружениями и что мы были бы в большей безо-пасности, если бы мы за ними не гнались. Мы воплотили наш отказ от био-логического и химического оружия в Конвенции Биологического Оружия 1972-го года и в Конвенции Химического Оружия 1993-го года  .
Что же до сохраняющейся значительной угрозы от ядерного оружия, с которой мы живём вот уже на протяжении более чем 50-и лет, то недавнее отклонение сенатом США Договора по Всеобъемлющему Запрету Ядерных Испытаний делает очевидным, что с политической точки зрения отказ от ядерного оружия не будет лёгким. Тем не менее, с окончанием Холодной Войны мы имеем замечательную возможность предотвратить многополюс-ную гонку вооружений. Основываясь на биологической и химической кон-венциях, успешное упразднение ядерного оружия могло бы нам помочь ус-тановить обычай отказа от опасных технологий. (Действительно, избавив-шись от всех, за исключением 100-а ядерных зарядов, распределённых по всему свету, которые приблизительно составляют совокупную разрушитель-ную силу Второй Мировой Войны, –¬ что  является значительно более лёгкой задачей – мы могли бы исключить эту угрозу вымирания  .)
Проверка выполнения отказа будет трудной, но не неразрешимой за-дачей. Нам повезло: мы уже проделали множество соответствующей работы в связи с Конвенцией Биологического Оружия и другими договорами. Нашей главной задачей будет применить это к технологиям, которые по природе гораздо более коммерческие, чем военные. Существенной нуждой тут явля-ется прозрачность, так как трудность контроля прямо пропорциональна трудности отличения запрещённой деятельности от законной.
Я искренне верю, что ситуация в 1945-м году была проще, чем та, с которой мы сталкиваемся теперь: ядерные технологии можно было прием-лемо разделить на коммерческое и военное применение, а дозиметрическому контролю помогала природа атомных испытаний и лёгкость измерения ра-диоактивности. Исследования по военным применениям могли выполняться в государственных лабораториях, таких, как Лос-Аламос, с сохранением ре-зультатов в тайне как можно дольше.
ГНР-технологии не имеют ясного подразделения на коммерческое и военное применение; учитывая их рыночные возможности, трудно предпо-ложить, что ими будут заниматься только в государственных лабораториях. При их широком коммерческом распространении принудительный отказ потребует режима контроля, подобного режиму контроля для биологического оружия, но на беспрецедентном масштабе. Это неизбежно поднимет напряжённость между нашей личной приватностью и желанием частной информации с одной стороны и потребностью в контроле для того, чтобы защитить нас всех – с другой. Мы, несомненно, встретим мощное сопротивление этой потере приватности и свободы действия.
Проверку отказа от определённых ГНР-технологий придётся прово-дить как в кибернетическом пространстве, так и на уровне физической аппа-ратуры. Решающая трудность будет в том, чтобы сделать необходимую про-зрачность в мире частной информации приемлемой, предположительно через предоставление новых форм защиты интеллектуальной собственности.
Выполнение контроля потребует также, чтобы учёные и инженеры приняли строгий кодекс нравственного поведения, похожий на клятву Гип-пократа, и чтобы они имели мужество выступать во весь голос, как необхо-димо, даже если это им дорого станет. Это стало бы ответом на призыв – через 50 лет после Хиросимы – нобелевского лауреата Ганса Бете , одного из наиболее старших живущих участников Манхэттенского проекта, чтобы все учёные "прекратили и воздерживались от работ, создающих, развивающих, совершенствующих и производящих ядерное оружие и другие оружия потенциального массового уничтожения" . В 21-м веке это потребует бдительности и персональной ответственности от тех, кто будет работать как над ЯБХ-, так и над ГНР-технологиями, для того, чтобы избежать реализации оружий массового уничтожения и знаний массового уничтожения.
Торо сказал также, что мы будем "богатыми соразмерно количеству тех вещей, которые мы можем позволить себе не трогать" . Все мы стремим-ся к счастью, однако представляется дельным вопрос о том, нужно ли нам подвергаться такому большому риску полного уничтожения для того, чтобы получить ещё больше знаний и ещё больше вещей; здравый смысл говорит, что нашим материальным нуждам есть предел – и что определённые знания являются слишком опасными и от них лучше отказаться.
Не следует нам также гнаться за почти бессмертием без учёта цены, без учёта соразмерного роста риска вымирания. Бессмертие, может быть даже и подлинное, не является, конечно, единственно возможной утопической мечтой.
Недавно мне посчастливилось встретиться с выдающимся писателем и учёным Жаком Аттали, чья книга "Lignes d'horizons" ("Золотой век", в английском переводе)   помогла вдохновить подход "Java" и "Jini" к грядущему веку распределённых вычислений, как это было ранее описано в данном журнале. В своей новой книге "Общины"  Аттали описывает, как наши мечты об утопии изменились за время:
"На заре общества люди считали свой путь на Земле не более чем лабиринтом страдания, в конце которого стояла дверь, ведущая, через их смерть, в общество богов и в Вечность. С евреями, а потом и греками, не-которые люди отважились освободить себя от богословских запросов и стали мечтать о совершенном Городе, где будет процветать Свобода. Дру-гие, отметившие развитие рыночного общества, понимали, что свобода одних повлечёт за собой отчуждение других, и они стремились к Равенст-ву."
Жак помог мне понять, как эти три различные утопические цели на-пряжённо существуют сегодня в нашем обществе. Он идёт дальше и описы-вает четвёртую утопию, "Братство", чьим основанием является альтруизм. Только Братство связывает личное счастье с счастьем других, давая залог самоподдержки.
Это прояснило для меня мой вопрос касательно мечты Курцвейла. Технологическое приближение к Вечности – почти бессмертие посредством робототехники – не может быть самой желанной утопией, а её преследование влечёт за собой ясные опасности. Нам, быть может, следует пересмотреть наш выбор утопий заново.
Где мы можем искать новые нравственные основания для установ-ления нашего курса? Я счёл очень полезными мысли, изложенные в книге Далай Ламы "Этика для нового тысячелетия" . Как может быть хорошо из-вестно, но мало кто на это обращает внимание, Далай Лама доказывает, что самое важное для нас – это проводить наши жизни в любви и сочувствии к другим, и что нашим обществам нужно разработать более серьёзное пред-ставление о всеобщей ответственности и о нашей взаимосвязанности; он предлагает стандарт положительного нравственного поведения для индиви-дуумов и обществ, который кажется созвучным с утопией Аттали "Братство".
Далай Лама утверждает далее, что мы должны понять причину человеческого счастья и признать веские основания того, что ни материальный прогресс, ни стремление к силе знаний не являются разгадкой – что существуют пределы, до которых наука и научные поиски могут сами по себе действовать.
Наше западное понимание счастья происходит, похоже, от греков, которые определили его как "тренировка жизненных сил по линиям превос-ходства в жизни, давая им простор"  .
Несомненно, нам нужно найти достойные задачи и достаточную цель в наших жизнях, если мы должны быть счастливы, что бы ни случилось. Но я полагаю, что мы должны найти альтернативный выход нашим созида-тельным силам, за пределами культуры вечного экономического роста; этот рост на протяжении нескольких сотен лет был в значительной степени бла-гом, но он не принёс нам чистого, беспримесного счастья, и мы теперь обя-заны выбирать между преследованием неограниченного и неориентирован-ного роста через науку и технику с одной стороны и ясными сопутствующи-ми опасностями с другой.
Вот уже прошло больше года со времени моей первой встречи с Рэем Курцвейлом и Джоном Сирлом. Я вижу вокруг себя основание для надежды в голосах предостережения и отказа и в тех обнаруженных мною людях, которые так же обеспокоены нашим теперешним положением, как и я. Я чувствую также повышенную личную ответственность – не за ту работу, которую я уже сделал, а за ту, которую я могу ещё сделать при слиянии наук.
Однако многие другие люди, знающие об этих опасностях, всё ещё представляются странно безмолвными. Когда же от них требуешь действий, они щеголяют находчивым ответом: "В этом нет ничего нового", – как будто понимание того, что может случиться, нашло достаточный отклик. Они уве-ряют меня: "В университетах полно специалистов в области биологической этики, которые изучают этот материал день-деньской". Они говорят: "Обо всём этом уже написали, и притом знатоки". Они жалуются: "Ваши тревоги и ваши дискуссии уже устарели".
Я не знаю, куда эти люди прячут свой страх. Как создатель сложных систем, я вступаю на этом поприще в качестве лидера. Но должно ли это ослаблять мои беспокойства? Я отдаю себе полный отчёт в том, как много об этом столь авторитетно написано, сказано и прочитано лекций. Но значит ли это, что это дошло до народа? Значит ли это, что мы можем не принимать в расчёт стоящие перед нами опасности?
Понимание не является логическим обоснованием для бездействия. Можем ли мы сомневаться в том, что знания стали оружием, которое мы держим в руках против самих себя?
Опыт учёных-атомщиков ясно показывает надобность взятия на себя персональной ответственности, показывает опасность, что обстоятельства будут развиваться слишком быстро и демонстрирует способ, которым ход развития может обернуться против нас самих. Мы можем, как сделали они, создать непреодолимые проблемы за почти нулевой временной промежуток. Мы обязаны изображать больше мысли на своём челе, если мы не хотим, чтобы последствия наших изобретений нас подобным же образом поразили и застигли врасплох.
Моя продолжающаяся профессиональная работа направлена на по-вышение надёжности программ. Программное обеспечение – это инстру-мент, и как разработчик инструментов, я обязан биться над применениями сделанных мной инструментов. Я всегда верил в то, что повышение надёж-ности программ, учитывая многочисленность их применений, сделает наш мир более безопасным и более хорошим местом; если бы я должен был убе-диться в обратном, то я был бы морально обязан прекратить эту работу. Я теперь могу себе представить, что такой день может наступить.
Я не сержусь на всё это, но, по крайней мере, становлюсь немного меланхоличным. С этого времени прогресс будет для меня чем-то горькова-то-сладким.
Вы помните прекрасную предпоследнюю сцену в "Манхэттене", где Вуди Аллен   лежит на своей кушетке и говорит в магнитофон? Он записы-вает краткую историю о людях, которые создают для себя нервные и ненуж-ные проблемы, потому что это отвлекает их от более неразрешимых и ужа-сающих мировых проблем.
Он приходит к вопросу: "Почему жизнь представляет ценность?" – и обдумывает, что делает её стоящей для него: Граучо Маркс, Вилли Мейс, вторая часть симфонии "Юпитер", запись "Блюза Картофельной Головы" Луи Армстронга, шведские кинофильмы, "Сентиментальное воспитание Флоберта", Марлон Брандо, Фрэнк Синатра, яблоки и груши Сезанна, крабы у Сэма Воу и, в заключение, лик Трейси, его возлюбленной .
У каждого из нас есть свои дорогие предметы, и поскольку мы пита-ем к ним интерес, мы определяем местонахождение сущности нашей челове-ческой природы. В конечном счёте, именно из-за нашей великой способности заботиться я остаюсь оптимистом, веря, что мы будем противостоять рискованным проблемам, которые сейчас перед нами стоят.
Моя непосредственная надежда – участвовать в гораздо более широком обсуждении поднятых здесь проблем, с людьми из различных слоёв общества, в атмосфере, не предрасположенной к тому, чтобы страшиться или благоволить технике ради неё самой.
В качестве начала, я дважды поднял многие из этих проблем на ме-роприятиях, организованных институтом Аспена, и внёс индивидуальное предложение, чтобы Американская академия искусств и наук приняла их в качестве расширения своей работы на Пагуошских конференциях. (Они про-водятся с 1957-го года для обсуждения контроля вооружений, главным обра-зом, ядерного оружия и для формулировки осуществимой политики.)
К несчастью, Пагуошские встречи начались только спустя многое время после того, как ядерный джин был выпущен из бутылки – они запо-здали приблизительно на 15 лет. Мы тоже берём запоздалый старт на серьёзную проработку проблем вокруг технологий 21-го века – предотвращение массового уничтожения, вызываемого знаниями – и дальнейшая проволочка представляется неприемлемой.
Так что я до сих пор ищу; есть ещё много обстоятельств, которые нужно узнать. Должны ли мы преуспеть или же потерпеть неудачу, должны выжить или же пасть жертвой этих технологий, ещё не решено. Опять я поздно встал – уже почти 6 часов утра. Я пробую представить себе несколько лучшие решения, чтобы избавиться от приступа дурного настроения и развеять неопределённость.


 
Вернор Виндж. Технологическая Сингулярность
Перевод – Олег Данилов.

http://www.computerra.ru/think/35815/

Vernor Vinge "The Coming Technological Singularity:
How to Sur  vive in the Post-Human Era"

Исходный вариант этой статьи математик и писатель Вернор Виндж представил на симпозиуме VISION-21, который проводился в 1993 году Цен-тром космических исследований NASA им. Льюиса и Аэрокосмическим ин-ститутом Огайо. В 2003 году автор дополнил статью комментариями.

Что такое Сингулярность?

Ускорение технического прогресса – основная особенность XX века. Мы на грани перемен, сравнимых с появлением на Земле человека. Сугубая причина этих перемен заключается в том, что развитие техники неизбежно ведёт к созданию сущностей с интеллектом, превышающим человеческий. Наука может достичь такого прорыва разными путями (и это ещё один довод в пользу того, что прорыв произойдёт):
Компьютеры обретут "сознание", и возникнет сверхчеловеческий интеллект. (В настоящее время нет единого мнения о том, сумеем ли мы соз-дать машину, равную человеку, однако, если это получится, несомненно, вскоре затем можно будет сконструировать еще более разумные существа).
Крупные компьютерные сети (и их объединенные пользователи) мо-гут "осознать себя" как сверхчеловеческие разумные сущности.
Машинно-человеческий интерфейс станет настолько тесным, что интеллект пользователей можно будет обоснованно считать сверхчеловече-ским.
Биология может обеспечить нас средствами улучшения естественно-го человеческого интеллекта.
Первые три возможности напрямую связаны с совершенствованием компьютерного аппаратного обеспечения. [В действительности, четвёртая возможность также зависит от этого, хотя и косвенно.] Прогресс аппаратного обеспечения на протяжении уже нескольких десятилетий поразительно стабилен. Исходя из этой тенденции, я считаю, что интеллект, превосходящий человеческий, появится в течение ближайших тридцати лет. (Чарльз Платт заметил, что энтузиасты ИИ делают подобные утверждения уже лет тридцать. Чтобы не быть голословным, отделавшись относительной временной двусмысленностью, позвольте мне уточнить: я удивлюсь, если это случится до 2005 года или после 2030 года). [Прошло десять лет, но я по-прежнему считаю, что указанный срок справедлив.]
Каковы будут последствия этого события? Когда прогресс будет на-правляться интеллектом, превосходящим человеческий, он станет куда стре-мительнее. Фактически, нет оснований полагать, что прогресс не станет пло-дить всё более разумные сущности всё более ускоренными темпами. Лучшая аналогия, которую можно здесь провести – в эволюционном прошлом. Жи-вотные могут приспособиться и проявлять изобретательность, но не быстрее, чем работает естественный отбор. В случае естественного отбора мир сам выступает в роли собственного симулятора. Мы, люди, обладаем способно-стью усваивать окружающий мир и выстраивать у себя в голове причинно-следственные связи, поэтому мы решаем многие проблемы в тысячи раз бы-стрее, чем механизм естественного отбора. Когда же появится возможность просчитывать эти модели на более высоких скоростях, мы войдём в режим, который отличается от нашего человеческого прошлого не менее радикаль-но, чем мы, люди, сами отличаемся от низших животных.
Такое событие аннулирует за ненадобностью весь свод человеческих законов, возможно, в мгновение ока. Неуправляемая цепная реакция начнет развиваться по экспоненте безо всякой надежды на восстановление контроля над ситуацией. Изменения, на которые, как считалось, потребуются "тысячи веков" (если они вообще произойдут), скорее всего, случатся в ближайшие сто лет.
Вполне оправданно будет назвать данное событие сингулярностью (даже Сингулярностью, по замыслу данного эссе). Это точка, в которой наши старые модели придётся отбросить, где воцарится новая реальность. Это мир, очертания которого будут становиться всё четче, надвигаясь на современное человечество, пока эта новая реальность не заслонит собой окружающую действительность, став обыденностью. И всё же, когда мы такой точки, наконец, достигнем, это событие все равно станет великой неожиданностью и ещё большей неизвестностью. В пятидесятые годы немногие предвидели это. Стэн Юлам пересказывал однажды слова Джона фон Неймана: "Один разговор шел о непрерывно ускоряющемся техническом прогрессе и переменах в образе жизни людей, которые создают впечатление приближения некоторой важнейшей сингулярности в истории земной расы, за которой все человеческие дела, в том виде, в каком мы их знаем, не смогут продолжаться".
Фон Нейман даже использовал термин "сингулярность", хотя, похо-же, он думал о нормальном прогрессе, а не о создании сверхчеловеческого интеллекта. (По моему же мнению, в сверхчеловечности кроется сама суть Сингулярности, без этого мы пресытимся избытком технических богатств, так и не сумев их как следует переварить).
В шестидесятые года отмечались признаки некоторого вовлечения в нашу жизнь сверхчеловеческого интеллекта. Ирвинг Джон Гуд писал: "Оп-ределим сверхразумную машину как машину, которая способна значительно превзойти все интеллектуальные действия любого человека, как бы умён тот ни был. Поскольку способность разработать такую машину также является одним из этих интеллектуальных действий, сверхразумная машина может построить ещё более совершенные машины. За этим, несомненно, последует "интеллектуальный взрыв", и разум человека намного отстанет от искусственного [далее здесь цитируются три более ранние работы Гуда]. Таким образом, первая сверхразумная машина станет последним изобретением, которое выпадет на долю человека, при условии, что машина будет достаточно покорна и поведает нам, как держать ее под контролем... И вероятность того, что в двадцатом веке сверхразумная машина будет построена и станет последним изобретением, которое совершит человек, выше, чем вероятность того, что этого не случится".
Гуд уловил суть разгона прогресса, но не рассматривал его самые тревожащие последствия. Любая разумная машина того типа, что он описы-вает, не будет "инструментом" человечества так же, как люди не стали ору-диями кроликов, малиновок или шимпанзе.
В шестидесятые, семидесятые и восьмидесятые годы осознание гря-дущего катаклизма ширилось и росло. Вероятно, первыми его влияние по-чувствовали фантасты. В конце концов, ведь именно научной фантастике полагается рассказывать о том, чем обернутся для нас все эти технологии. Всё чаще писателей преследовало ощущение того, что будущее сокрыто за непроницаемой стеной. Когда-то воображение с лёгкостью переносило их на миллионы лет вперед. Теперь же они обнаруживают, что их наиболее усерд-ные прогнозы относятся к неизвестному… завтра. Прежде галактические империи могли казаться постчеловеческимим реалиями. Ныне, как ни пе-чально, даже межпланетные государства представляются таковыми.
[На самом деле теперь, в начале двадцать первого столетия, романы о космических приключениях делятся на группы, в зависимости от того, ка-ким образом их авторы справляются с вероятностью появления сверхчелове-ческих машин. Фантасты используют целый арсенал уловок, чтобы доказать их невозможность или удерживать на безопасном расстоянии от сюжета.]
Так что же ждет нас в эти два-три десятка лет, пока мы движемся к краю? Как наступление Сингулярности станет утверждаться в человеческом мировосприятии? До поры, до времени неплохую прессу будут иметь крити-ки машинного разума. В конце концов, пока не появится аппаратное обеспе-чение, сравнимое по мощи с человеческим мозгом, наивно надеяться создать интеллект, сравнимый с разумом человека (или превосходящий его). (Есть малоправдоподобная вероятность, что достичь уровня человеческого разума можно и на менее мощном "железе", если мы готовы поступиться скоростью и нас устроит искусственное существо, которое будет медленным в самом буквальном смысле слова. Но, скорее всего, составление программы для него окажется нетривиальным занятием и не обойдётся без многочисленных фальстартов и экспериментов. А раз так, значит, эра машин, наделенных самосознанием, не наступит, пока не будет разработано аппаратное обеспечение, обладающее существенно большей мощностью, чем природное снаряжение человека).
Однако с течением времени мы будем наблюдать все больше сим-птомов. Дилемма, которую прочувствовали фантасты, станет воспринимать-ся в контексте творческих усилий иного рода. (Мне известно, что вдумчивые авторы комиксов уже беспокоятся о том, каким образом придется создавать зрительные эффекты, когда все видимое вокруг станет можно отображать при помощи широко доступных технических средств.) Мы станем свидете-лями того, как постепенно будут автоматизироваться задачи всё более высо-кого уровня. Уже сейчас существуют инструменты (программы символиче-ской логики, САПР), которые освобождают нас от большинства нудной ру-тины. Есть и обратная сторона медали: истинно производительный труд становится уделом стабильно сокращающейся узкой элиты человечества. С пришествием Сингулярности мы увидим, как, наконец, сбываются прогнозы о настоящей техногенной безработице.
Другой признак движения к Сингулярности: сами идеи должны рас-пространяться быстрее, и даже самые радикальные из них начнут момен-тально становиться достоянием общественности.
А каким же будет наступление самой Сингулярности? Что можно сказать об истинном характере этого события? Поскольку дело касается интеллектуального разгона, вероятно, это окажется самой стремительной технической революцией из всех прежде нам известных. Свалится, вероятнее всего, как снег на голову – даже вовлеченным в процесс учёным. ("Но ведь все наши предшествующие модели не двигались! Мы только подкрутили кое-какие настройки...") Если сети достаточно широко распространены (в вездесущих встроенных системах), может показаться, будто наши артефакты вдруг обрели самосознание.
И что же тогда случится через месяц или два (или через день-другой) после этого? Есть только одна аналогия, которую я могу провести – возник-новение человечества. Мы очутимся в постчеловеческой эре. И несмотря на весь свой технический оптимизм, мне было бы куда комфортнее, если бы меня от этих сверхъестественных событий отделяли тысяча лет, а не два-дцать.

 Как избежать Сингулярности?

Ну, а может, Сингулярность вообще не наступит. Порой я пытаюсь представить себе признаки, судя по которым, нам станет понятно, что Син-гулярности можно не ждать. Есть популярные и признанные аргументы Пен-роуза и Сёрла о непрактичности машинного разума. В августе 1992 года сообщество "Мыслящих Машин" устроило мозговой штурм с целью проверить тезис: "Как построить мыслящую машину?" Как вы уже догадались, из этого посыла следует, что участники эксперимента не слишком-то поддерживали те самые аргументы против машинного разума. В действительности, принималась общая договоренность о том, что разум может существовать на небиологической основе, и что алгоритмы являются важнейшей составляющей для разума. Тем не менее, разгорелись жаркие споры по поводу наличия в органических мозгах аппаратной мощности в чистом виде. Меньшинство придерживалось мнения, что крупнейшие компьютеры 1992 года по мощности отставали от человеческого мозга на три порядка. Большинство же участников соглашалось с подсчетами Ганса Моравеца, по которым выходило, что от аппаратного паритета в этом вопросе нас отделяют еще десять-сорок лет. И все же было еще одно меньшинство предполагавших, что вычислительные способности отдельных нейронов могут быть намного лучше, чем  принято считать. Если это так, то наши современные компьютеры отстают аж на десять порядков от того снаряжения, которое скрыто у нас в черепной коробке. Если верен этот тезис (или, в данном случае, если взгляды Пенроуза и Сёрла обоснованы), возможно, мы так никогда и не доживем до Сингулярности. Вместо этого, в начале XXI века обнаружится, что круто вздымавшиеся кривые производительности нашего аппаратного обеспечения начнут сглаживаться из-за нашей неспособности автоматизировать конструкторскую работу по разработке дальнейших усовершенствований аппаратных средств. Все кончится каким-нибудь очень мощным компьютером, но без возможности двигаться вперед. Коммерческая цифровая обработка сигналов будет восхитительна, обеспечивая аналоговый выход, сравнимый с цифровыми операциями, но "сознание" не пробудится, а интеллектуальный разгон, являющий собой самую суть Сингулярности, так и начнется. Такое положе-ние вещей, вероятно, следует рассматривать как Золотой век… и конец про-гресса. Это будет нечто очень похожее на будущее, предсказанное Гюнтером Стентом, который ясно дал понять, говоря об идее создания надчеловеческого разума, что это станет достаточным условием для того, чтобы его прогнозы не сбылись.
[В предыдущем абзаце не достает того, что я считаю сильнейшим аргументом против вероятности Технологической Сингулярности: даже если мы сумеем создать компьютеры с чистой аппаратной мощью, вероятно, не получится организовать имеющиеся компоненты таким образом, чтобы ма-шина обрела сверхчеловеческий разум. Для техноманов-механистов это, по-видимому, выльется в нечто вроде "неспособности решения проблемы слож-ности программного обеспечения". Будут предприниматься попытки запус-тить все более крупные проекты по разработке ПО, но программирование не справится с задачей, а мы никогда не овладеем секретами биологических моделей, которые могли бы помочь воплотить в жизнь "обучение" и "эм-бриональное развитие" машин. В конце концов, появится следующий полу-фантастический контрапункт Мерфи к закону Мура: "Максимально возмож-ная эффективность программной системы растет пропорционально логариф-му эффективности (то есть скорости, полосе пропускания, объему памяти) подлежащего программного обеспечения". В этом мире без сингулярности будущее программистов уныло и беспросветно. (Представьте себе необхо-димость одолевать скопившиеся за столетия унаследованные программы!) Так что в последующие годы, полагаю, следует обращать особое внимание на две важнейшие тенденции: прогресс в крупных проектах по разработке программного обеспечения и прогресс в применении биологических пара-дигм в масштабных сетях и масштабных параллельных системах.]
Но если технологической Сингулярности суждено быть, то она слу-чится. Даже если все государства мира осознают "угрозу" и перепугаются до смерти, прогресс не остановится. Конкурентное преимущество – экономиче-ское, военное, даже в сфере искусства – любого достижения в средствах ав-томатизации является настолько непреодолимым, что запрещение подобных технологий просто гарантирует, что кто-то другой освоит их первым.
Эрик Дрекслер составил впечатляющие прогнозы развития и совер-шенствования технических средств. Он соглашается с тем, что появление сверхчеловеческого разума станет возможно в ближайшем будущем. Но Дрекслер оспаривает способность человечества удерживать контроль над столь сверхчеловеческими устройствами, чтобы результаты их работы мож-но было оценить и надежно использовать.
Не соглашусь, что сохранение контроля так уж невозможно. Пред-ставьте себя запертым в собственном доме при единственном, ограниченном некими вашими хозяевами канале доступа информации извне. Если бы эти хозяева мыслили со скоростью, скажем, в миллион раз медленнее вас, едва ли стоит сомневаться в том, что через несколько лет (вашего времени) вы изобрели бы способ побега. Я называю эту "быстро мыслящую" форму сверхразума "слабым сверхчеловеческим". Такая "слабая сверхчеловеческая сущность" более чем ускорила бы течение времени эквивалентного челове-ческому ума. Сложно сказать точно, что будет из себя представлять "сильное сверхчеловеческое", но отличие, по-видимому, будет разительным. Вообразите собаку с чрезвычайно ускорившейся работой мысли. Сможет ли тысячелетний опыт собачьего мышления что-то дать человечеству? Многие предположения о сверхразуме, как кажется, основываются на модели "слабого сверхчеловеческого". Я же думаю, что наиболее верные догадки о постсингулярном мире можно строить на предположениях об устройстве "сильного сверхчеловеческого". К этому вопросу мы еще вернемся.
Другим подходом к проблеме сохранения контроля является идея о создании искусственных ограничений свободы действий сконструированной сверхчеловеческой сущности. [например, Законы роботехники у Азимова]. Я полагаю, что любые правила, достаточно строгие, чтобы обеспечить их эф-фективность, приведут у созданию устройства с возможностями, очевидно более узкими, чем у нестесненных ограничениями версий (таким образом, соревновательность будет способствовать развитию более опасных моделей).
Если Сингулярность нельзя предотвратить или ограничить, насколь-ко жестокой может стать постчеловеческая эра? Что ж, довольно жестокой. Физическое вымирание человеческой расы – одно из возможных следствий. (Или, как сформулировал это Эрик Дрекслер, говоря о нанотехнологиях: со всеми подобными техническими возможностями, вероятно, правительства решат, что простые граждане им больше не нужны). Тем не менее, физиче-ское вымирание может оказаться далеко не самым страшным последствием. Вспомните о разного рода наших отношениях к животным. В постчеловече-ском мире по-прежнему останется множество ниш, в которых эквивалентная человеческой автономность будет востребована: встроенные системы в са-моуправляющихся устройствах, автономные демоны низшей функциональ-ности в более крупных разумных существах. ("Сильное сверхчеловеческое, по-видимому, будет представлять собой Общность Разума из нескольких очень умных компонентов".) Некоторые из таких человеческих эквивалентов могут использоваться исключительно для цифровой обработки сигналов. Прочие могут остаться весьма человекоподобными, хотя и специализирован-ными, с узким профилированием, из-за которого в наше время их поместили бы в психиатрическую клинику. Несмотря на то что никто из этих существ может не быть уже людьми из плоти и крови, они останутся наиболее близ-кими к современному нам человеку в том новом окружении.
[Уверен, Ирвингу Гуду было бы, что сказать на этот счет (хоть я и не нашел у него упоминаний чего-то подобного). Гуд предложил золотое мета-правило, которое можно переформулировать следующим образом: "Обра-щайся с братьями меньшими так, как ты хочешь, чтобы старшие братья об-ращались с тобой". Это чудесный парадокс (и большинство моих друзей этому не верят), так как последствия, подсчитанные согласно теории игр, отчетливо выразить трудно.Тем не менее, если бы мы могли следовать этому правилу, в каком-то смысле это могло бы говорить о распространенности подобных добрых намерений во вселенной.]
Я уже выражал выше сомнение в том, что мы не можем предотвра-тить Сингулярность, что ее наступление есть неминуемое следствие естест-венной человеческой соревновательности и возможностей, присущих техно-логиям. И все же мы – инициаторы. Даже величайшая лавина вызывается мельчайшими действиями. Мы вольны устанавливать начальные условия, чтобы все происходило с наименьшим для нас ущербом.
[Будет ли прок от предвидения и вдумчивого планирования, может зависеть от того, как произойдет технологическая Сингулярность. Будет ли это "резкий переход" или "тихий переход". Резкий переход – это тот, при котором сдвиг к сверхчеловеческому контролю произойдет за несколько со-тен часов (как в "Музыке крови" Грега Бэра). Мне представляется, что спла-нировать что-то в расчете на резкий переход будет чрезвычайно трудно. Он будет подобен лавине, о которой я писал в этом эссе в 1993 году. Наиболее кошмарная форма резкого перехода может произойти из гонки вооружений, когда две державы подстегивают свои отдельные "манхэттенские проекты" с целью добиться сверхчеловеческой мощи. Эквивалент десятилетий шпиона-жа на человеческом уровне может сжаться в последние несколько часов су-ществования расы, и весь человеческий контроль и рассудительность пасуют перед некими чрезвычайно деструктивными целями.
С другой стороны, "тихий переход" может занять десятки лет, воз-можно, более века. Такая ситуация кажется более поддающейся планирова-нию и вдумчивому экспериментированию. Ганс Моравец рассматривает такой "плавный переход" в книге "Робот: от простой машины к сверхразуму"].
Конечно (как и в случае с лавинами), нельзя с уверенностью судить, каков именно на самом деле будет тот самый направляющий толчок.


Путь к Сингулярности

Когда говорят о существах со сверхчеловеческим разумом, обычно имеют в виду проект по созданию искусственного интеллекта. Но как я от-метил в начале этой статьи, есть и другие пути к сверхчеловеческому. Ком-пьютерные сети и человеко-машинные интерфейсы представляются более приземленными, нежели ИИ, и все-таки они способны привести к Сингуляр-ности. Я называю этот противоречивый подход Усилением Интеллекта (УИ). УИ протекает вполне естественно, в большинстве случаев его даже не осоз-нают сами разработчики. Однако всякий раз, когда улучшаются наши воз-можности доступа к информации и передачи ее другим, в каком-то смысле мы достигаем прироста по отношению к природному интеллекту. Сейчас уже дуэт из человека-профессора и хорошей электронной рабочей станции (даже не подключенной к сети), вероятно, может с блеском сдать любой из существующих письменных тестов.
И вполне возможно, что УИ является наиболее легким путем к дос-тижению сверхчеловеческого, нежели ИИ в чистом виде. В том, что касается людей, сложнейшие проблемы развития уже решены. Постепенное создание умных систем на основе имеющихся у человека способностей представляет-ся более легким, чем выяснение истинной сути людей и затем уже постройка аналогичных им интеллектуальных машин. Предположительно, существует еще, по крайней мере, один прецедент в поддержку данной точки зрения. Кернс-Смит рассуждал о том, что биологическая жизнь вполне могла заро-диться в качестве случайного дополнительного свойства более примитивных форм жизни, основывавшихся на росте кристаллов. Линн Маргулис выдви-гала серьезные аргументы, доказывая, что симбиоз является могучей движу-щей силой эволюции.
Заметьте, я совсем не предлагаю игнорировать работы по созданию ИИ. Достижения в области разработки искусственного интеллекта зачастую будут находить применение в УИ, и наоборот. Я предлагаю понять, что в работах по созданию сетей и интерфейса кроется нечто настолько же серьез-ное (и потенциально дикое), как и искусственный интеллект. С таким пони-манием мы сможем различить проекты, не столь уже явно практические, как обычные работы по интерфейсам и построению сетей, но зато служащие делу нашего прогресса на пути к Сингулярности вдоль тропы УИ.
Вот несколько возможных проектов, которые приобретают особое значение с точки зрения УИ:
Автоматизация человеко-машинной связки. Возьмите проблемы, ко-торые обычно отводятся для решения машинам (вроде задач по методу ите-ративного спуска – hillclimbing), и программы разработки и интерфейсы, ис-пользующие преимущество человеческой интуиции с доступным компью-терным оборудованием. Принимая во внимание причудливость задач по hillclimbing более высокого порядка (и стройных алгоритмов, придуманных для их решения), для человеческого компонента связки можно разработать чрезвычайно интересные дисплеи и средства управления.
Симбиоз машины и человека в искусстве. Объедините графические возможности современных машин и эстетическую чуткость людей. Конечно, огромные усилия исследователей тратятся на разработку компьютерных средств помощи художникам. Я предлагаю четко нацелиться на наибольшее совмещение умений, на максимально возможную кооперацию. Карл Бимс проделал замечательную работу в этом направлении.
Человеко-машинные команды на шахматных турнирах. У нас уже есть программы, которые играют в шахматы лучше подавляющего большин-ства людей. Но сколько сделано, для того чтобы эту мощь мог использовать человек, с тем чтобы добиться каких-либо еще больших успехов? Если бы таким командам разрешалось участвовать хотя бы в некоторых шахматных турнирах, это могло бы оказать такое же положительное влияние на исследования УИ, какое допуск компьютеров к шахматным соревнованиям оказывает на соответствующую нишу разработок ИИ.
[В последние несколько лет гроссмейстер Гарри Каспаров развил идею проведения шахматных турниров между игроками, которым помогают компьютеры (поищите в интернете по ключевым словам "Каспаров" и "про-грессивные шахматы"). Насколько мне известно, такие человеко-машинные команды не допускаются к участию в серьезных соревнованиях по шахма-там.]
Интерфейсы, которые обеспечат доступ к компьютерам и сетям без обязательной привязки человека к одному месту, за столом с монитором. (Данный аспект УИ настолько успешно согласуется с известными экономи-ческими преимуществами, что в этом направлении уже работают очень ак-тивно.)
Более симметричные системы поддержки решения. Популярной об-ластью исследований и разработок в последнее время стали системы под-держки решения. Это одна из форм УИ, только, возможно, слишком сфоку-сированная на прогностических системах. Столько же, сколько программа предоставляет информации пользователю, должно быть и руководства про-граммой со стороны пользователя.
Местные сети, которые сделают усилия группы людей эффективнее работы отдельных членов. Это и есть, в принципе, понятие о groupware; сме-на подхода в данном вопросе заключается в представлении групповой дея-тельности как работы коллективного организма.
В определенном смысле цель такого предложения может заключать-ся в изобретении "Устава" для таких комбинированных операций. Например, направление деятельности группы легче было бы поддерживать, чем посред-ством классических собраний. Умения отдельных индивидуумов можно бу-дет изолировать от эгоистических устремлений, с тем чтобы объединенные усилия разных членов группы концентрировались на общем проекте. Ну и, конечно, базы данных совместного пользования можно было бы задейство-вать полнее, нежели в обычных совещательных операциях.
Интернет представляет собой комбинированный человеко-машинный инструмент. Из всего перечисленного в данном списке прогресс в данной области идет наиболее быстрыми темпами. Сила и влияние интернета в немалой степени недооценивают. Сама по себе анархичность развития Всемирной сети является свидетельством ее потенциала. Покуда наращиваются связность, полоса пропускания, архивные объемы и производительность компьютеров, мы наблюдаем нечто похожее на представление Линн Маргулис о биосфере, как своего рода конспекте процессора данных, только с в миллион раз большей производительностью и с миллионами разумных человеческих агентов (нас самих).
[Брюс Стерлинг искусно иллюстрирует, как подобное развитие мо-жет привести ко всеобъемлющему проникновению в повседневную жизнь ("Манеки-Неко", журнал Fantasy & Science Fiction, май 1998 года). В качест-ве нехудожественного взгляда на возможности связки "человечество + тех-нологии" как на сложносоставное существо я рекомендую книгу Грегори Стока "Метачеловек: слияние людей и машин в глобальный сверхорганизм", издательство Simon & Schuster, 1993 год. Но возникнет ли в результате само-сознание? Или, может быть, самосознание есть неотъемлемая черта интел-лекта, заключенного в определенных границах?]
Приведенные выше примеры иллюстрируют исследование, которое можно провести в рамках современных областей компьютерной науки. Су-ществуют и другие парадигмы. Например, многие работы по созданию ис-кусственного интеллекта и нейросетей только выиграют от более тесной связи с биологической жизнью. Вместо того чтобы просто пытаться моделировать и воспроизводить биологическую жизнь при помощи компьютеров, исследования следует направить на создание композитных систем, полагающихся на управление со стороны биологической жизни, либо ради каких-то свойств биологической жизни, которые мы недостаточно понимаем, но все-таки стремимся воспроизвести в аппаратном обеспечении. Вековечной мечтой научной фантастики являются прямые компьютерно-мозговые интерфейсы. На практике, в этой области ведутся конкретные работы:
Протезирование конечностей представляет собой область прямого коммерческого приложения. Прямые нейро-кремниевые преобразователи можно создать. Это восхитительно досягаемый первый шаг к налаживанию прямой человеко-машинной связи.
Прямые каналы связи с мозгом кажутся вполне осуществимыми, если битрейт достаточно низок: учитывая развитую обучаемость человека, едва ли потребуется точно выбирать мишени среди нейронов живого мозга. Даже 100 бит в секунду будут чрезвычайно полезны пострадавшим от паралича, которым, в противном случае, придется оставаться в заложниках у интер-фейсов, построенных на структурированных меню.
Подсоединение к оптической магистрали сулит потенциал пропуск-ной способности порядка 1Мбит/с или что-то около того. Однако для этого нам необходимо разобраться в тончайшем устройстве зрения, да еще потре-буется вживление огромного количества электродов с необычайной точно-стью. Если мы хотим, чтобы широкополосное соединение прибавило еще возможностей к тем способностям по обработке данных, что уже имеются в человеческом мозге, проблема становится гораздо неподатливее. Простое вживление сети широкополосных приемников в мозг определенно ни к чему не приведет. Однако предположите, что такая нейросеть уже присутствовала в структуре мозга на стадии эмбрионального развития. А это предполагает:
Эксперименты с зародышами животных. Какого-либо успеха в УИ в первые годы подобных исследований я не ожидаю, но обеспечение разви-вающемуся мозгу доступа к сложным симулированным нейроструктурам могло бы, в конечном итоге, привести к появлению животных с дополни-тельными нервными связями и интересными интеллектуальными способно-стями.
Я надеялся, что данное рассмотрение УИ выявит какие-нибудь оче-видно более безопасные пути к Сингулярности (в конце концов, УИ допуска-ет наше участие в некой трансцендентальной форме). Увы, я уверен почти лишь в том, что такие предположения следует принять во внимание, что они предоставят нам большую свободу выбора. Но, что касается безопасности, некоторые из них представляются достаточно устрашающими. УИ для чело-веческих индивидуумов создает довольно зловещую элиту. У нас, людей, за плечами миллионы лет эволюционного развития, которые заставляют нас представлять соперничество в мрачном свете. По большей части, эта мрач-ность может оказаться невостребованной в сегодняшнем мире, в котором проигравшие перенимают приемы победителей и, сплотившись, организуют выигрышные предприятия. Существо, созданное "с чистого листа", может оказаться гораздо благонамереннее, нежели тварь, взращенная по законам клыка и когтя.
Проблема заключается не просто в том, что Сингулярность пред-ставляет собой уход человечества со сцены, но в том, что она противоречит нашим сокровенным понятиям бытия. Полагаю, более пристальное рассмот-рение концепции сильного сверхчеловеческого может прояснить причины такого положения вещей.

После Сингулярности

Сильное сверхчеловеческое и лучшее, на что можно рассчитывать. Предположим, нам удастся спланировать Сингулярность. Предположим, нам удастся воплотить самые сумасбродные мечты. Чего же нам еще тогда останется желать? Что сами люди станут наследниками самих себя, что, какая бы несправедливость не случилась, она всегда будет уравновешена осознанием нашего собственного происхождения. Для не подвергшихся изменениям будет уготовано нарочито мягкое обращение (возможно, даже придание "отставшим" статуса хозяев богоподобных слуг). Может наступить золотой век, не лишенный дальнейшего прогресса (минуя барьер Стента). Бессмертие (или, по меньшей мере, продолжительность жизни, ограниченная нашими способностями сохранить Вселенную) станет достижимым.
Но в этом прекраснейшем и добрейшем из миров одни только фило-софские проблемы становятся устрашающими. Разум, замкнутый в одних и тех же границах, не способен жить вечно, спустя несколько тысяч лет он станет напоминать, скорее, бесконечно повторяющуюся закольцованную пленку, нежели личность. (Наиболее жуткую картину чего-то подобного нарисовал в "Этике безумия" Ларри Найвен). Чтобы жить неограниченно долго, сам разум должен расти. А когда он разрастется до поистине исполинских размеров и оглянется в прошлое, какие родственные чувства он сможет испытывать по отношению к тому, чем он являлся изначально? Разумеется, позднее бытие будет включать в себя все, чем жил оригинал, но и несравненно больше того! Так что даже для индивидуума концепция Кернс-Смита или Линн Маргулис о новой жизни, прирастающей из прежней, остается справедливой.
Данная "проблема" бессмертия проявляется и гораздо более непо-средственным образом. Понятие эго и самосознания являлось основопола-гающим в прожженном рационализме последних нескольких столетий. Од-нако ныне концепция самосознания подвергается нападкам со стороны при-верженцев искусственного интеллекта ("самосознание и прочие заблужде-ния"). Усиление интеллекта, в свою очередь, выбивает почву из-под концеп-ции эго с другой стороны. В постсингулярном мире чрезвычайно распро-странятся сверхширокополосные сети. Главной особенностью сильных сверхчеловеческих сущностей, вероятно, станет их способность общаться на разных скоростях, включая более высокие, чем у речи и письма. Что про-изойдет, когда части эго можно станет копировать и объединять, когда объем самосознания сможет увеличиваться или сокращаться, подстраиваясь под масштаб решаемых задач? Это и есть существенные черты сильного сверхчеловеческого и самой Сингулярности. При мысли о них начинаешь чувствовать, какой радикально чуждой и отличной будет постчеловеческая эра, вне зависимости от того, насколько продуманно и милосердно мы к ней подойдем.
С одной точки зрения, картина вписывается во многие наши мечты о счастье: жизнь без конца и края, в которой мы научимся по-настоящему по-нимать друг друга и сокровеннейшие тайны бытия. С другой точки зрения, это все сильно напоминает худший сценарий развития событий, который я уже описывал выше в этом эссе.
Какая же точка зрения обоснована? В действительности, мне пред-ставляется, что новая эра будет настолько иной, что не сможет вписываться в классические рамки противопоставления добра и зла. Такое понимание зиждется на понятии изолированных, неменяющихся разумов, объединенных тонкими связями с низкой пропускной способностью. Зато постсингулярный мир прекрасно вписывается в более значимую традицию эволюции и коллек-тивности, зародившуюся давным-давно (может быть, еще до появления био-логической жизни). Я думаю, что этические нормы, применимые в такую эпоху, все-таки есть. Дальнейшие исследования УИ и сверхширокополосных коммуникаций должны улучшить понимание этого.
Сейчас я вижу лишь отдаленные очертания будущего. Есть Золотое Метаправило Добра. Возможно, есть и законы для распознавания себя среди прочих, основанные на пропускной способности связи. В то время как разум и личность станут значительно лабильнее, чем в прошлом, многого из того, что мы ценим (знания, память, мышление), терять, тем не менее, не следует. Мне кажется, Фримен Дайсон правильно это сформулировал: "Бог – это ра-зум, переросший границы нашего понимания".
[Хочу поблагодарить Джона Кэрролла и Университет штата Кали-форния в Сан-Диего и Говарда Дэвидсона из Sun Microsystems за помощь в обсуждении и подготовке данной статьи.]















;
Ник Бостром. Угрозы существованию: Анализ сценариев человеческого вымирания и других
подобных опасностей.
Перевод: А.В. Турчин
Existential Risks
Analyzing Human Extinction Scenarios and Related Hazards


Nick Bostrom, PhD
Faculty of Philosophy, Oxford University
www.nickbostrom.com
[Published in the Journal of Evolution and Technology, Vol. 9,
March 2002. First version: 2001]

Благодаря ускорению технологического прогресса, человечество, вероятно, быстро приближается к критической точке в своем развитии. В дополнение к хорошо известным угрозам, вроде ядерной, быстро развиваю-щиеся технологии, таких как наносистемы и машинный интеллект, препод-носят нам беспрецедентные возможности и риски. Наше будущее и то, будет ли у нас вообще будущее, зависит от того, как мы справимся с этими вызо-вами. В связи с быстро развивающимися технологиями нам нужно лучшее понимание динамики перехода от человеческого к «пост-человеческому» обществу. Особенно важно знать, где расположены ловушки: пути, на кото-рых все может пойти смертельно неправильно.
Хотя мы имеем большой опыт подверженности различным личным, местным или переносимым всемирным опасностям, эта статья анализирует недавно появившуюся категорию: угрозы существованию (existential risks). Так мы называем риски событий, которые могут привести к нашему вымира-нию или кардиальным образом повредить потенциал развившейся на Земле разумной жизни. Некоторые из этих опасностей относительно известны, то-гда как другие совершенно не замечаются. Угрозы существованию имеют ряд черт, которые делают обычное управление рисками в данном случае неэффективным. Последняя глава этой статьи обсуждает некоторые этические и политические приложения данной проблемы. Более ясное понимание картины угроз позволит нам сформулировать лучшие стратегии.


Введение

Жить опасно, и опасность находится повсюду. К счастью, не все риски одинаково серьезны. Для наших целей мы можем использовать три измерения для описания рисков: масштаб, интенсивность и вероятность. Под «масштабом» я имею в виду размер группы людей, подверженных риску. Под «интенсивностью» я имею в виду то, насколько большой вред будет причинен каждому индивидууму из группы. И под «вероятностью» я имею в виду наилучшую текущую субъективную оценку вероятности негативного исхода .

1. Типология рисков

Мы можем различить шесть качественно различных групп рисков в зависимости от их масштаба и интенсивности (таб.1). Третье измерение, ве-роятность, может быть наложено на эти два измерения. При прочих равных, риск является более серьезным, если он имеет значительную вероятность и если наши действия могут увеличить ее или уменьшить.

Масштаб / интенсивность: Переносимая интенсивность Смертель-ная интенсивность
глобальный Уменьшение озонового слоя Х
местный Экономический спад в стране Геноцид
личный Кража машины Смерть
Таблица 1. Шесть категорий риска.

«Личный», «местный» или «глобальный» относится к размеру попу-ляции, которая непосредственно подвергается воздействию; глобальный риск воздействует на все человечество (и на наших потомков). «Переносимая интенсивность риска» и «смертельная интенсивность»  означают, насколько сильно пострадает подверженная риску популяция. Переносимый риск тоже может привести к большим разрушениям, но остается возможность восста-новиться от повреждений или найти пути преодолеть негативные последст-вия. В противоположность ему, окончательный риск – это тот риск, когда подверженные ему объекты или гибнут, или необратимо повреждаются та-ким образом, что радикально уменьшают свой потенциал жить той жизнью, которой они стремятся жить. В случае личных рисков окончательным исхо-дом может быть, например, смерть, необратимое серьезное повреждение мозга, или пожизненное тюремное заключение. Примером локального смер-тельного риска может быть геноцид, приводящий к уничтожению всего на-рода (что случилось с несколькими индийскими народностями). Другой пример — обращение в вечное рабство.

2. Риски существованию

В этой статье мы обсудим риски шестой категории, которая отмече-на в таблице как Х. Это категория глобальных смертельных рисков. Я буду называть их угрозами существованию.
Угрозы существованию отличаются от глобальных переносимых рисков. Примерами последних являются: угрозы биоразнообразию земной экосферы, умеренное глобальное потепление (и даже большое), и, возможно, удушающие культурные и религиозные эры, такие как «темные века», даже если они охватывают все общество, если они рано или поздно закончатся (хотя см. главу о «Всхлипе» ниже). Сказать, что некий глобальный риск яв-ляется переносимым, очевидно не означает сказать, что он является прием-лемым или не очень серьезным. Мировая война с применением обычных вооружений или десятилетие рейха в нацистском духе будут чрезвычайно жуткими событиями, несмотря на то, что они попадают в категорию перено-симых глобальных рисков, поскольку человечество может, в конце концов, восстановиться. (С другой стороны, эти события будут местным смертель-ным риском для многих индивидуумов и для преследуемых этнических групп.)
Я буду использовать следующее определение угрозы существова-нию (existential risk):
Угроза существованию — это такой риск, в котором негативный результат или уничтожает возникшую на Земле разумную жизнь, или необ-ратимо и значительно сокращает ее потенциал.
Угроза существованию — это такой риск, в котором человечество как целое находится под угрозой. Такие катастрофы имеют огромные нега-тивные последствия для всего будущего земной цивилизации.

3. Уникальность проблемы угроз существованию

Риски этой шестой категории появились недавно. Это одна из при-чин, по которой полезно выделить их в отдельную категорию. Мы не развили механизмов, ни природных, ни культурных, чтобы справляться с такими рисками. Наши учреждения и защитные стратегии сформировались под влиянием столкновения с такими рисками как опасные животные, враждебные люди или племена, отравленная еда, автомобильные аварии, Чернобыль, Бхопал, извержения вулканов, землетрясения, засухи, Первая мировая война, Вторая мировая война, эпидемии гриппа, оспы, черной чумы и СПИДа. Катастрофы этого типа случались многократно, и наше культурное отношение к риску сформировалось посредством метода проб и ошибок в управлении такими угрозами. Но будучи трагедией непосредственно для участников этих событий, с широкой точки зрения — с точки зрения всего человечества — даже самые страшные из этих катастроф были только рябью на поверхности великого моря жизни. Они не повлияли значительно на полное число счастливых и страдающих людей и не определили долгосрочную судьбу нашего вида.
За исключением истребляющих целые виды комет и столкновений с астероидами (случающихся исключительно редко), вероятно, не было значи-тельных угроз существованию до середины 20 века, и определенно ни с од-ним из них мы не могли ничего сделать.
Первой созданной человеком угрозой существованию была первая атомная бомба. В то время было некоторое беспокойство по поводу того, что взрыв запустит цепную реакцию посредством «поджигания» атмосферы. Хотя теперь мы знаем, что такой итог был физически невозможен, в то время это предположение соответствовало определению угрозы существованию. Чтобы нечто было риском, исходя из доступных знания и понимания, доста-точно, чтобы была субъективная вероятность неблагоприятного исхода, даже если потом выясняется, что объективно не было ни одного шанса на то, чтобы случилось нечто плохое. Если мы не знаем, является ли что-то объективно рискованным, это является риском в субъективном смысле. Этот субъективный смысл является, конечно, тем, на чем мы должны основывать наши решения . В любой момент мы должны использовать нашу наилучшую субъективную оценку того, каковы объективные факторы риска .
Гораздо большая угроза существованию возникла одновременно с появлением  арсеналов ядерного оружия в СССР и США. Полноценная ядер-ная война была возможна со значительной степенью вероятности и с послед-ствиями, которые могли быть настолько устойчивыми, чтобы характеризо-ваться как глобальные и окончательные. Среди людей, лучше всего знако-мых с информацией, доступной в то время, было распространено реальное беспокойство, что ядерный Армагеддон может случиться и что он может истребить наш вид или навсегда разрушить человеческую цивилизацию . Россия и США продолжают обладать огромными ядерными арсеналами, которые могут быть использованы в будущей конфронтации, случайно или нарочно. Есть также риск, что другие страны могут однажды создать боль-шие арсеналы. Отметим, однако, что небольшой обмен ядерными ударами, например, между Индией и Пакистаном, не является угрозой существованию, так как он не уничтожит человечество и не повредит необратимо чело-веческий потенциал. Такая война, однако, будет местным смертельным рис-ком для тех городов, на которые будут нацелены удары... К сожалению, мы увидим, что ядерный Армагеддон и кометный или астероидный удар — это только прелюдия к угрозам существованию в XXI веке.
Особая природа задач, возникающих благодаря угрозам существованию, может быть проиллюстрирована следующими замечаниями.
Наш подход к угрозам существованию не может быть основан на методе проб и ошибок. Здесь нет возможности учиться на ошибках. Реактив-ный подход — смотреть, что случилось, ограничить ущерб и учиться на этом опыте — не работает. Скорее, мы должны использовать предупреждающий подход. Это требует предвидения для обнаружения новых типов рисков и готовности принимать решительные превентивные меры и оплачивать их моральную и экономическую цену.
Мы не можем с уверенностью полагаться на наши учреждения, мо-ральные нормы, социальные позиции или политику в области национальной безопасности, которые развились на основе нашего опыта управления дру-гими типами рисков. Угрозы существованию — это другой зверь. Нам может быть трудно принимать их настолько серьезно, насколько они того заслужи-вают, поскольку мы никогда не сталкивались с такими катастрофами . Наша коллективная реакция страха, скорее всего, плохо откалибрована на масштаб угроз.
Уменьшение угроз существованию является всеобщим обществен-ным благом  (Kaul, 1999) и по этой причине может быть недостаточно по-ставляемо рынком (Feldman, 1980). Угрозы существованию являются угро-зой для каждого и могут требовать реакции на международном уровне. Ува-жение к национальному суверенитету не является законным извинением для провала в принятии контрмер против важнейших угроз существованию.
Если мы принимаем во внимание благополучие будущих поколений, то ущерб от угроз существованию умножается на еще один фактор, который зависит от того, учитываем ли мы и насколько будущую пользу (Caplin, Leahy 2000; Schelling 2000: 833—837).
Удивительно, в виду неоспоримой важности темы, как мало систе-матической работы сделано в это области. Частично это объясняется тем, что наиболее серьезные риски происходят (как мы покажем в дальнейшем) от ожидаемых будущих технологий, которые мы только недавно начали понимать. Другой частью объяснения может быть неизбежно междисциплинарная и умозрительная природа предмета исследований. И отчасти, пренебрежение может быть объяснено нежеланием думать всерьез на депрессивные темы. Из этого не следует, что мы должны впасть в уныние, но нужно бросить трезвый взгляд на то, что может пойти неправильно, чтобы мы смогли создавать надежные стратегии для улучшения наших шансов на выживание. Чтобы сделать это, мы должны знать, на чем фокусировать наши усилия.

4. Классификация рисков существованию

Мы будем использовать следующие 4 категории для классификации рисков существованию :
Взрывы (Bangs) — Возникшая на Земле разумная жизнь истребляет-ся в результате относительно внезапной катастрофы, могущей произойти как в результате несчастного случая, так и намеренно.
Сужения (Crunches) — Способность человечества развиться в по-стчеловечество необратимо повреждена , хотя люди продолжают каким-то образом жить.
Скрипы (Shrieks) — Некая форма постчеловечества будет достигну-та, но это будет только чрезвычайно узкая доля спектра возможного и же-лаемого.
Всхлипы (Whimpers) — Постчеловеческая цивилизация возникает, но развивается в направлении, ведущем постепенно, но безвозвратно к полному исчезновению вещей, которые мы ценим, или к состоянию, где эти ценности реализуются только в малой степени от того уровня, который бы мог быть достигнут.
Вооруженные такой классификацией, мы можем начать анализиро-вать наиболее вероятные сценарии в каждой категории. Определения также прояснятся по мере нашего продвижения.

5. Взрывы

Это — наиболее очевидная форма глобальных рисков. Понять эту концепцию легче всего. Ниже описываются некоторые наиболее возможные пути взрывного  завершения существования мира. Я попытался расположить их в порядке возрастания (по моей оценке) вероятности стать причиной истребления возникшей на Земле разумной жизни; но мое намерение в отношении упорядочивания было, скорее, создать базис для дальнейшей дискуссии, чем сделать некие однозначные утверждения.

5.1. Преднамеренное злоупотребление нанотехнологиями
В своей зрелой форме молекулярная нанотехнология позволит созда-вать самовоспроизводящихся роботов размеров с бактерию, которые смогут питаться нечистотами или другой органической материей (Drexler 1985, 1992; Merkle et al. 1991: 187—195; Freitas 2000). Такие репликаторы могут съесть биосферу или разрушить ее другими способами, такими, как отравление ее, сжигание ее или блокирование солнечного света. Человек с преступными намерениями, обладающий этой нанотехнологией, может вызвать истребление разумной жизни на Земле, выпустив таких наноботов в окружающую среду .
Технология для создания деструктивных наноботов кажется значи-тельно более простой, чем технология создания эффективной защиты от та-кой атаки (глобальной нанотехнологической иммунной системы, «активного щита» (Drexler 1985)). Поэтому, скорее всего, будет период уязвимости, в течение которого необходимо не допустить попадания этих технологий в неправильные руки. Также эти технологии могут оказаться трудными для управления ими, поскольку не требуют редких радиоактивных изотопов или огромных, легко обнаруживаемых заводов, как это имеет место при произ-водстве ядерного оружия (Drexler 1985).
Даже если эффективная защита от ограниченной нанотехнологиче-ской атаки будет создана до того, как опасные репликаторы будут разработаны и приобретены склонными к самоубийству режимами или террористами, все еще остается опасность гонки вооружений между государствами, владеющими нанотехнологиями. Утверждается (Gubrud 2000), что молекулярное производство приведет к большей нестабильности гонки вооружений и к большей нестабильности в отношении кризисов, чем ядерные вооружения. Нестабильность гонки вооружений означает, что для каждой соревнующейся стороны будут доминировать стремления усилить свое вооружение, приводящее к стремительному раскручиванию гонки вооружений. Нестабильность в отношении кризисов означает, что для каждой стороны главным стремлением будет ударить первым. Два приблизительно одинаково сильных противника, приобретя нанотехнологическое оружие, начнут, с этой точки зрения, массовое производство и конструирование вооружений, которое продолжится до тех пор, пока не случится кризис и не начнется война, потенциально способная вызвать всеобщее окончательное уничтожение. То, что эта гонка вооружений могла бы быть предсказана, не является гарантией того, что международная система безопасности будет создана вовремя — чтобы предупредить эту катастрофу. Ядерная гонка вооружений между СССР и США была предсказана, но, тем не менее, случилась.

5.2. Ядерный холокост
США и Россия по-прежнему имеют огромные запасы ядерных воо-ружений. Но приведет ли полноценная ядерная война к реальному истребле-нию человечества? Отметьте, что:
(а) для того, чтобы это стало риском существованию, достаточно, чтобы мы не были уверены, что этого не случится.
(б) климатические эффекты широкомасштабной ядерной войны ма-лоизвестны (есть вероятность ядерной зимы).
(в) будущие гонки вооружений между странами не могут быть ис-ключены, и это может привести к возникновению еще больших арсеналов, чем те, что существовали в разгар холодной войны. Мировой запас плутония устойчиво возрастает и достиг величины в 2 000 тонн, что примерно в десять раз больше, чем остается в боеголовках (Leslie 1996: 26). Даже если некоторые люди переживут кратковременные эффекты ядерной войны, она может привести к коллапсу цивилизации. Человеческая раса, живущая в условиях каменного века, может быть (а может и не быть) более стойкой к вымиранию, чем другие виды животных.
5.3. Мы живем в симуляции, и она выключается
Может быть доказано, что гипотезе, будто мы живем в компьютер-ной симуляции, следует приписать значительную вероятность (Bostrom 2001). Основная идея, лежащая в основе так называемого Доказательства симуляции, состоит в том, что огромные количества вычислительной мощ-ности могут быть доступны в будущем (Moravec 1989, 1999), и что они могут быть использованы, среди прочего, для запуска большого количества тонко структурированных симуляций прошлых человеческих цивилизаций. При нескольких не слишком невероятных предположениях результат может быть тот, что большинство разумов, подобных нашим, являются симулированны-ми разумами, и потому мы должны приписать значительную вероятность тому, что мы являемся такими симулированными разумами, а не (субъектив-но неразличимыми) разумами естественно развившихся существ. И если это так, мы подвергаемся риску того, что симуляция может быть выключена в любой момент. Решение прекратить нашу симуляцию может быть вызвано нашими действиями или внешними факторами.
Хотя кому-то может показаться легкомысленным  выдвигать столь радикальную  гипотезу рядом с конкретной угрозой ядерного холокоста, мы должны основывать свои выводы на рассуждениях, а не на необученной интуиции. Пока не появится опровержение доводам, представленным Бостромом (Bostrom 2001), было бы интеллектуально нечестно пренебрегать выключением симуляции как возможной причиной истребления человечества.

5.4. Плохо запрограммированный суперинтеллект
Когда мы создадим первое суперинтеллектуальное устройство (Moravec 1989, 1998, 1999; Vinge 1993; Bostrom 1998; Kurzweil 1999; Hanson et al. 1998), мы можем сделать ошибку и задать ему цели, которые на-правят его на уничтожение человечества, если учесть его колоссальное интеллектуальное преимущество, дающее силу сделать это. Например, мы можем ошибочно возвести цель более низкого уровня в статус сверх-цели. Мы говорим ему решить некую математическую задачу, и он под-чиняется, превращая все вещество в солнечной системе в огромное вы-числительное устройство, попутно убивая человека, который задал этот вопрос. (Для дальнейшего анализа этой темы, см. (Yudkowsky 2001)).

5.5. Генетически сконструированный биологический объект
В результате огромного прогресса  генетических технологий, кото-рый происходит сейчас, может оказаться возможным для тирана, террориста или сумасшедшего создать «вирус конца света»: организм, который будет совмещать длительный период латентности с высокой вирулентностью и смертельностью (National Intelligence Council 2000).
Опасные вирусы могут быть даже выращены ненарочно, как недавно продемонстрировали австралийские исследователи, которые создали модифицированный вирус мышиной оспы (mousepox Ectromelia virus) со 100% смертельностью, когда пытались сконструировать вирус-контрацептив для мышей, чтобы использовать его для контроля грызунов-вредителей  (Nowak 2001). Хотя этот конкретный вирус не заражает людей, подозревается, что аналогичные изменения увеличат смертельность вируса человеческой оспы. То, что усиливает возможную опасность здесь  — это то, что исследование было быстро опубликовано в открытой научной литературе (Jackson et al. 2001: 1479—1491). Редко увидишь, чтобы информация, созданная в открытых биотехнологических проектах, хранилась бы в секрете, независимо от того, насколько суровой потенциальной опасностью она обладает – и то же относится к исследованиям в нанотехнологиях.
Генетическая медицина приведет к созданию лучших лекарств и вакцин, но нет никаких гарантий, что оборона выдержит гонку с нападением. (Даже случайно созданный вирус мышиной оспы имел 50% смертельность на вакцинированных мышах.) В конце концов, опасности биологического оружия могут быть похоронены развитием наномедицины, но хотя нанотехнологии имеют колоссальный долговременный потенциал для медицины (Freitas 1999), они несут свои собственный опасности.

5.6. Ошибочное применение опасных нанотехнологий
(«серая слизь»).
Возможность аварии никогда не может быть полностью исключена. Однако, существует много путей избежать уничтожающих всех людей ава-рий благодаря применению надёжных инженерных решений. Можно избе-жать опасного применения самовоспроизводящих систем; можно сделать наноботов  зависимыми от использования какого-то редкого химического вещества, не существующего в природе; можно заключать их в герметичное окружение; можно спроектировать их так, что любая мутация почти навер-няка заставит нанобот прекратить функционирование (Foresight Institute 2000). По этой причине случайное неправильное применение наноботов тре-вожит  гораздо меньше, чем злонамеренное (Drexler 1985; Freitas 2000; (Foresight Institute 1997—1991).
Однако, различие между случайным и намеренным может стать рас-плывчатым. Хотя, в принципе, кажется возможным сделать глобальные на-нотехнологические катастрофы очень маловероятными, конкретные обстоя-тельства могут не позволить реализоваться этому идеальному уровню безо-пасности. Сравните нанотехнологию с ядерной технологией. С инженерной точки зрения, разумеется, возможно использовать ядерную технологию только в мирных целях, например, только в ядерных реакторах, которые имеют нулевую вероятность уничтожить всю планету. Но на практике оказа-лось невозможным избежать использования ядерных технологий также и для создания ядерного оружия, что привело к гонке вооружений. При наличии ядерных арсеналов высокой степени боевой готовности  неизбежен высокий риск случайной войны. Тоже самое может случиться с нанотехнологиями: их могут заставить служить военным целям таким способом, который может создать  неизбежный риск серьезных происшествий.
В некоторых ситуациях может быть даже стратегически выгодно на-рочно сделать некую технологию или контрольную систему рискованной, например, чтобы создать  «принципиально непредсказуемую угрозу, в кото-рой всегда есть элемент случайности» (Schelling 1960).

5.7. Нечто непредвиденное
Нам необходима такая  объединяющая  категория. Было бы глупо верить, что мы уже придумали и спрогнозировали все значительные угрозы. Будущие технологические или научные открытия легко могут создать новые способы уничтожить мир.
Некоторые предвидимые опасности (и, следовательно, не из этой ка-тегории), были исключены из списка Взрывов по причине того, что они ка-жутся слишком маловероятными причинами глобальной катастрофы, а именно: солнечные вспышки, сверхновые, взрывы и слияния черных дыр, гамма-всплески, вспышки в центре галактики, супервулканы, утрата биораз-нообразия, рост загрязнения воздуха, постепенная утрата человеческой спо-собности размножаться, и множество религиозных сценариев конца света. Гипотезы о том, что мы однажды достигнем «просветления» и совершим коллективное самоубийство или прекратим размножаться, как надеются сто-ронники VHEMT (Движение за добровольное вымирание человечества — The Voluntary Human Extinction Movement) (Knight 2001), выглядят малове-роятными. Если бы, действительно, лучше было бы не существовать (как Силен сказал царю Мидасу в греческом мифе и как доказывал Артур Шопен-гауэр (Schopenhauer 1891), хотя по причинам, свойственным конкретно его философской системе, он не агитировал за самоубийство), то тогда бы мы не считали этот сценарий глобальной катастрофой. Предположение о том, что быть живым — неплохо, надо рассматривать как подразумеваемое предпо-ложение в определении Взрывов. Ошибочное всеобщее самоубийство явля-ется риском существованию, хотя его вероятность кажется чрезвычайно ма-лой. (Больше на тему этики человеческого вымирания см. главу 4 из (Leslie 1996: 26).)

5.8. Катастрофы в результате физических экспериментов
Тревоги конструкторов атомной бомбы из Манхэттенского проекта по поводу того, что взрыв приведет к возгоранию атмосферы, имеют совре-менные аналоги.
Были рассуждения о том, что эксперименты на будущих высоко-энергетичных ускорителях частиц могут вызвать разрушение метастабильного состояния вакуума, в котором, возможно, находится наш космос, превращая его в «подлинный» вакуум с меньшей энергетической плотностью (Coleman, Luccia 1980: 3305—3315). Это создаст расширяющийся пузырь всеобщего уничтожения, который распространится по всей галактике и за ее пределы со скоростью света, раздирая всю материю на части по мере продвижения.
Другой идеей является то, что эксперименты на ускорителе могут создать отрицательно заряженные стабильные «странные частицы» (strangelets) (гипотетическая форма ядерной материи) или породить микро-скопическую черную дыру, которая погрузится в центр Земли и начнет по-глощать всю остальную планету (Dar et al. 1999: 142—148). Такие сценарии выглядят невозможными, исходя из наших лучших физических теорий. Но причина, по которой мы ставим эксперименты, состоит именно в том, что мы не знаем, что же на самом деле случится. Гораздо более убедительным дока-зательством является то, что плотности энергии, достигаемые на современ-ных ускорителях, намного ниже тех, что встречаются в природе при столк-новении космических лучей (Dar et al. 1999: 142—148; Turner, Wilczek 1982: 633—634). Возможно, однако, что для этих гипотетических процессов имеют значение другие факторы, помимо плотности энергии, и эти факторы будут собраны вместе в будущих новых экспериментах.
Основной причиной беспокойства в связи с «физическими катастро-фами» является наблюдение мета-уровня о том, что открытия различных опасных физических феноменов происходят постоянно, так что даже если сейчас все физические катастрофы, о которых мы подумали, совершенно невероятны или невозможны, все равно могут быть более реальные пути к катастрофе, ждущие своего открытия. Приведенные здесь варианты — не более чем иллюстрации общего принципа.

5.9. Естественно возникшее заболевание
Что, если СПИД был бы столь же заразен, как и простуда?
Есть несколько черт современного мира, которые могут сделать гло-бальную пандемию гораздо более вероятной, чем когда-либо раньше. Путе-шествия, торговля едой и жизнь в городах — все это значительно возросло в современное время, упрощая возможность для новой болезни быстро зара-зить большую часть населения Земли.

5.10. Столкновение с астероидом или кометой
Есть реальный, но очень маленький риск, что мы будем истреблены ударом астероида или кометы (Morrison et al. 1994).
Для того чтобы вызвать вымирание человечества, ударяющее тело, возможно, должно иметь размер более 1 км в диаметре (и, вероятно, 3—6 км.) Было, по крайней мере, пять, а, может быть, и более дюжины массовых вымираний на Земле, и, по крайней мере, некоторые из них были, вероятно, вызваны столкновениями. (Leslie 1996: 81 f). В частности, вымирание дино-завров 65 миллионов лет назад связывалось с падением астероида размером  10-15 км в диаметре на полуострове Юкатан. Считается, что тело 1 км или более в диаметре сталкивается с Землей в среднем раз в полмиллиона лет . Мы пока каталогизировали только малую часть потенциально опасных тел.
Если мы сможем заметить приближающееся тело вовремя, мы будем иметь неплохой шанс отклонить его, перехватив ракетой с ядерной бомбой (Gold 1999).

5.11. Неудержимое глобальное потепление
Есть сценарий, что высвобождение парниковых газов в атмосферу может оказаться процессом с сильной положительной обратной связью. Мо-жет быть, именно это случилось с Венерой, которая теперь имеет атмосферу из   и температуру в 450° С. Надеюсь, однако, что у нас будут техноло-гические средства для противодействия данной тенденции к тому моменту, когда это станет действительно опасно.

6. Сужения
В то время как некоторые события, описанные в предыдущей главе, могут наверняка уничтожить Homo sapiens (например, распад метастабиль-ного вакуума), другие могут быть, в принципе, пережиты (такие, как тоталь-ная ядерная война). Если современная цивилизация рухнет, то отнюдь не обязательно она снова возникнет, даже если человеческий вид выживет. Возможно, мы выработали слишком много легкодоступных ресурсов, кото-рые потребуются примитивному обществу для того, чтобы подняться на наш уровень технологии. Примитивное человеческое общество может быть — а может и не быть — также подвержено вымиранию, как и любой другой вид животных. Но давайте не будем ставить этот эксперимент.
Если примитивное общество выживет, но никогда больше не сможет подняться на нынешний технологический уровень, не говоря о том, чтобы его превзойти, то тогда мы имеем пример сужения. Далее описаны некото-рые возможные причины сужения.

6.1. Истощение ресурсов или разрушение экологии
Природные ресурсы, необходимые для поддержания высокотехнологической цивилизации, истощаются. Если какой-нибудь другой катаклизм разрушит технологию, которой мы обладаем, может быть невозможно вскарабкаться назад на нынешний уровень, в том случае, коли природные условия будут менее благоприятными, чем они были для наших предшественников, например, если наиболее легко доступные уголь, нефть и минеральные ресурсы истощатся. (С другой стороны, если масса информации о наших технологических шагах сохранится, это может сделать возрождение цивилизации проще.)

6.2. Сбившееся с курса мировое правительство или другое неподвижное социальное равновесие остановит технологический прогресс
Можно представить, что однажды в мире придет к власти некое фундаменталистское религиозное или экологическое движение. Если к тому времени станет возможно сделать такое мировое правительство устойчивым относительно мятежей (с помощью продвинутого полицейского надзора или технологий контроля ума), это может навсегда закрыть возможность для человечества развиться до постчеловеческого уровня. Дивный Новый Мир Олдоса Хаксли являет собой широко известный сценарий этого типа (Huxley 1932).
Мировое правительство может не быть единственной формой соци-ального равновесия, которое может необратимо повредить прогрессу. Мно-гие регионы мира сегодня имеют большие трудности в создании учрежде-ний, адекватных темпам роста. В исторической ретроспективе было много случаев, когда прогресс стоял на месте или откатывался назад на значитель-ную дистанцию. Экономический и технологический прогресс может не быть настолько неизбежным, как это кажется нам.

6.3. Давление «вырождения»
Возможно, что продвинутое цивилизованное общество нуждается в том, чтобы в нем была достаточно большая доля интеллектуально одаренных людей. Сейчас кажется, что имеется негативная корреляция в некоторых местах между интеллектуальностью и фертильностью. Если такая селекция продлится в течение длительного периода времени, мы можем развиться в менее мозговитых, но более размножающихся существ, homo philoprogenitus («любитель большого числа отпрысков»).Однако, вопреки тому, что могут заставить подумать эти рассуждения, IQ фактически значительно вырос в течение последнего столетия. Это известно как эффект Флинна; см. например (Flynn 1987: 171—191; Storfer 1999). Не определено, однако, соответствует ли это реальным достижениям в важных интеллектуальных функциях.
Более того, генетическая инженерия быстро приближается к точке, к тому времени, когда родители смогут наделять своих отпрысков генами, коррелирующими с интеллектуальными способностями, физическим здо-ровьем, долгожительством и другими желательными чертами. В любом слу-чае, временная шкала естественной человеческой генетической эволюции кажется слишком большой, чтобы такое развитие событий имело бы какой-либо значительный эффект до того, как другие процессы сделают эту про-блему спорной (Bostrom et al. 1999; Freitas 1999).

6.4. Технологическая остановка
Существенные технологические трудности в переходе к постчелове-ческому миру могут оказаться столь велики, что мы его никогда не достиг-нем.

6.5. Нечто непредвиденное

Как и в прошлый раз, это — категория на все случаи жизни.
В общем, вероятность сужения выглядит гораздо меньшей, чем взрыва. Нам следует иметь в виду эту возможность, но не давать ей играть доминирующую роль в нашем мышлении на данном этапе. Если технологи-ческое и экономическое развитие должно будет замедлиться по неким при-чинам, тогда мы должны будем обратить более пристальное внимание к сце-нариям сужения.

7. Скрипы
Выяснение того, какие сценарии являются скрипами, является  более трудным из-за включения понятия «желательности» в определение скрипа. Если мы не знаем, что есть «желательное», мы не можем сказать, какие сце-нарии являются скрипами. Однако есть ряд сценариев, которые следует счи-тать скрипами, исходя из наиболее разумных интерпретаций.

7.1. Захват власти превосходящим интеллектом, загру-женным в компьютер
Предположим, что загрузка сознания в компьютер возникнет раньше, чем будет создан искусственный интеллекта человеческого уровня. Загрузка — это разум, перенесенный с биологического мозга в компьютер, который эмулирует вычислительный процесс, имеющий место в исходной биологической нейронной сети (Bostrom et al. 1999; Kurzweil 1999; Merkle 1994; Hanson 1994). Успешный процесс загрузки ра-зума сохранит изначальную память, навыки, ценности и сознание.
Загрузка разума упростит улучшение его интеллекта путем запуска на большей скорости, добавления дополнительных компьютерных ресурсов или оптимизации архитектуры. Можно предположить, что улучшение за-грузки выше некого уровня приведет к появлению позитивной обратной свя-зи, когда продвинутая загрузка будет способна находить пути сделать себя еще умнее; и более умная следующая версия будет, в свою очередь, еще ус-пешнее в улучшении себя, и так далее. Если этот быстрорастущий процесс произойдет внезапно, он может привести к тому, что загрузка достигнет сверхчеловеческого уровня интеллекта, тогда как все остальные разумные существа останутся примерно на человеческом уровне. Такое колоссальное интеллектуальное преимущество легко может дать ей соответственно боль-шую власть. Она может, например, быстро создать новые технологии или совершенные нанотехнологические конструкции. Если такая загрузка имеет склонность к не допускать других к тому, чтобы тоже загрузиться в компью-тер, она сможет сделать это.
Тогда постчеловеческий мир может быть отражением частных эгои-стических предпочтений этой загрузки (которые в худшем случае будут ху-же, чем просто бесполезными). Такой мир легко может стать реализацией только малой части того, что возможно и желательно. Этот исход — Скрип.

7.2. Сверхинтеллект с ошибкой
Опять-таки, существует возможность, что плохо запрограммирован-ный сверхинтеллект возьмет власть и реализует те ошибочные цели, которые были ошибочно ему даны.

7.3. Глобальный репрессивный тоталитарный режим
Подобным образом, можно представить, что фанатичное мировое правительство, основываясь, возможно, на ошибочных религиозных или эти-ческих убеждениях, сформируется, будет стабильным и решит реализовать только очень малую часть из всех тех позитивных вещей, которые постчело-веческий мир может иметь.
Такое мировое правительство, очевидно, может быть сформировано небольшой группой людей, если они будут контролировать первый сверхин-теллект и смогут задавать его цели. Если сверхинтеллект внезапно возникнет и станет достаточно сильным, чтобы захватить власть над миром, то этот постчеловеческий мир может отражать только уникальные ценности собст-венников или проектировщиков этого сверхинтеллекта. В зависимости от того, каковы эти цели, этот сценарий может считаться Скрипом.

7.4. Нечто непредвиденное
Все остальное.
Сценарии Скрипа кажутся имеющими значительную вероятность и потому должны быть восприняты всерьез в нашем стратегическом планиро-вании.
Можно пытаться доказать, что одна ценность, которая содержит в себе значительную часть того, что мы считаем желательным в постчеловече-ском мире, состоит в том, что этот мир содержит в себе настолько много, насколько это возможно, людей, которые сейчас живы. Помимо всего проче-го, многие из нас очень хотят не умирать (во всяком случае, не сейчас) и иметь шанс стать постлюдьми. Если мы примем это, то тогда любой сцена-рий, в котором переход к постчеловеческому миру отложен достаточно на-долго, чтобы почти все современные люди умерли до этого (предполагая, что они не были успешно сохранены посредством крионики (Merkle 1994; Ettinger 1964)) будет Скрипом. В случае провала попыток продления жизни или массового распространения крионики, даже гладкий переход к полно-стью развитому постчеловечеству через 80 лет будет составлять значитель-ный риск существованию, если мы определим «желательность» конкретно по отношению к людям, которые живы сейчас. Это предположение, однако, отягощено глубокой проблемой о природе ценностей, которую мы не будем пытаться решить здесь.
8. Всхлипы
Если все пойдет хорошо, мы можем однажды выйти на уровень фун-даментальных физических пределов. Хотя вселенная кажется бесконечной (Zehavi, Dekel 1999: 252—254; Bostrom 2001), доля вселенной, которую мы можем теоретически колонизировать (исходя из очень ограниченного нашего современного понимания ситуации) конечна (Cirkovic, Bostrom 2000: 675—687), и мы, в конечном счете, истощим все доступные ресурсы, или ресурсы сами собой будут распадаться, по мере постепенного уменьшения негэнтропии и связанного с этим превращением материи в излучение. Но здесь мы говорим об астрономических масштабах времени. Окончание такого рода может быть лучшим, на что мы вправе надеяться, так что будет неправильным считать это риском существованию. Он не соответствует определению Всхлипа, так как человечество на этом пути реализует большую часть своего потенциала. Два вида Всхлипов (в отличие от обычных, охватывающих все гипотез) кажутся имеющими значительную вероятность:
8.1. Наш потенциал и даже наши базовые ценности разъе-даются развитием в ходе эволюции
Этот сценарий концептуально более сложен, чем другие риски суще-ствованию, которые мы рассматривали (вместе, возможно, со сценарием Взрыва «Мы живем в компьютерной симуляции, которую выключают»). Он рассмотрен более подробно в статье-компаньоне этой (Bostrom 2001). Очерк той статьи приведен в конце этой статьи в Приложении (Приложение: очерк эволюционного «всхлипа»).
Похожий сценарий описывается в (Hanson 1998), где доказывается, что наши «космические привычки» будут выжжены в ходе колонизационной гонки. Селекция будет благоприятствовать тем репликаторам, которые будут тратить все свои ресурсы на отправку вовне следующих колонизационных зондов (Freitas 1980: 251—264).
Хотя время, которое потребуется, чтобы случился Всхлип такого ро-да, относительно велико, он все равно может иметь важные стратегические приложения, так как, возможно, краткосрочные решения могут предопреде-лить, вступим ли мы на путь (Bostrom 2000), который неизбежно ведет к этому результату. Как только эволюционный процесс запущен или космиче-ская колонизационная гонка началась, может оказаться трудным или невоз-можным остановить ее (Chislenko 1996). Вполне может быть, что единствен-ный возможный путь избежать данного Всхлипа — полностью предотвра-тить раскручивание этих цепочек событий.

8.2 Уничтожение внеземной цивилизацией
Вероятность столкнуться с инопланетянами в ближайшее время ка-жется очень маленькой (см. главу этой статьи об увеличивающихся вероят-ностях ниже, а так же (Barrow, Tipler 1986; Tipler 1982: 36—39)).Если все пойдет хорошо, и мы разовьемся в межгалактическую цивилизацию, мы мо-жем однажды в далеком будущем встретить инопланетян.Если они будут враждебны и если (по некой неизвестной причине) они будут обладать зна-чительно лучшей технологией, чем мы будем обладать тогда же, они могут начать процесс завоевания нас. Или, если они запустят процесс фазового перехода вакуума посредством своих высокоэнергетических физических экспериментов (см. главу Взрывы), то однажды нам придется столкнуться с последствиями. По причине того, что пространственная протяженность на-шей цивилизации на этой стадии будет вероятно очень велика, завоевание или разрушение потребует много времени для завершения, в силу чего этот сценарий будет  скорее Всхлипом, чем Взрывом.
8.3 Нечто непредвиденное
Все другие гипотезы.
Первый из сценариев Всхлипа должен быть тщательно взвешен при формулировании долгосрочной стратегии. Взаимодействие со вторым сценарием Всхлипа мы можем безопасно делегировать будущим поколениям (поскольку мы ничего не можем сделать с этим сейчас в любом случае.)

9. Определение величины вероятности рисков
существованию
9.1 Прямые методы против непрямых
Есть два взаимодополняющих пути оценки наших шансов создания постчеловеческого мира. Прямой путь, состоит в анализе различных сцена-риев катастрофы, приписании им вероятностей и затем — вычитании суммы вероятностей этих катастроф из единицы для получения вероятности успеха. Детальные вычисления помогут нам понять, каков будет вклад отдельных причин вымирания в конечный результат. Например, мы бы хотели знать ответы на следующие вопросы вопросы, такие как: насколько труднее спро-ектировать нанотехнологическую иммунную систему с защитой от глупца, чем спроектировать нанобот, который может выжить и репродуцировать себя в естественной среде? Насколько реально сохранить нанотехнологии строго регулируемыми в течение длительных периодов времени (таким обра-зом, чтобы человек с деструктивными намерениями не мог получить в свои руки наноассемблер, находящийся вне герметичной защищенной сборочной лаборатории (Drexler 1985))? Насколько вероятно, что сверхинтеллект поя-вится ранее продвинутых нанотехнологий? Мы можем делать догадки на основе соответствующих параметров и давать оценки; и мы можем сделать то же самое для других рисков существованию, которые мы описали выше. (Я попытался отобразить приблизительную относительную вероятность раз-личных рисков в порядке следования их описаний, данном в предыдущих четырех главах.)
Во-вторых, имеется непрямой путь оценки наших шансов создания постчеловеческого мира. Есть теоретические ограничения, связанные с дан-ной проблемой, основанные на некоторых общих свойствах мира, в котором мы живем. Их немного, но они важны, так как не основываются на множестве догадок о деталях будущего технологического и социального развития.

9.2 Парадокс Ферми
Парадокс Ферми — это вопрос, вызываемый тем фактом, что мы не наблюдаем никаких признаков внеземной жизни (Brin 1983: 283—309). Это говорит нам о том, что жизнь не возникает на значительной части землепо-добных планет и не развивается вплоть до появления продвинутых техноло-гий, которые используется для колонизации Вселенной теми путями, кото-рые могут быть замечены нашими современными инструментами. Здесь должен быть (по крайней мере, один) Большой Фильтр — эволюционный шаг, который чрезвычайно маловероятен — где-то на полпути между земле-подобной планетой и видимым образом колонизирующей космос цивилиза-цией (Hanson 1998). И если этот Великий Фильтр не находится в нашем прошлом, нам следует опасаться его в (ближайшем) будущем. Может быть, почти каждая цивилизация, развившая определенный уровень технологии, вызывает свое собственное вымирание.
К счастью, то, что мы знаем о нашем эволюционном прошлом, хо-рошо соотносится с гипотезой, что Великий Фильтр позади нас. Имеется несколько убедительных кандидатов на  крайне маловероятные эволюцион-ные шаги в истории развития жизни на Земле, которые могут быть достаточ-но невероятными, чтобы объяснить, почему цивилизации в космосе возни-кают столь редко и, следовательно, почему мы не видим и не встречаем ни-каких инопланетян. Эти шаги включают в себя возникновение первых орга-нических саморепликаторов, переход от прокариотов к эукариотам, дыхание кислородом, половое воспроизводство и, вероятно, другие . Вывод состоит в том, что, исходя из нашего нынешнего знания эволюционной биологии, рассуждения о Великом Фильтре не могут много сказать нам о том, с какой вероятностью мы станем постлюдьми, хотя они могут дать нам легкие намеки (Barrow, Tipler 1986; Carter 1983: 347—363; Carter 1989: 33—63; Hanson 1998). Это может резко измениться, если мы откроем следы независимо развившейся жизни (неважно, вымершей, или нет) на других планетах. Такое открытие будет плохой новостью. Обнаружение относительно продвинутых форм жизни (многоклеточных организмов) будет особенно угнетающим.
9.3 Эффекты наблюдательной селекции
Теория эффектов селективности наблюдения может сказать нам, что именно мы должны ожидать от наблюдений, исходя из некоторых гипотез о распределении наблюдателей во Вселенной. Сравнивая эти предсказания с нашими реальными наблюдениями, мы получим вероятностные оценки за или против различных гипотез. Одной из попыток применить такого рода рассуждения для предсказания наших будущих перспектив является так на-зываемое Рассуждение о конце света  (Doomsday argument) (Leslie 1989, 1996). Его цель — доказать, что мы систематически недооцениваем вероят-ность того, что человечество вымрет относительно скоро. Идея, в простей-шей форме, состоит в том, что мы должны думать о себе как о — в некотором смысле — случайной выборке из набора всех наблюдателей в нашем референтном классе (reference class), и мы, скорее всего, живем так рано, как оно обстоит на самом деле, если после нас нет очень большого числа наблюдателей нашего класса. Рассуждение о конце света крайне противоречиво, и я всюду доказывал, что, хотя оно может быть теоретически обосновано, некоторые из условий его применимости не выполняются, так что применение его к нашему конкретному случаю будет ошибкой (Bostrom 1999: 539—550; Bostrom 2002).
Другие рассуждения, основанные на антропном принципе, могут быть более успешными: рассуждения на основе парадокса Ферми — это один пример, и в следующей главе приводится другой. В целом, основной урок состоит в том, что мы должны избегать использования того факта, что жизнь на Земле выжила до сегодняшнего дня и что наши гуманоидные пред-ки не вымерли в некой внезапной катастрофе, для доказательства того, что рожденная на Земле жизнь и гуманоидные предки были высоко живучими. Даже если на огромном большинстве землеподобных планет жизнь вымерла до возникновения разумной жизни, мы все равно можем считать себя нахо-дящимися на одной из исключительных планет, которая была достаточно везучей, чтобы избежать разрушения . В этом случае наш прошлый успех не дает никаких оснований ожидать успеха в будущем.
Область исследований эффектов избирательности наблюдения явля-ется методологически очень сложной (Bostrom 2000: 93—108, 2001: 359—387, 2002), и требуются более фундаментальные работы для того, чтобы понять, как правильно рассуждать об этих вещах. Вполне могут существовать выводы из этой области знаний, которые мы пока еще не можем понять.
9.4 Рассуждение о Симуляции
Большинство людей не верят, что они живут в компьютерной симу-ляции. Я недавно показал (используя некоторые, достаточно непротиворечи-вые аспекты теории эффектов избирательности наблюдения), что это приво-дит к вере в то, что мы почти наверняка не достигнем постчеловеческой ста-дии или что почти все постчеловеческие цивилизации не имеют индивидуу-мов, которые запускают большие количества симуляций прошлого, то есть, — компьютерных симуляций человекоподобных существ, из которых они развились (Bostrom 2001). Этот вывод весьма пессимистичен, поскольку он существенно уменьшает число позитивных сценариев будущего, которые достаточно логичны в свете современных эмпирических знаний.
Рассуждение о симуляции является не только общим предупрежде-нием; оно также перераспределяет вероятности между гипотезами, которые остаются вероятными. Он увеличивает вероятность того, что мы живем в симуляции (что может множеством тонких путей влиять на нашу оценку то-го, насколько вероятными являются разные исходы) и оно уменьшает веро-ятность того, что постчеловеческий мир будет обладать множеством свобод-ных индивидуумов, имеющих большие ресурсы и человекоподобные моти-вы. Это дает нам ценные намеки на то, на что же мы реально можем надеять-ся и, соответственно, на что мы должны направлять наши усилия.
9.5 Когнитивные искажения
Психология восприятия рисков является активно развивающейся, но довольно запутанной областью знаний (Sjberg 2000: 1—11), которая может потенциально предоставить непрямые основания для пересмотра наших оценок угроз существованию.
Думаю, что наши представления о том, какие сценарии будущего яв-ляются «убедительными и реалистичными», сформированы тем, что мы ви-дим по телевидению и в кино, и тем, что мы читаем в романах. (Помимо всего прочего, значительная часть рассуждений о будущем, с которыми сталки-ваются люди, существует в форме фантастики и в других развлекательных контекстах.) Тогда мы должны, размышляя критически, подозревать, что наши интуитивные ожидания искажены в сторону приувеличения вероятно-стей тех сценариев, которые создают Хорошие истории, поскольку такие сценарии кажутся более знакомыми и более «реальными».
Это «предубеждение (bias) Хорошей-истории» может быть весьма сильным. Когда вы видели последний раз фильм о внезапном истреблении человечества (без предупреждения и без замены какой-либо другой цивили-зацией)? Хотя этот сценарий гораздо более вероятен, чем сценарий, в кото-ром люди-герои успешно отражают вторжение монстров или боевых робо-тов, он гораздо менее забавен для просмотра. Так что, мы не видим большого количества фильмов такого типа. Если мы не будем осторожны в своих рассуждениях, мы можем впасть в заблуждение, будто скучные сценарии слишком маловероятны, чтобы их стоило принимать всерьез. В общем, если мы подозреваем, что имеет место когнитивное искажение Хорошей истории, мы можем сознательно увеличить наше доверие скучным гипотезам и уменьшить наше доверие интересным, эффектным гипотезам. Суммарный эффект должен перераспределить вероятность между рисками существованию в пользу тех, которые кажутся менее соответствующими продающимся сюжетам, и, возможно, увеличить вероятность рисков существованию в целом.
Эмпирические данные о предубеждениях в оценке рисков двусмыс-ленны. Доказано, что мы страдаем от систематических предубеждений, когда оцениваем наши собственные перспективы рисков в целом. Некоторые данные показывают, что людям свойственно переоценивать собственные способности и перспективы . Три четверти всех автолюбителей думают, что они более осторожные водители, чем среднестатистический водитель . Со-гласно одному исследованию, почти половина социологов верит, что они принадлежат к лучшим десяти ученым в своей области (Westie 1973: 19—32), и 94% социологов думают, что они лучше работают в своей отрасли, чем их коллеги в среднем. Также было показано, что находящиеся в депрессии люди делают более точные предсказания, чем люди в нормальном состоянии, за исключением тех, что касаются безнадежности их ситуации (Paulhaus 1986; Roth, Ingram 1985: 243—251; Sackheim, Gur 1979: 213—215). Большинство людей думает, что они сами с меньшей вероятностью подвержены обычным рискам, чем другие люди (Sjberg 1994). Широко распространено убеждение (Urguhart. Heilmann 1984), что публика склонна переоценивать вероятности часто освещаемых в печати рисков (таких, как катастрофы самолетов, убийства, отравления едой и т. д.), и недавнее исследование (Taylor 1999) показывает, что публика переоценивает большое количество распространенных рисков здоровью в отношении себя. Другое недавнее исследование (Benjamin et al. 2001: 35—57), однако, предполагает, что доступная информация согласуется с предположением, что публика рационально оценивает риск (хотя и с некоторым сужением числа доступных анализу вариантов из-за расхода мыслительных усилий на удержание в уме точной информации) .
Даже если мы можем получить твердые свидетельства предубежде-ний в оценке личных рисков, мы все еще должны быть осторожны в распро-странении их на случай рисков существованию.

9.6 Оценка собранных данных
В сумме эти непрямые аргументы добавляют важные ограничения к тем, которые мы можем вывести из прямого рассмотрения различных техно-логических рисков, хотя в этой статье недостаточно места для детального рассмотрения. Но общая сумма свидетельств такова, что может показаться неразумным не приписать значительную вероятность гипотезе, что глобаль-ная катастрофа убьет нас. Мое субъективное мнение состоит в том, что будет ошибочно полагать эту вероятность меньшей, чем 25%, и  наивысшая оценка может быть значительно больше. Но даже если бы вероятность была гораздо меньше (скажем, ~1%) заявленная тема все равно заслуживала бы очень серьезного внимания по причине высоты ставок.
В целом, наибольшие риски существованию на отрезке времени в два столетия или меньше кажутся связанными с активностью продвинутой технологической цивилизации. Мы видим это, просматривая список различ-ных глобальных рисков, который мы составили. В каждой из четырех кате-горий наивысшие риски связаны с человеческой активностью. Значительные глобальные угрозы, для которых это не верно, — это «симуляция выключа-ется» (Хотя в некоторых версиях этой гипотезы выключение может быть вызвано нашей активностью, (Bostrom 2001)); удар кометы или астероида (что очень маловероятный риск); и уничтожение внеземной цивилизацией (что очень маловероятно в ближайшем будущем) .
Неудивительно, что глобальные риски, созданные современной ци-вилизацией, получают львиную долю вероятности. В конце концов, мы дела-ем сейчас некоторые вещи, которые никогда не делались на Земле ранее, и мы развиваем потенциал, чтобы сделать гораздо больше таких вещей. Если неантропогенные факторы не смогли уничтожить человеческий вид в тече-ние сотен тысяч лет, может показаться маловероятным, что эти факторы сра-зят нас в ближайшие сто или двести лет. И, наоборот, у нас нет никаких при-чин не думать, что творения продвинутой цивилизации будут нашей погибе-лью.
Однако, мы не должны слишком спешить отбрасывать риски суще-ствованию, которые не созданы человеком, как незначительные. Это правда, что наш вид выжил в течение долгого времени, несмотря на присутствие та-ких рисков. Но здесь может играть роль эффект селекции наблюдателей. Во-прос, который нам следует задать, состоит в следующем: в теоретическом случае, если природные катастрофы стерилизуют землеподобные планеты с большой частотой, что мы должны ожидать обнаружить? Очевидно, не то, что мы живем на стерилизованной планете. Но может быть, мы должны быть людьми, стоящими на более ранней фазе эволюции? Чтобы ответить на этот вопрос, мы нуждаемся в решении вопроса о референтных классах в теории селекции наблюдателей (Bostrom 2002). Но эта часть методологии еще не существует. Так что сейчас мы можем сказать, что наиболее серьезный гло-бальный риск создается продвинутой человеческой цивилизацией, но мы основываем эти утверждения на прямых рассуждениях. Есть ли дополни-тельные аргументы для наших выводов от непрямых рассуждений, — оста-ется открытым вопросом.
Мы не должны винить цивилизацию или технологию за создание больших глобальных рисков. По причине того, как мы определили угрозы существованию, провал в создании технологической цивилизации будет оз-начать, что мы пали жертвами глобальной катастрофы (а именно, сужения, «технологической остановки»). Без технологии наши шансы избежать гло-бальных рисков будут нулевыми. С технологиями у нас есть небольшой шанс, хотя наибольшие риски, как оказалось, создаются самими технология-ми.

10. Рекомендации, касающиеся стратегии и этики

Угрозы существованию имеют набор черт, в силу которых полезно выделить их в отдельную категорию: колоссальный размер ущерба; тщет-ность метода проб и ошибок в данном случае; недостаток развитых биологических и культурных методов преодоления; тот факт, что предотвращение риска существованию является глобальным общественным интересом; совместная общественная заинтересованность всех будущих поколений; международная природа многих требуемых мер противодействия; по своей природе умозрительная и междисциплинарная природа темы; тонкие и разнообразные методологические проблемы, возникающие в процессе оценки вероятностей глобальных рисков; и относительное пренебрежение ко всей этой области.
Из нашего обзора наиболее важных угроз существованию и их глав-ных свойств мы можем вывести предварительные рекомендации для этики и стратегии.

10.1. Поднимать известность проблемы рисков существованию
Нам нужно больше исследований в области рисков существованию — детальных исследований частных аспектов конкретных рисков, равно как и общих исследований проблем, связанных с этикой, методологией, безопас-ностью и политикой. Осведомленность публики так же должна быть повы-шена, чтобы стали бы возможными конструктивные политические дискуссии о возможных контрмерах..
Современные исследователи всегда склонны заканчивать свои ста-тьи словами, что в их области требуются дальнейшие исследования. Но в данном случае это, действительно, правда. Имеется гораздо больше научных исследований на тему поведения навозных мух, чем о глобальных рисках.

10.2 Создать структуру для международных действий
Поскольку снижение рисков существованию является всеобщим об-щественным благом, в идеальном случае должна быть такая узаконенная структура, которая бы справедливо распределяла расходы и ответственность для обеспечения этого блага между всеми людьми. Даже если расходы нельзя разделить справедливо, нужно пытаться создать некоторую систему, которая обеспечит расходы на снижение рисков в приблизительно оптимальных объемах.
Однако,  необходимость международных действий связана с чем-то большим, чем желательность распределения расходов. Многие глобальные риски просто не могут быть существенно уменьшены посредством внутрен-них действий одной или даже большинства стран. Например, даже если большинство стран примет и применит национальные законы против созда-ния некоторых конкретных деструктивных видов нанотехнологий, достигнем ли мы, на самом деле, безопасности, если некоторые менее добросовестные страны решат все равно продвигаться вперед? И принципы ведения страте-гических переговоров – могут сделать недопустимым подкуп всех безответ-ственных сторон, чтобы они подписали соглашение, даже если все выиграют, если каждый подпишется (Feldman 1980; Schelling 1960).

10.3 Сохранять готовность к превентивному действию
в качестве последнего средства
Создание консенсуса на широкой основе между странами мира тре-бует много времени, оно трудно и во многих случаях невозможно. Поэтому мы должны осознать, что могут возникнуть случаи, в которых сильные стра-ны или коалиции стран должны действовать односторонне ради своего и общего блага. Такие односторонние действия могут ущемлять суверенитет других наций и, возможно, должны быть сделаны упреждающе.
Давайте конкретизируем эту гипотезу. Предположим, продвинутая нанотехнология только что была создана в нескольких ведущих лабораториях. (Под продвинутой нанотехнологией я имею в виду настоящий универсальный наноассмблер — устройство, которое может создавать широкий круг трехмерных структур, включая твердые части, с точностью до атома на основании детально определенного процесса сборки и конструирования, некоторого запаса химикатов и поставки энергии.) Предположим, что на этой стадии возможно предсказать, что изготовление опасных нанорепликаторов будет гораздо проще, чем создание надежной нанотехнологической иммунной защиты, которая может защитить от всех простых опасных репликаторов. Может быть, чертежи опасных репликаторов уже были созданы заранее и доступны через Интернет. Предположим далее, что большая часть исследований, ведущих к созданию наноассемблера, за исключением только нескольких последних стадий, доступна в открытой литературе; так что другие лаборатории в других частях мира, скорее всего, скоро создадут свои собственные наноассемблеры. Что должно быть сделано?
С такими исходными данными, можно с уверенностью предсказать, что опасные технологии вскоре попадут в руки «стран-изгоев», к сосредото-ченным на ненависти к чему-то группам людей и, возможно, в конце концов, в руки одиноких психопатов. Рано или поздно кто-либо соберет и выпустит на волю деструктивный нанобот и разрушит биосферу. Единственный вари-ант — предпринять действия по недопущению распространения технологии наноассемблера до тех пор, пока надежные контр-меры против наноатаки не будут развернуты.
Можно надеяться, что большинство наций будут достаточно ответ-ственны, чтобы добровольно подписаться на соответствующую регуляцию технологии ассемблеров. Эта регуляция не должна быть в форме запрета на ассемблеры, но должна ограничить временно, но эффективно их использова-ние, и она должна дополняться строгой программой контроля. Некоторые страны, однако, могут отказаться принять эту программу. На них будет вна-чале оказываться давление, чтобы они примкнули к коалиции. Если все по-пытки убеждения провалятся, сила или угроза применения силы должны быть использованы, чтобы заставить их принять регуляцию.
Превентивный удар по суверенной стране не должен быть легко со-вершаемым действием, но, в крайнем случае, который мы обрисовали, когда неспособность действовать с большой вероятностью приведет к глобальной катастрофе, мы несем ответственность, которую нельзя игнорировать. Лю-бой моральный запрет, который существует в нормальных условиях против нарушения государственного суверенитета, перевешивается в этом случае необходимостью предотвратить разрушение человечества. Даже если подоз-рительная страна еще не совершила открытых нарушений, само решение продвигаться в развитии опасных технологий при отсутствии достаточной регуляции должно интерпретироваться как акт агрессии, поскольку это под-вергает весь остальной мир даже большему риску, чем, скажем, запуск не-скольких ядерных ракет в случайных направлениях.
Интервенция должна быть достаточно решительной, чтобы умень-шить риск до приемлемых уровней, но она не должна быть большей, чем это необходимо, чтобы достичь цели. Может быть, даже уместно выплатить компенсацию жителям подвергшейся атаки страны, многие из которых не несут никакой или почти никакой ответственности за безответственные дей-ствия своих лидеров.
Хотя мы надеемся, что мы никогда не окажемся в ситуации, когда применение силы станет необходимым, важно, что мы озвучим наши мо-ральные и стратегические мысли на случай этих чрезвычайных обстоя-тельств. Развитие широкого понимания моральных аспектов этого сценария заранее особенно важно, поскольку без определенного уровня публичной поддержки демократическим странам будет трудно действовать решительно до того, как появятся какие-либо видимые проявления опасности. Ожидание ее проявления — определенно не подходящий вариант, потому что оно само по себе уже может быть концом .

10.4 Регулирование скорости развития технологий
Если некая возможная технология имеет большой коммерческий по-тенциал, вероятно, невозможно не допустить ее развития. Во всяком случае, в современном мире, с большим количеством автономных держав и относи-тельно ограниченным надзором и, во всяком случае, с технологиями, кото-рые не зависят от редких материалов или огромных заводов, будет чрезвы-чайно трудно сделать запрет на развитие 100% надежным. Для некоторых технологий (скажем, разрушающих озон веществ) несовершенно осуществ-ляемая регуляция может быть всем, что нам нужно. Но с другими техноло-гиями, такими как деструктивные наноботы, которые самореплицируются в естественной среде, даже единственное нарушение может быть смертель-ным. Ограниченная применимость технологических запретов ограничивает набор возможных политик, из которого мы можем выбирать.
То, на что мы должны иметь возможность влиять (в объеме, завися-щем от того, как мы определяем это «мы»), — это темп развития различных технологий и, вероятно, последовательность, в которой возможные техноло-гии развиваются и применяются. Мы должны быть сосредоточены на том, что я называю дифференциальным технологическим развитием: попытках замедлить применение опасных технологий и ускорить применение полез-ных технологий, особенно тех, которые смягчают угрозы, создаваемые дру-гими технологиями.
В случае нанотехнологий, желательной последовательностью было бы размещение защитных систем до того, как наступательные возможности станут доступными для многих независимых государств; с того момента, когда секрет или технология становится доступной многим, чрезвычайно трудно не допустить их дальнейшего распространения. В случае биотехнологий мы должны стремиться продвигать исследования в области вакцин, антибактериальных и антивирусных лекарств, защитных приспособлений, сенсоров и систем диагностики и отложить настолько, насколько это возможно, развитие (и распространение) возбудителей и переносчиков болезней из арсенала бактериологического оружия. Разработки, развивающие средства наступления и обороны в равной степени, являются нейтральными с точки зрения безопасности, пока они осуществляются странами, которые мы идентифицируем как ответственные, и в этом случае они являются выгодными в том отношении, что они увеличивают наше технологическое преимущество над нашими потенциальными противниками. Такие «нейтральные» разработки также могут быть полезны в уменьшении природных угроз, и они могут также приносить пользу, не связанную с глобальной безопасностью.
Некоторые технологии особенно стоит продвигать, поскольку они могут помочь уменьшить широкий круг рисков. Сверхинтеллект — одна из них. Хотя он имеет свои опасности (разъяснявшиеся в предыдущих главах), есть опасности, с которыми мы столкнемся в некоторый момент, несмотря ни на что. Но получение сверхинтеллекта раньше этого момента — жела-тельно, поскольку это поможет уменьшить другие риски. Сверхинтеллект может дать нам советы в стратегии. Сверхинтеллект сделает кривую про-гресса для нанотехнологий гораздо круче, таким образом, сокращая период уязвимости между созданием опасных нанорепликаторов и размещением адекватной защиты. Наоборот, получение нанотехнологий до сверхинтеллекта мало уменьшит риски сверхинтеллекта. Единственное значительное исключение здесь — в том случае, если мы думаем, что важно достичь сверхинтеллекта посредством загрузки человека в компьютер, а не искусственного интеллекта. Нанотехнологии очень помогут загрузке (Freitas 1999).
Другие технологии, которые обладают высоким потенциалом уменьшения рисков, включают в себя усиление интеллекта, информацион-ные технологии и надзор. Они могут сделать нас умнее индивидуально и коллективно и могут сделать более возможным установление необходимой регуляции. Таким образом, судя по имеющимся данным, есть серьезные при-чины продвигать эти технологии настолько решительно, насколько возмож-но .
Как уже говорилось, мы можем также определить достижения за пределами технологий, которые полезны почти при всех сценариях. Мир и международное сотрудничество — очевидно, ст;ящие цели, равно как и культивирование традиций, которые помогают демократиям процветать .

10.5 Программы, направленные на прямое
 уменьшение конкретных угроз существованию
Некоторые малые угрозы существованию могут быть парированы достаточно дешево. Например, есть организации, нацеленные на картирова-ние потенциально опасных околоземных объектов (например, в НАСА суще-ствует программа обнаружения околоземных астероидов и фонд космиче-ской защиты). Здесь могло бы быть дано дополнительное финансирование. Чтобы уменьшить вероятность «физических катастроф», может быть создан общественный наблюдательный комитет с правом осуществлять предвари-тельную экспертизу потенциально опасных экспериментов. Сейчас это дела-ется от случая к случаю и часто таким способом, который зависит от честно-сти исследователей, имеющих личную заинтересованность в продолжении экспериментов.
Угрозы существованию от естественных или генетически сконст-руированных пандемий могут быть уменьшены теми же мерами, которые могут помочь не допустить или локализовать более ограниченные эпидемии. В силу этого можно было бы увеличить усилия в противодействии террориз-му, гражданской обороне, эпидемиологическом мониторинге и передаче ин-формации, разработке и накоплении запасов антидотов, репетировании ка-рантинных процедур в случае катастрофы и т. д. Даже отвлекаясь от угроз существованию, было бы, вероятно, рентабельно увеличить долю таких про-грамм в оборонных бюджетах .
Широко признанным приоритетом является уменьшение риска ядер-ного Армагеддона, как случайного, так и намеренного. Имеется огромный объем литературы о связанных с этим стратегических и политических про-блемах, к которому мне нечего здесь добавить.
Такие долгосрочные опасности, как распространение нанотехноло-гий или гонка вооружений между нанотехнологическими державами, равно как и риск в духе Всхлипа «эволюции в забвение», могут сделать необходи-мым, даже в большей мере, чем ядерное оружие, создание и применение ско-ординированной глобальной стратегии. Признание этих угроз существова-нию предполагает, что было бы разумно постепенно перенести фокус поли-тики в области безопасности с поиска национальной безопасности посредст-вом одностороннего усиления на создание единой международной системы безопасности, которая сможет предотвратить гонку вооружений и распро-странение оружия массового поражения. Какая конкретная политика имеет наилучшие шансы достижения этой долгосрочной цели — это вопрос, выхо-дящий за пределы тематики данной статьи.

10.6. Максипок: эмпирическое правило для этичных
поступков
Предыдущие главы показали, что совместная вероятность угроз су-ществованию очень велика. Хотя по-прежнему имеется достаточно широкий разброс оценок, которые могут сделать ответственные мыслители, тем не менее, может быть доказано, что, поскольку ущерб от глобальной катастро-фы столь велик, стремление к уменьшению угроз существованию должно быть доминирующим соображением среди забот о человечестве в целом. Было бы полезно принять следующее эмпирическое правило для этичных поступков; мы назовем его Максипок:
Максимизируйте вероятность позитивного исхода, где «позитивный исход» — это любой исход, при котором не происходит глобальной смер-тельной катастрофы.
В лучшем случае, это — эмпирическое правило, первоначальное предположение, а не абсолютно обоснованный принцип, поскольку есть и другие моральные цели, помимо предотвращения глобальной смертельной катастрофы. Этичное действие всегда находится под риском переноса его основных усилий на вызывающие приятные ощущения проекты , а не на серьезную работу, которая имеет наилучшие шансы излечить наихудшие болячки. Разрыв между вызывающими приятные ощущения проектами и теми, которые на самом деле имеют наибольший позитивный потенциал, вероятно, особенно велик в отношении угроз существованию. Поскольку цель весьма абстрактна и поскольку угрозы существованию не причиняют сейчас страданий ни одному живому существу , из усилий по их уменьше-нию может быть выведено гораздо меньше прибыли в виде приятного само-ощущения . Это предполагает дополнительный этический проект, а именно: изменить общественное этическое восприятие таким образом, чтобы создать большее уважения и социальное одобрение тем, кто тратит свое время и ре-сурсы на то, чтобы облагодетельствовать человечество посредством гло-бальной безопасности, в сравнении с другими видами филантропии.
Максипок, как один из принципов разумной достаточности, отлича-ется от Максимина («Выбирайте действие, которое имеет наилучший исход в наихудшем случае».)  Поскольку мы не можем полностью устранить угрозы существованию (в любой момент мы можем быть сброшены в мусорный ящик космической истории расширяющимся фронтом вакуумного перехода, запущенного в далекой галактике миллиард лет назад), использование Максимина в текущем контексте имело бы последствием то, что мы должны были бы выбрать действие, которое имело бы наибольшие преимущества при предположении о неизбежном вымирании. Иными словами, Максимин означает, что мы все должны начать развлекаться, как если бы у нас не было завтра.
Хотя этот вариант бесспорно привлекателен, очевидно, что лучше допустить, что может наступить хотя бы завтрашний день, особенно, если мы правильно разыграем наши карты.

Выражения признательности

Я благодарен за комментарии Курту Адамсу (Curt Adams), Амаре Ангелике (Amara Angelica), Брайану Эткинсу (Brian Atkins) , Милану Цирко-вичу (Milan Cirkovic), Дугласу Чембермену (Douglas Chamberlain), Роберту Фрайтасу, Марку Губруду (Mark Gubrud), Робину Хэнсону (Robin Hanson), Барбаре Ламар (Barbara Lamar), Джону Лесли (John Leslie), Майку Тредеру (Mike Treder), Кену Олуму (Ken Olum), Роберту Пизани (Robert Pisani), не-скольким анонимным читателям и аудитории на встрече SIG в институте Foresight Institute в апреле 2001 года. Эта статья также выиграла от дискус-сий с Микаэлой Фистос (Michaela Fistioc), Биллом Джоем (Bill Joy), Джоном О (John Oh), Пэтом Паркером (Pat Parker), Кетом Де Роузом (Keith DeRose), и Питером Сингером (Peter Singer).

Приложение: очерк эволюционного «всхлипа»
Это приложение дает очерк того, почему существует угроза, что мы кончим эволюционным «всхлипом». Последующая цепь рассуждений из 11 звеньев не предназначена для того, чтобы быть жестким доказательством какого-либо рода, но скорее — наводящим на размышления рассказом без литературных украшений. (Более подробную дискуссию по некоторым из этих идей см. (Bostrom 2001).)
Хотя легко думать об эволюции как о жизни,  происходящей от про-стых к более сложным формам, мы не должны некритически предполагать, что это всегда так. Это правда, что здесь, на Земле, простые репликаторы развились в человеческие существа (среди прочего), но по причине эффекта селективности наблюдения, информационная ценность этого одного свиде-тельства очень ограничена (больше на эту тему сказано в главе об оценке вероятностей рисков существованию).
Мы не наблюдаем в настоящий момент значительного эволюционного развития человеческого вида. Это связано с тем, что биологическая эволюция действует на временной шкале многих поколений, а не потому что этого больше не происходит (Kirk 2001: 432—435).
Биологическая человеческая эволюция медленна в первую очередь из-за медленности процесса человеческого размножения (с минимальным промежутком между поколениями примерно в полтора десятка лет).
Загруженные в компьютер люди и машинные интеллекты могут раз-множаться практически мгновенно в случае наличия необходимых ресурсов. Также, если они смогут предсказать некоторые аспекты своей эволюции, они смогут модифицировать себя прямо сейчас, вместо того, чтобы ждать, пока их оттеснят на второй план другие. Оба эти фактора могут привести к гораз-до более быстрому эволюционному развитию в постчеловеческом мире.
Виды деятельности и жизненные пути, которые мы ценим, могут не совпадать с видами деятельности, которые имеют максимальную экономиче-скую ценность в постчеловеческом мире. Деятели, которые выберут трату некоторой части своих ресурсов на (непродуктивные или не очень оптималь-ные) «хобби», будут находится в невыгодном положении, и будут потому рисковать быть оттесненными на второй план. (Но как тогда игра могла раз-виться у людей и других приматов? Предположительно, потому что она была адаптивно выгодна и поэтому «продуктивна» в смысле слова используемого здесь. Мы приписываем ценность игре. Но опасность состоит в том, что нет никаких гарантий, что виды деятельности, которые будут адаптивно полезными в будущем, будут теми же, которые мы сейчас считаем полезными — адаптивная деятельность в будущем может быть даже не связана с какой-либо формой осознания).
Мы должны различать два значения слов «оттеснены на второй план». В первом случае «оттеснены» означает «оттеснены» только в относи-тельном смысле: ресурсы, которыми такие существа обладают, составляют все меньшую и меньшую часть от всех колонизованных ресурсов с течением времени. Во втором смысле, «оттесненный» тип испытывает уменьшение в абсолютных терминах, так что, в конечном счете, это тип становится вы-мершем.
Если права собственности почти совершенно соблюдаются (на кос-мических расстояниях, что, кажется, непросто сделать), тогда «хоббисты» (то есть те типы, которые тратят часть своих ресурсов на непродуктивные виды деятельности) будут оттеснены только в первом смысле слова. В зави-симости от деталей это может быть, а может и не быть классифицировано как «всхлип». Если потеря потенциала (по причине доминирования типов, которые мы не считаем ценными) достаточно велика, это будет «всхлипом».
При отсутствии совершенного соблюдения прав собственности, нам следует опасаться того, что хоббисты вымрут, потому что они менее эффек-тивные соревнователи за одни и те же экологические ниши, чем те типы, которые не тратят никаких своих ресурсов на активность в духе хобби.
Единственный путь избежать этого исхода может состоять в замене естественной эволюции — направленной эволюцией, то есть так сформиро-вать давление социальной селекции, что оно будет потворствовать хобби-стам (например, обкладывая налогом нехоббистов) (Bostrom et al. 1999; Bostrom 2001). Это может сделать тип хоббистов успешным в соревновании.
Направленная эволюция, однако, требует координации. Ничего хо-рошего не выйдет, если одни общества решат благоволить своим хоббистам, в то время как другие общества, наоборот, решат максимализировать свою продуктивность путем прекращения их поддержки. Последние в конечном счете переиграют первых. Таким образом, единственный путь, на котором направленная эволюция может избежать того, что, в противном случае, об-речено быть эволюционным «всхлипом», может состоять в том, что на выс-шем уровне организации будет только один независимый деятель. Мы мо-жем назвать такую организацию Синглетон (singleton — единственный, оди-ночка).
Синглетон не обязан быть монолитным. Он может содержать в себе высоко разнообразную экологическую среду из независимых групп и инди-видуумов. Синглетон может быть, например, всемирным демократическим правительством или дружественным сверхинтеллектом (Yudkowsky 2001). Остается открытым вопрос, сформируется ли, в конце концов, Синглетон. Если Синглетон не сформируется, и если структурный ландшафт будущей эволюции не благоприятствует видам деятельности, которые мы находим ценными, то тогда результатом может быть эволюционный «всхлип».

Библиография
1. Barrow, J.D., & Tipler, F.J. (1986). The Anthropic Cosmological Principle. Oxford: Oxford University Press.
2. Benjamin, D.K. et al. (2001). Individuals' estimates of risks of death: Part II — New evidence. Journal of Risk and Uncertainty, 22(1), 35-57.
3. Bostrom, N. (1998). How Long Before Superintelligence? Inter-national Journal of Futures Studies, 2. URL: http://www.nickbostrom.com/superintelligence.html.
4. Bostrom, N. (1999). A Subjectivist Theory of Objective Chance, British Society for the Philosophy of Science Conference, July 8-9, Nottingham, U.K.
5. Bostrom, N. (1999). The Doomsday Argument is Alive and Kicking. Mind, 108(431), 539-550. URL: 6. Bostrom, N. (2000). Is the end nigh?, The philosopher's maga-zine, Vol. 9 (pp. 19-20). URL: http://www.anthropic-principle.com/primer.html.
7. Bostrom, N. (2000). Observer-relative chances in anthropic rea-soning? Erkenntnis, 52, 93-108. URL: http://www.anthropic-principle.com/preprints.html.
8. Bostrom, N. (2000). Predictions from Philosophy? Coloquia Manilana (PDCIS), 7. URL: http://www.nickbostrom.com/old/predict.html.
9. Bostrom, N. (2001). Are Cosmological Theories Compatible With All Possible Evidence? A Missing Methodological Link. In preparation.
10. Bostrom, N. (2001). Are You Living in a Simulation? Working-paper. URL: http://www.simulation-argument.com.
11. Bostrom, N. (2001). Fine-Tuning Arguments in Cosmology. In preparation. URL: http://www.anthropic-principle.com.
12. Bostrom, N. (2001). The Doomsday argument, Adam & Eve, UN++, and Quantum Joe. Synthese, 127(3), 359-387. URL: http://www.anthropic-principle.com.
13. Bostrom, N. (2001). The Future of Human Evolution. Working paper. URL: http://www.nickbostrom.com.
14. Bostrom, N. (2001). Transhumanist Values. Manuscript. URL: http://www.nickbostrom.com.
15. Bostrom, N. (2002). Anthropic Bias: Observation Selection Ef-fects in Science and Philosophy. Routledge, New York. URL: http://www.anthropic-principle.com/book/.
16. Bostrom, N. et al. (1999). The Transhumanist FAQ. URL: http://www.transhumanist.org.
17. Brin, D. (1998). The Transparent Society. Reading, MA.: Addison-Wesley.
18. Brin, G.D. (1983). The `Great Silence': The Controversy Con-cerning Extraterrestrial Intelligent Life. Quarterly Journal of the Royal Astronomical Society, 24, 283-309.
19. Caplin, A., & Leahy, J. (2000). The Social Discount Rate. Na-tional Bureau of Economic Research, Working paper 7983.
20. Carter, B. (1983). The anthropic principle and its implications for biological evolution. Phil. Trans. R. Soc., A 310, 347-363.
21. Carter, B. (1989). The anthropic selection principle and the ultra-Darwinian synthesis. In F. Bertola & U. Curi (Eds.), The anthropic principle (pp. 33-63). Cambridge: Cambridge University Press.
22. Chislenko, A. (1996). Networking in the Mind Age. URL: http://www.lucifer.com/~sasha/mindage.html.
23. Cirkovic, M., & Bostrom, N. (2000). Cosmological Constant and the Final Anthropic Hypothesis. Astrophysics and Space Science, 274(4), 675-687. URL: http://xxx.lanl.gov.
24. Coleman, S., & Luccia, F. (1980). Gravitational effects on and of vacuum decay. Physical Review D, 21, 3305-3315.
25. Cowen, T., & Hanson, R. (2001). How YOU Do Not Tell the Truth: Academic Disagreement as Self-Deception. Working paper.
26. Dar, A. et al. (1999). Will relativistic heavy-ion colliders destroy our planet? Physics Letters, B 470, 142-148.
27. Drexler, K.E. (1985). Engines of Creation: The Coming Era of Nanotechnology. London: Forth Estate. URL: http://www.foresight.org/EOC/index.html.
28. Drexler, K.E. (1988). A Dialog on Dangers. Foresight Back-ground 2, Rev. 1. URL: http://www.foresight.org/Updates/Background3.html.
29. Drexler, K.E. (1992). Nanosystems. New York: John Wiley & Sons, Inc.
30. Earman, J. (1995). Bangs, Crunches, Whimpers, and Shrieks: Singularities and Acausalities in Relativistic Spacetimes: Oxford University Press.
31. Ettinger, R. (1964). The prospect of immortality. New York: Doubleday.
32. Evans, L. (1991). Traffic Safety and the Driver: Leonard Evans. URL: http://www.scienceservingsociety.com/book/.
33. Feldman, A. (1980). Welfare Economics and Social Choice Theory. Boston: Martinus Nijhoff Publishing.
34. Flynn, J.R. (1987). Massive IQ gains in many countries: What IQ tests really measure. Psychological Bulletin, 101, 171-191.
35. Foresight Institute (1997-1991). Accidents, Malice, Progress, and Other Topics. Background 2, Rev. 1. URL: http://www.foresight.org/Updates/Background2.html.
36. Foresight Institute (2000). Foresight Guidelines on Molecular Nanotechnology, Version 3.7. URL: http://www.foresight.org/guidelines/current.html.
37. Forrest, D. (1989). Regulating Nanotechnology Development. . URL: http://www.foresight.org/NanoRev/Forrest1989.html.
38. Foster, K.R. et al. (2000). Science and the Precautionary Prin-ciple. Science, 288, 979-981. URL: http://www.biotech-info.net/science_and_PP.html.
39. Freitas (Jr.), R.A. (1999). Nanomedicine, Volume 1: Basic Ca-pabilities. Georgetown, TX: Landes Bioscience. URL: http://www.nanomedicine.com.
40. Freitas (Jr.), R.A. (2000). Some Limits to Global Ecophagy by Biovorous Nanoreplicators, with Public Policy Recommendations. Zyvex preprint, April 2000. URL: http://www.foresight.org/NanoRev/Ecophagy.html.
41. Freitas(Jr.), R.A. (1980). A Self-Reproducing Interstellar Probe. J. Brit. Interplanet. Soc., 33, 251-264.
42. Frieze, I. et al. (1978). Women and sex roles. New York: Norton.
43. Gilovich, T. (1991). How We Know What Isn't So. New York: Macmillan.
44. Gold, R.E. (1999). SHIELD: A Comprehensive Earth Protection System. A Phase I Report on the NASA Institute for Advanced Concepts, May 28, 1999.
45. Gubrud, M. (2000). Nanotechnology and International Security, Fifth Foresight Conference on Molecular Nanotechnology. URL:
46. Hanson, R. (1994). What If Uploads Come First: The crack of a future dawn. Extropy, 6(2). URL: http://hanson.gmu.edu/uploads.html.
47. Hanson, R. (1995). Could Gambling Save Science? Encouraging an Honest Consensus. Social Epistemology, 9:1, 3-33.
48. Hanson, R. (1998). Burning the Cosmic Commons: Evolutionary Strategies for Interstellar Colonization. Working paper. URL: http://hanson.gmu.edu/workingpapers.html.
49. Hanson, R. (1998). Must Early Life be Easy? The rhythm of major evolutionary transitions. URL: http://hanson.berkeley.edu/.
50. Hanson, R. (1998). The Great Filter — Are We Almost Past It? Working paper.
51. Hanson, R. (2000). Showing That You Care: The Evolution of Health Altruism. . URL: http://hanson.gmu.edu/bioerr.pdf.
52. Hanson, R. et al. (1998). A Critical Discussion of Vinge's Singu-larity Concept. Extropy Online. URL: http://www.extropy.org/eo/articles/vi.html.
53. Huxley, A. (1932). Brave New World. London: Chatto & Windus.
54. Jackson, R.J. et al. (2001). Expression of Mouse Interleukin-4 by a Recombinant Ectromelia Virus Suppresses Cytolytic Lymphocyte Responses and Overcomes Genetic Resistance to Mousepox. Journal of Virology, 73, 1479-1491.
55. Jeffrey, R. (1965). The logic of decision: McGraw-Hill.
56. Jeremiah, D.E. (1995). Nanotechnology and Global Security. Presented at the Fourth Foresight Conference on Molecular Nanotechnology. URL: http://www.zyvex.com/nanotech/nano4/jeremiahPaper.html.
57. Joy, B. (2000). Why the future doesn't need us. Wired, 8.04. URL: http://www.wired.com/wired/archive/8.04/joy_pr.html.
58. Kaul, I. (1999). Global Public Goods: Oxford University Press.
59. Kennedy, R. (1968). 13 Days. London: Macmillan.
60. Kirk, K.M. (2001). Natural Selection and Quantitative Genetics of Life-History Traits in Western Women: A Twin Study. Evolution, 55(2), 432-435. URL:
61. Knight, L.U. (2001). The Voluntary Human Extinction Move-ment. URL: http://www.vhemt.org/.
62. Kruger, J., & Dunning, D. (1999). Unskilled and Unaware if It: How Difficulties in Recognizing One's Own Incompetence Lead to Inflated Self-Assessments. Journal of Personality and Social Psychology, 77(6), 1121-1134.
63. Kubrick, S. (1964). Dr. Strangelove or How I Learned to Stop Worrying and Love the Bomb: Columbia/Tristar Studios.
64. Kurzweil, R. (1999). The Age of Spiritual Machines: When computers exceed human intelligence. New York: Viking.
65. Leslie, J. (1989). Risking the World's End. Bulletin of the Cana-dian Nuclear Society, May, 10-15.
66. Leslie, J. (1996). The End of the World: The Science and Ethics of Human Extinction. London: Routledge.
67. Lewis, D. (1986). Philosophical Papers (Vol. 2). New York: Ox-ford University Press.
68. Lewis, D. (1994). Humean Supervenience Debugged. Mind, 103(412), 473-490.
69. McCarthy, T. (2000). Molecular Nanotechnology and the World System. . URL: http://www.mccarthy.cx/WorldSystem/intro.htm.
70. Merkle, R. (1994). The Molecular Repair of the Brain. Cryonics, 15(1 and 2).
71. Merkle, R. et al. (1991). Theoretical studies of a hydrogen ab-straction tool for nanotechnology. Nanotechnology, 2, 187-195.
72. Moravec, H. (1989). Mind Children. Harvard: Harvard Universi-ty Press.
73. Moravec, H. (1998). When will computer hardware match the human brain? Journal of Transhumanism, 1. URL: http://www.transhumanist.com/volume1/moravec.htm.
74. Moravec, H. (1999). Robot: Mere Machine to Transcendent Mind. New York: Oxford University Press.
75. Morgan, M.G. (2000). Categorizing Risks for Risk Ranking. Risk Analysis, 20(1), 49-58.
76. Morrison, D. et al. (1994). The Impact Hazard. In T. Gehrels (Ed.), Hazards Due to Comets and Asteroids. Tucson: The University of Arizona Press.
77. National Intelligence Council (2000). Global Trends 2015: A Di-alogue about the Future with Nongovernment Experts. URL: http://www.cia.gov/cia/publications/globaltrends2015/.
78. Nowak, R. (2001). Disaster in the making. New Scientist, 13 January 2001. URL:
79. Paulhaus, D.L. (1986). Self-Deception and Impression Manage-ment in Test Responses. In A. Angeitner & J.S. Wiggins (Eds.), Personality As-sessment via Questionnaires: Current Issues in Theory and Measurement. New York: Springer.
80. Powell, C. (2000). 20 Ways the World Could End. Discover, 21(10). URL: http://www.discover.com/oct_00/featworld.html.
81. Putnam, H. (1979). The place of facts in a world of values. In D. Huff & O. Prewett (Eds.), The Nature of the Physical Universe (pp. 113-140). New York: John Wiley.
82. Rawls, J. (1999). A Theory of Justice (Revised Edition ed.). Cambridge, Mass.: Harvard University Press.
83. Roth, D.L., & Ingram, R.E. (1985). Factors in the Self-Deception Questionnaire: Associations with depression. Journal of Personality and Social Psychology, 48, 243-251.
84. Sackheim, H.A., & Gur, R.C. (1979). Self-deception, other-deception, and self-reported psychopathology. Journal of Consulting and Clinical Psychology, 47, 213-215.
85. Schelling, T.C. (1960). The Strategy of Conflict. Cambridge, Mass.: Harvard University Press.
86. Schelling, T.C. (2000). Intergenerational and International Dis-counting. Risk Analysis, 20(6), 833-837.
87. Schopenhauer, A. (1891). Die Welt als Wille und Vorstellung. Leipzig: F, A, Brockhaus.
88. Shute, N. (1989). On the Beach: Ballentine Books.
89. Sjberg, L. (1994). Stralforskningens Risker: Attityder, Kunskaper och Riskuppfattning. RHIZIKON: Rapport fran Centrum fr Riskforskning, Handelshgskolan i Stockholm, 1.
90. Sjberg, L. (2000). Factors in Risk Perception. Risk Analysis, 20(1), 1-11.
91. Storfer, M. (1999). Myopia, Intelligence, and the Expanding Human Neocortex. International Journal of Neuroscience, 98(3-4).
92. Svenson, O. (1981). Are we less risky and more skillful that our fellow drivers? Acta Psychologica, 47, 143-148.
93. Taylor, H. (1999). Perceptions of Risks. The Harris Poll #7, Jan-uary 27. URL: 94. Tickner, J. et al. (2000). The Precautionary Principle. URL: http://www.biotech-info.net/handbook.pdf.
95. Tipler, F.J. (1982). Anthropic-principle arguments against steady-state cosmological theories. Observatory, 102, 36-39.
96. Turner, M.S., & Wilczek, F. (1982). Is our vacuum metastable? Nature, August 12, 633-634.
97. Urguhart, J., & Heilmann, K. (1984). Risk Watch: The Odds of Life. New York: Facts on File Publications.
98. Vinge, V. (1993). The Coming Technological Singularity. Whole Earth Review, Winter issue.
99. Waldeman, M. (1994). Systematic Errors and the Theory of Nat-ural Selection. The American Economics Review, 84(3), 482-497.
100. Warwick, K. (1997). March of the Machines. London: Century.
101. Westie, F.R. (1973). Academic Expectations of Professional Immortality: A Study of Legitimation. The American Sociologists, 8, 19-32.
102. Whitby, B. et al. (2000). How to Avoid a Robot Takeover: Polit-ical and Ethical Choices in the Design and Introduction of Intelligent Artifacts. Presented at AISB-00 Symposium on Artificial Intelligence, Ethics an (Quasi-) Human Rights. URL: http://www.cogs.susx.ac.uk/users/blayw/BlayAISB00.html.
103. Yudkowsky, E. (2001). Friendly AI 0.9. URL: http://singinst.org/CaTAI/friendly/contents.html.
104. Zehavi, I., & Dekel, A. (1999). Evidence for a positive cosmo-logical constant from flows of galaxies and distant supernovae. Nature, 401(6750), 252-254.
;
Елиезер Юдковски. Когнитив-ные искажения, влияющие на оценку глобальных рисков

Вышла в 2008 году в сборнике Риски глобальной катастрофы
под редакцией Ника Бострома и Милана Чирковича, Оксфорд.

Перевод: А.В. Турчин


Благодарности автора: Я благодарю Майкла Роя Эймса (Michael Roy Ames), Ника Бострома (Nick Bostrom), Милана Чирковича (Milan Cirkovic), Оли Лэмб (Olie Lamb), Тамаса Мартинеса (Tamas Martinec), Робина Ли Пауэла (Robin Lee Powell), Кристиана Ровнера (Christian Rovner) и Майкла Уилсона (Michael Wilson) за их комментарии, предложения и критику. Нет необходимости говорить, что все оставшиеся ошибки в этой работе — мои.


Введение
Мало кто из людей хотел бы уничтожить мир. Даже безликие корпо-рации, лезущие не в свои дела правительства, безрассудные ученые и прочие опасные люди нуждаются в окружающем мире, чтобы достигать своих целей, таких как нажива, власть, собственность или другие малоприятные вещи. Если гибель человечества будет происходить настолько медленно, что успеет произойти осознание этого процесса,  то деятели, запустившие его, будут, вероятно, ошеломлены пониманием того, что они, в действительности, уничтожили мир. Поэтому я предполагаю, что, если Земля будет все-таки уничтожена, то произойдет это, вероятно, по ошибке.
Систематическое экспериментальное исследование повторения оши-бок в человеческих рассуждениях и того, что эти ошибки говорят о предше-ствующих им ментальных процессах, изучается в когнитивной психологии в рамках исследований эвристики и предубеждений. Эти исследования приве-ли к открытиям, очень существенным для экспертов по рискам глобальных катастроф. Допустим, вы беспокоитесь о рисках, связанных с неким взрыв-чатым веществом Р, способным разрушить всю планету, если оно подверг-нется достаточно сильному радиосигналу. К счастью, имеется знаменитый эксперт, который открыл субстанцию Р, потратил тридцать лет, работая с ней, и знает ее лучше, чем любой другой на Земле. Вы звоните эксперту и спрашиваете, насколько сильным должен быть радиосигнал, чтобы вещество взорвалось. Эксперт отвечает, что критический порог находится, вероятно, на уровне 4 000 тераватт. «Вероятно?» — cпрашиваете вы. «Можете ли вы мне сообщить интервал мощности запускающего сигнала с 98%-й уверенностью?» — «Конечно, — отвечает эксперт. — Я на 99% уверен, что критический порог больше 500 тераватт, и на 99% уверен, что он меньше 80 000 тераватт». «А как насчет 10 тераватт?» — спрашиваете вы. «Невозможно», — отвечает эксперт.
Приведенная выше методология опроса эксперта выглядит совер-шенно резонной, такой, какую должен использовать любой компетентный работник, сталкиваясь с подобной проблемой. И в действительности, эта методология была использована в исследовании безопасности реакторов [Rasmussen, 1975], ныне считающемся первой значительной попыткой ве-роятностной оценки рисков. Но исследователь моделей рассуждений и погрешностей в рассуждениях может распознать, по крайней мере, два боль-ших недостатка в этом методе, — не просто логических слабых места, а пару обстоятельств, чрезвычайно уязвимых к человеческой ошибке.
Исследования эвристики и когнитивных искажений открыли резуль-таты, которые могут напугать и привести в уныние неподготовленного уче-ного. Некоторые читатели, впервые сталкивающиеся с экспериментальными результатами, цитируемыми здесь, могут удивиться и спросить: «Это дейст-вительно экспериментальные результаты? Действительно ли люди так плохо предсказывают? Может быть, эксперименты были плохо организованы, и результаты изменятся, если совершить такие-то и такие-то манипуляции?» Не имея достаточно места для объяснений, я могу только призвать читателя проконсультироваться с основополагающей литературой. Очевидные изме-нения условий опытов уже применялись, и результаты от этого не станови-лись другими.

1. Доступность информации
Предположим, вы возьмете случайное слово из трех или более букв из английского текста. Что более вероятно: что слово начинается с буквы R ("rope"), или что его третья буква R ("park")?
Основная идея исследований когнитивных искажений (euristic and biases program) состоит в том, что человеческие существа используют мето-ды мышления, называемые эвристикой, которые дают хорошие приблизи-тельные ответы в большинстве случаев, но которые также приводят к увели-чению системных ошибок, называемых когнитивными искажениями (bias). Примером эвристики является суждение о частоте или вероятности события по его информационной доступности (availability), то есть по лег-кости, с которой примеры подобного события приходят на ум. «R» появляет-ся в качестве третьей буквы в большем числе английских слов, чем на первом месте, но гораздо легче вспомнить слова, которые начинаются на эту букву. Таким образом, большинство респондентов предполагают, что слова, начинающиеся на букву R, встречаются чаще. [Tversky and Kahneman, 1973.]
Когнитивные искажения, основанные на эвристике доступности, влияют на оценки риска. Пионерское исследование Лихтенштейна [Lichtenstein, 1978] описывает абсолютную и относительную достоверность суждений о риске. Люди в общих чертах представляют, какие риски причи-няют большее число смертей, и какие – меньшее. Однако, когда их просят посчитать риски точнее, они весьма переоценивают частоты редких причин смерти, и сильно недооценивают частоты обычных. Другие повторяющиеся ошибки, выявленные в этом исследовании, также были очевидными: аварии считались причинами такого же количества смертей, что и болезни (на самом деле болезни в 16 раз чаще становятся причинами смертей, чем аварии). Убийство неверно считалось более частой причиной смерти, чем диабет или рак желудка. В исследовании Комбса и Словица [Combs and Slovic, 1979] был проведен подсчет сообщений о смерти в двух газетах, в результате  была обнаружена высокая корреляция между суждениями о достоверности и выборочностью репортажей в газетах (0,85 и 0,89).
Также люди отказываются покупать страховку от наводнений, даже если она хорошо субсидируется и стоит гораздо ниже справедливой рыноч-ной цены. Канрейсер [Kunreuther,1993] предполагает, что слабая реакция на угрозы наводнений может происходить из неспособности индивида предста-вить себе наводнение, которое на их глазах никогда не случалось. Жители затапливаемых равнин оказываются в плену своего опыта. По-видимому, люди не могут всерьез беспокоиться о возможности потерь и разрушений б;льших, чем пережитые во время последних наводнений. Бертон [Burton, 1978] сообщает, что после строительства дамб и насыпей наводнения проис-ходят реже, что, видимо, создает фальшивое чувство безопасности, ведущее к снижению мер предосторожности. В то время как строительство дамб уменьшает частоту наводнений, ущерб от каждого наводнения все-таки происходящего настолько возрастает, что среднегодовой ущерб увеличива-ется.
Кажется, что люди не экстраполируют опыт пережитых малых опасностей на возможности более серьезных рисков; наоборот, прошлый опыт малых опасностей устанавливает верхнюю границу ожиданий максимально возможного риска. Общество, хорошо защищенное от малых опасностей, не будет предпринимать никаких действий по отношению к большим рискам. Например, часто ведется строительство на затапливаемых равнинах после того, как регулярные малые наводнения устранены. Общество, подверженное регулярным малым опасностям, будет считать эти малые опасности в качестве верхней границы возможных рисков (защищаясь от регулярных малых наводнений, но не от неожиданных больших).
Аналогично, риск человеческого вымирания может быть недооце-нен, поскольку, очевидно, человечество никогда не сталкивалось с этим со-бытием .

2. Когнитивные искажения, связанная со знанием
«задним числом».

Когнитвиные искажения, связанная со знанием «задним числом» происходит, когда субъект, узнав окончательный итог событий, дает гораздо б;льшую оценку предсказуемости именно этого итога, чем субъекты, кото-рые предсказывают итог без знания результата. Эта ошибка иногда называ-ется «я-все-это-время-чувствовал-что-так-оно-и-есть».
Фишхофф и Бейс [Fischhoff и Beyth, 1975] представили студентам исторические отчеты о малоизвестных событиях, таких, как конфликт между гуркхами и англичанами в 1814 году. Пять групп студентов, получивших эту информацию, были опрошены в отношении того, как бы они оценили степень вероятности каждого из четырех исходов: победа англичан, победа гуркхов, патовая ситуация с мирным соглашением или пат без соглашения. Каждое из этих событий было описано как реальный итог ситуации одной из четырех экспериментальных групп. Пятой, контрольной группе о реальном исходе не говорили ничего. Каждая экспериментальная группа приписала сообщенному ей итогу гораздо б;льшую вероятность, чем любая другая или контрольная группа.
Эффект знания «задним числом» важен в суде, где судья или при-сяжные должны определить, виновен ли обвиняемый в преступной халатно-сти, не предвидев опасность.  [Sanchiro, 2003]. В эксперименте, основанном на реальном деле, Кэмин и Рачлински [Kamin and Rachlinski, 1995] попроси-ли две группы оценить вероятность ущерба от наводнения, причиненного закрытием принадлежащего городу разводного моста. Контрольной группе сообщили только базовую информацию, бывшую известной городу, когда власти решили не нанимать мостового смотрителя. Экспериментальной группе была дана эта же информация плюс сведения о том, что наводнение действительно случилось. Инструкции устанавливают, что город проявляет халатность, если поддающаяся предвидению вероятность наводнения больше 10 процентов. 76 % опрашиваемых из контрольной группы заключили, что наводнение было настолько маловероятным, что никакие предосторожности не были нужны. 57% экспериментальной группы заключили, что наводнение было настолько вероятно, что неспособность принять меры предосторожности была преступной халатностью. Третьей группе сообщили итог и также ясным образом инструктировали избегать оценки задним числом, что не привело ни к каким результатам: 56% респондентов этой группы заключили, что город был преступно халатен. Отсюда видно, что судьи не могут просто инструктировать присяжных, чтобы те избежали эффекта знания задним числом: Меры против предвзятости не работают.
Рассматривая историю сквозь линзы нашего последующего знания, мы сильно недооцениваем затраты на предотвращения катастрофы. Так, в 1986 году спейс шаттл Челленджер взорвался по причине того, что кольце-вой уплотнитель потерял гибкость при низкой температуре [Rogers, 1986]. Были предупреждающие сигналы о проблемах, связанных с кольцевым уп-лотнителем. Но предотвращение катастрофы Челленджера должно было потребовать не только внимания к проблемам с кольцевым уплотнителем, но и озабоченности каждым аналогичным предупреждающим сигналом, который бы казался столь же серьезным, как проблема уплотнителей, без преимущества последующего знания.

3. Черные лебеди

Талеб [Taleb, 2005] предположил, что ошибки последующего знания и доступности несут первостепенную ответственность за нашу неспособ-ность защититься от того, что Талеб назвал Черными Лебедями. «Черные лебеди» являются особенно серьезным аспектом проблемы мощных послед-ствий: иногда б;льшая часть вариативности процесса происходит из исклю-чительно редких, но исключительно масштабных событий. Представьте себе финансовый инструмент, который зарабатывает $10 с 98% вероятностью, но теряет $1000 с 2% вероятностью. В конечном счете, расход перевешивает доход, но инструмент выглядит как устойчиво выигрышный. Талеб (2001) приводит пример трейдера, чья стратегия работала 6 лет без единого убы-точного квартала, принося около $80 миллионов — и затем он потерял $300 миллионов в одной катастрофе.
Другим примером является Long-Term Capital Management, инвести-ционный фонд, в состав основателей которого входили два Нобелевских лауреата по экономике. В течение Азиатского кризиса и российского дефол-та 1998 года рынки вели себя совершенно беспрецедентным образом, имев-шим пренебрежимо малую вероятность по исторической модели, использо-ванной LTCM. В результате LTCM начал терять по $100 миллионов в день, день за днем. За один день в 1998 году он потерял более $500 миллионов [Taleb, 2005]
Основатели LTCM позже назвали рыночные условия 1998 года очень маловероятным событием с вероятным отклонением в десять сигма . Но очевидно, что это событие, раз оно случилось, не было столь невероят-ным. Ошибочно веря, что прошлое предсказуемо, люди пришли к выводу, что будущее тоже предсказуемо. Как пишет Фишхофф  [Fischhoff, 1982]:
«Когда мы пытаемся понять события прошлого, мы косвенным обра-зом проверяем гипотезы и правила, применяемые нами, чтобы интерпрети-ровать и воспринимать мир вокруг нас. Если, благодаря последующему зна-нию, мы систематически недооцениваем сюрпризы, которые могли быть в прошлом, мы подвергаем эти гипотезы ненадлежаще слабым тестам и, веро-ятно, не находим никаких оснований для их изменений».
Урок истории состоит в том, что такие неприятности, как «черные лебеди», случаются. Люди удивляются катастрофам, которых они не ожида-ли, которые лежат за пределами известных им  исторически вероятных рас-пределений. Но почему мы бываем так ошеломлены, когда «черные лебеди» случаются? Почему LTCM занял $125 миллиардов под $4,72 миллиарда собственности, практически гарантируя, что любая крупная неприятность их обанкротит?
По причине ошибки из-за последующего знания, мы выучиваем очень специфические уроки. После 11 сентября американское управление авиации запретило использование ножей для разрезания бумаги на самоле-тах. В ретроспективе это событие выглядит слишком предсказуемым, позво-ляя разъяренным жертвам считать случившееся результатом халатности — такой, как неспособность разведывательных агентств различить предупреж-дения об активности Аль-Каиды среди тысяч других предупреждений. Мы научились не позволять захваченным самолетам летать над нашими города-ми. Но мы не выучили урок: «черные лебеди» случаются. Делай, что мо-жешь, чтобы приготовиться к неожиданному».
Талеб [Taleb, 2005] пишет:
«Трудно мотивировать людей к предотвращению «черных лебе-дей»... Защита с трудом воспринимается, измеряется и вознаграждается; это обычно незаметный и неблагодарный труд. Представьте себе, что некая до-рогостоящая мера была предпринята, чтобы предотвратить такое явление. Легко вычислить стоимость этих мер, тогда как результат трудно измерим. Как мы можем говорить об эффективности, когда есть два альтернативных варианта объяснения: или принятые меры были эффективны, или просто ни-чего существенного не случилось. Оценка качества работы в таких случаях не просто сложна, но искажена наблюдением «актов героизма»... В истори-ческих книгах не пишут о героических превентивных мерах».


4. Ошибочное  включение лишнего элемента

Линде 31 год, она незамужняя, искренняя и оптимистичная девушка. В колледже она специализировалась на философии. Как студентка, она была глубоко озабочена проблемами дискриминации и социальной справедливости, а также участвовала в антиядерных демонстрациях.
Расположите следующие утверждения в порядке уменьшения их достоверности.
1. Линда — учитель в начальной школе.
2. Линда работает в книжном магазине и занимается йогой.
3. Линда —  активистка феминистского движения
4. Линда — социальный работник в области психиатрии
5. Линда — член общества женщин, имеющих право голоса.
6. Линда — кассир в банке
7. Линда — страховой агент
8. Линда — кассир в банке и активистка феминистского движения
89% из 88 студентов посчитали пункт 8 более вероятным, чем пункт 6 [Tversky и Kahneman, 1982]. Поскольку выбранное описание Линды похо-же на описание феминистки, а не банковского кассира, п.8 в большей мере характерен для описания Линды. Однако, считая  п.8 более вероятным, чем п.6, мы нарушаем закон суммирования вероятностей, который утверждает, что p(A&B) ; p(A). Представьте себе выборку из 1000 женщин. Наверняка в этой выборке больше женщин — банковских кассиров, чем женщин-феминисток и одновременно банковских кассиров.
Может быть, ошибочное включение лишнего элемента связана с тем, что участники воспринимали экспериментальные инструкции неправильно? Например, они могли понять под «вероятностью» вероятность того, что женщина, для которой верны утверждения 6 и 8, соответствует приведенно-му выше описанию Линды, а не вероятность утверждений 6 и 8 в отношении Линды? Или, возможно, они интерпретировали 6 как означающее «Линда — кассир и не феминистская активистка»? И, хотя, чтобы объяснить склонность к этой логической ошибке, было предложено много интересных альтерна-тивных гипотез, она пережила все экспериментальные попытки ее опровер-жения (см. обзор [Sides, 2002].) Например, следующий эксперимент исклю-чает обе альтернативные гипотезы, предложенные выше.
Представьте себе правильный 6-сторонний кубик с четырьмя зеле-ными сторонами и двумя красными. Кубик будет брошен 20 раз и последова-тельность выпадения зеленых (G) и красных (R) сторон будет записана. Ис-пытуемый  должен выбрать одну последовательность из трех предложенных, и он  выиграет $25, если выбранная им последовательность выпадет в серии бросков кубика. Вот эти три последовательности, надо выбрать одну из них.

1. RGRRR
2. GRGRRR
3. GRRRRR
125 студентов в Стэнфордском университете играли в эту игру с ре-альными ставками. 65% из них выбрали последовательность 2. [Tversky и Kahneman, 1982]. Последовательность 2 наиболее типична для игральной кости, поскольку кость большей частью зеленая и последовательность 2 со-держит наибольшую пропорцию зеленых сторон. Однако, последователь-ность 1 превосходит последовательность 2, поскольку полностью входит в нее. Чтобы получилось 2, у вас должна выпасть последовательность 1 и зе-леная грань кости перед ней.
В приведенной выше задаче студенты могли вычислить точные ве-роятности каждого события. Однако вместо того, чтобы тратить время на арифметические вычисления, 65% студентов, по-видимому, полагались на интуицию, исходя из того, что казалось более типичным для игральной кос-ти. Когда мы называем это умозаключением по типичности, мы не настаива-ем на том, что студенты специально решили, что они будут оценивать веро-ятность, исходя из типичности. Скорее, умозаключение по типичности явля-ется как раз тем, что создает интуитивное чувство, будто последовательность 2 более вероятна, чем последовательность 1. Другими словами, умозаключение по типичности является встроенной характеристикой мозга, предназначенной, чтобы давать быстрые достоверные суждения, а не сознательно выбранной процедурой. Мы не осознаем подмены суждением о типичности суждения о достоверности.
Ошибочное включение лишнего элемента подобным же образом происходят в футурологических прогнозах. Две независимых группы про-фессиональных аналитиков на Втором Международном Конгрессе по Пред-видению Будущего были опрошены, соответственно, о вероятности «полного разрыва дипломатических отношений между СССР и США в 1983 году» и «русского вторжения в Польшу, и последующего полного разрыва диплома-тических отношений между СССР и США в 1983 году». Вторая группа ана-литиков сообщила о значительно более высокой вероятности. [Tversky и Kahneman, 1982].
В исследовании Джонсона [Johnson, 1993], группа студентов  MBA из Уортона должна была отправиться в Бангкок в качестве части своей образовательной программы. Несколько подгрупп студентов было опрошено на тему, как много они готовы заплатить за антитеррористическую страховку. Первой группе был задан вопрос, сколько она готова заплатить за антитеррористическую страховку, покрывающую перелет из Таиланда в США. Вторую группу студентов спросили, сколько она готова заплатить за страховку, покрывающую перелет туда-обратно. А третью — о страховке, которая бы покрывала все путешествие. Эти три группы оказались в среднем готовы заплатить $17,19, $13,90, и $7,44 соответственно.
С точки зрения теории вероятностей, добавление дополнительной детали к истории делает ее менее вероятной. Менее вероятно, что Линда является кассиром-феминисткой, чем просто кассиром, поскольку все кассиры-феминистки по определению являются кассирами. Но с точки зрения человеческой психологии добавление каждой новой детали делает историю все более достоверной.
Люди могут предпочесть заплатить больше за международную ди-пломатию, направленную на предотвращение нанотехнологической войны с Китаем, чем за инженерный проект, предназначенный, чтобы защитить от нанотехнологической атаки с любой возможной стороны. Второй сценарий предотвращения выглядит менее зрелищным и побуждающим, но универ-сальная технологическая защита будет более полезной по причине своей многосторонности. Более ценными выглядят стратегии, которые уменьшают вероятности истребления человечества без жесткой зацикленности только на нанотехнологических угрозах — такие, как колонизация космического про-странства или искусственный интеллект (см. работы автора на эту тему). Брюс Шнейер заметил  что правительство Соединенных Штатов (и до, и по-сле урагана 2005 года в Новом орлеане), защищало отдельные объекты на территории страны от террористических угроз в стиле киносценариев ценой отвлечения ресурсов из средств гражданской обороны, которые могли бы быть использованы в любой ситуации [Schneier, 2005].
Сверхдетальные заверения также могут создать ложное ощущение безопасности: «Х не является риском существованию, и вы не должны забо-титься о нем, потому что верны утверждения A, B, C, D, и E». В то время как ошибка в любом из предположений является потенциально гибельной для человеческого рода. «Мы не должны беспокоиться о нанотехнологической войне, потому что комиссия ООН в начале разовьет эту технологию и пре-дотвратит ее распространение до тех пор, пока не будет разработана актив-ная защита, способная защитить от всех случайных или злонамеренных про-явлений, которые современная нанотехнология способна породить, и это условие будет выполняться всегда». Яркие, четко определенные сценарии могут увеличить нашу вероятностную оценку безопасности, равно как и не-правильно направить инвестиции в безопасность с учетом излишне сужен-ных или невероятно детализованных сценариев рисков.
В целом, людям свойственно переоценивать вероятность совпадений всех событий в серии и недооценивать вероятность хотя бы одного события из серии. [Tversky и Kahneman, 1982]. То есть, людям свойственно переоце-нивать вероятность того, что, например, семь событий, с вероятностью 90 % каждое все вместе совпадут. Наоборот, людям свойственно недооценивать вероятность того, что хотя бы одно событие из семи, имеющих каждое веро-ятность 10%, все-таки случится. Некто, оценивающий, стоит ли, например, открыть новую компанию, должен вычислить вероятность того, что множе-ство отдельных событий произойдет одновременно нужным образом (что будет достаточное финансирование, компетентные рабочие, покупатели будут хотеть купить товар), учитывая также вероятность того, что, по крайней мере, одна критическая неприятность случится (банк откажется дать ссуду, главный проект закончится неудачей, ведущий ученый проекта умрет). Это может объяснить, почему только 44% предприятий  выживают в течение первых четырех лет [Knaup, 2005].
Адвокаты в своих речах предпочитают избегать выводов, основан-ных на истинности, по крайней мере, одной из нескольких посылок («либо одно, либо другое, либо третье должно было случится и каждый из этих ва-риантов приводит к одному и тому же выводу»), в пользу выводов, основан-ных на совпадении сразу нескольких посылок. Однако с рациональной точки зрения первые случаи гораздо более вероятны, чем вторые.
Вымирание человечества в следующем столетии может произойти в результате хотя бы одной из многих причин. Оно может случиться по при-чине любого  глобального риска, обсужденного в статье Бострома «Угрозы существованию», или по какой-нибудь другой причине, которую никто из нас не предвидел. Даже для футурологов описания в духе «или то, или дру-гое, или третье» неудобны, и пророчества, с помощью них сформулирован-ные, звучат непоэтично.

5. Ошибочность рассуждений, вызванная эффектом
подтверждения

В 1960 году Питер Уосон (Peter Wason) провел ныне классический эксперимент, известный как задача '2-4-6' [Wason, 1960.] Испытуемые долж-ны были определить правило, известное экспериментатору, но не самому испытуемому — так, как оно бывает при научном исследовании. Испытуе-мые писали три числа, таких как '2-4-6' или  '10-12-14' на карточках, и экспе-риментатор говорил, соответствуют ли данные три числа правилу или нет. Изначально субъектам была выдана тройка чисел 2-4-6 и сказано, что она соответствует правилу. Испытуемые могли продолжать испытывать тройки до тех пор, пока они не чувствовали себя уверенными, что знают правило экспериментатора, и тогда испытуемым объявляли правило.
Хотя участники обычно выражали высокую уверенность в своих до-гадках, только 21% из них в этом эксперименте правильно угадали правило, и при повторениях эксперимента уровень успеха обычно составлял 20%. Вопреки совету Карла Поппера, испытуемые в эксперименте Уосона пытались подтвердить свои гипотезы, а не опровергнуть. Таким образом, те, кто сформулировали гипотезу «Числа увеличиваются каждый раз на два», проверяли тройки 8-10-12 или 20-22-24, слышали, что они подходят, и уверенно объявляли правило. Во всех случаях подлинное правило было одно и тоже: три номера должны следовать один за другим по возрастающей. В некоторых случаях испытуемые выдумывали, «тестировали» и объявляли правила, гораздо более сложные, чем действительное.
Задача Уосона «2-4-6» является «прохладной» формой интеллекту-альной ошибки, связанной с подтверждением: люди предпочитают подтвер-ждающие, а не опровергающие свидетельства. «Прохладный» означает, что задача «2-4-6» является эмоционально нейтральным случаем интеллектуальной ошибки подтверждения: вывод подтверждается логикой, а не эмоциями. «Горячий» случай имеет место, когда вера эмоционально заряжена, например, в случае политических рассуждений. Неудивительно, что «горячая» ошибочность сильнее — больше по размаху и более устойчивая к изменениям. Активная, полная усилий склонность к подтверждению обычно называется мотивированным мышлением (motivated cognition)  (обычно известным как «рационализация»). Как отмечает Бреннер [Brenner, 2002] в «Заметках к теории одобрения»:
«Очевидно, что во многих обстоятельствах желание уверенности в гипотезе может заметно повлиять на воспринимаемую степень ее подтвер-ждения... Канда [Kunda, 1990] обсуждает, как люди, нацеленные на то, чтобы достичь определенных выводов, пытаются сконструировать (в ошибочной манере) убедительный случай для своей любимой гипотезы, который мог бы убедить беспристрастную аудиторию. Джилович [Gilovich, 2000] предполагает, что выводы, в которые человек не хочет верить, рассматриваются гораздо требовательнее, чем те, в которые он хочет верить. В первом случае человек требует, чтобы свидетельство с необходимостью вело к данному выводу, а во втором — спрашивает, позволяет ли некоторое свидетельство придти к данному выводу».
Когда люди подвергают те свидетельства, которые противоречат их точке зрения, более пристрастному анализу, чем те, которые ее подтвержда-ют, это называется мотивированный скептицизм или когнитивное искажение несогласия (disconfirmation bias). Ошибка несогласия особенно деструктивна по двум причинам: во-первых, два подверженных этой ошибке спорщика, рассматривая один и тот же поток свидетельств, могут изменить свою веру в противоположных направлениях — обе стороны выборочно принимают только привлекательные для них свидетельства. Накопление большего числа свидетельств не приведет этих спорщиков к согласию. Во-вторых, люди, которые являются более опытными скептиками, – то есть которые знают больший набор типичных логических нестыковок, но применяют этот навык избирательно, – склонны изменять свою точку зрения гораздо медленнее, чем неопытные спорщики.
Тэйбер и Лодж [Taber and Lodge, 2000] исследовали изначальное от-ношение к теме ношения огнестрельного оружия и изменение его у студен-тов, под воздействием прочтения политической литературы за и против кон-троля и выдачи разрешений на оружие. Это исследование проверило шесть следующих гипотез в двух экспериментах:
1. Эффект предшествующего отношения. Испытуемые, имевшие изначальную точку зрения на проблему — даже когда их поощряли в том, чтобы они были объективными — находили поддерживающие аргументы более охотно, чем опровергающие.
2. Систематическая ошибка опровержения. Испытуемые тратили больше времени и умственных усилий, стараясь отклонить опровергающие аргументы, чем поддерживающие аргументы.
3. Систематическая ошибка подтверждения. Испытуемые, сво-бодные выбирать источники информации, скорее искали подтверждающие, чем опровергающие источники.
4. Поляризация отношения. Предъявление субъектам очевидно уравновешенного набора аргументов за и против приводило к увеличению изначальной поляризации их мнений.
5. Эффект силы мнения. Испытуемые, имеющие более ярко выра-женное мнение, были более подвержены вышеназванным склонностям к ошибке.
6. Эффект усложнения. Более искушенные в политике испытуемые, по причине обладания более тяжелым вооружением для опровержения противных фактов и доводов, были более подвержены вышеприведенным систематическим ошибкам.
Забавно, что эксперименты Тэйбера и Лоджа (Taber and Lodge) под-твердили все шесть изначальных гипотез авторов. Вы можете сказать: «Ве-роятно, эти эксперименты только отражают верования, на которые опира-лись их авторы, и это как раз пример систематической ошибки подтвержде-ния». Если так, то, сделав вас более опытным спорщиком, а именно, научив вас еще одной систематической ошибке, в которой можно обвинить людей, я, в действительности, навредил вам: я ослабил вашу реакцию на новую ин-формацию. Я дал вам еще один шанс всякий раз терпеть неудачу, когда вы сталкиваетесь с возможностью изменить свой стиль мышления.
Эвристика и когнитивные искажения широко распространены в че-ловеческих размышлениях. Знание о них позволяет нам замечать большое разнообразие логических ошибок, которые, в противном случае, были бы недоступны для нашего наблюдения. Но, как и любая способность обнару-живать ошибки в рассуждениях, это знание должно применяться обоюдосто-ронне: как к нашим собственным идеям, так и к идеям других; к идеям, кото-рые нам нравятся, и которые нам не нравятся. Знание человеческой склонно-сти ошибаться — это опасное знание, если вы напоминаете себе об ошибоч-ности тех, кто не согласен с вами. Если я избирателен в отношении тех аргу-ментов, которые я исследую на предмет ошибок, или даже того, насколько глубоко я исследую эти ошибки, тогда каждый новый закон логики, каждая новая логическая несообразность, которую я научаюсь обнаруживать, делает меня глупее. Ум, чтобы быть полезным, должен быть использован не для того, чтобы дурачить самого себя.
Нельзя рационализировать то, что не рационально с самого начала — как если ложь назвать «правдизацией». Нельзя сделать утверждение более истинным посредством взяточничества, лести или даже страстной аргументации — можно заставить больше людей верить в утверждение, но нельзя сделать его вернее. Для того, чтобы сделать наши верования более истинными, мы должны изменить сами эти верования. Не каждое изменение — это улучшение, но каждое улучшение — это изменение по определению.
Наши верования гораздо более подвижны, чем мы привыкли думать. Гриффин и Тверский [Griffin and Tversky, 1992] осторожно опросили 24-х своих коллег на тему выбора между двумя предложениями по работе и по-просили их оценить вероятность того, что они его выберут, для каждого из предложений. Средняя вероятность выбора, высказанная в отношении более привлекательного предложения, составила умеренные 66%. Но только один из 24 опрошенных выбрал в конечном счетt вариант, которому он приписал в начале более низкую вероятность, увеличив общую точность предсказания до 96 процентов. (Это — один из немногих известных примеров, когда имеет место не «сверх-уверенность», а «недо-уверенность».)
Мораль в том, что как только вы начинаете догадываться, каков бу-дет ваш ответ, как только вы приписываете большую вероятность тому, что вы ответите так, а не иначе, вы, на самом деле, уже решили. И если вы будете честны с самим собой, вы должны признать, что обычно вы догадываетесь об окончательном ответе через секунды после того, как услышите вопрос. Мы меняем наши мнения гораздо реже, чем мы думаем. Насколько скороте-чен этот короткий незаметный момент, когда мы даже не можем догадаться, каков будет наш ответ, малюсенькое хрупкое мгновение, которое нам отве-дено, чтобы на самом деле подумать — как в вопросах выбора, так и в во-просах установления фактов. 
Шенкель (Shenkel) говорил: «Нет необходимости в вере, пока ситуа-ция может быть легко рассмотрена тем или другим образом».
Норман Майер (Norman R. F. Maier): «Не предлагайте решения до тех пор, пока проблема не будет исследована так тщательно, как это только возможно».
Робин Доуз (Robyn Dawes), комментируя Майера, писал: «Я часто предлагал это правило группам, которые я вел, в частности, когда они стал-кивались с особенно трудной проблемой. Это – типичная ситуация, когда члены группы особенно склонны предлагать мгновенные решения».
В компьютерной безопасности «система, которой доверяют» (trusted system) — это та, которой вы на самом деле доверяете, а не та, которая дос-тойна доверия. «Система, которой доверяют» — это система, которая, буду-чи скомпрометированной, способна вызвать ошибку. Когда вы читаете ста-тью, утверждающую, что глобальная катастрофа невозможна, или имеет определенную годовую вероятность, или может быть преодолена с использованием определенной стратегии — вы доверяете рациональности авторов. Вы доверяете способности авторов переходить от удобных выводов к неудобным, даже в случае отсутствия сногсшибательных экспериментальных свидетельств, опровергающих любимую гипотезу. Вы доверяете авторам в том, что они не искали немного более интенсивно ошибки в тех уравнениях, которые указывали на неверный, с их точки зрения, путь, до того, как к вам попал окончательный вариант статьи.
И если власти вводят закон, по которому даже мельчайший риск су-ществованию человечества достаточен для того, чтобы закрыть проект; или если становится нормой политики де-факто, что ни одно возможное вычис-ление не может перевесить груз однажды высказанного предположения, то тогда ни один ученый не рискнет больше высказывать предположения. Я не знаю, как решить эту проблему. Но я думаю, что тем, кто оценивает глобаль-ные риски, следует иметь общие представления о человеческих моделях рас-суждений и когнитивных искажениях, и об ошибке неподтверждения в част-ности.

6. Якорение, настройка и загрязнение

Экспериментатор крутит у вас на глазах рулетку, и она указывает на некое  число, в первом случае,  на 65, а во втором — на 15. Экспериментатор затем спрашивает вас, больше или меньше процент африканских стран в ООН этого числа. Затем экспериментатор спрашивает вас о вашей оценке процента африканских стран в ООН.
Тверский и Канеман [Tversky и Kahneman, 1974] продемонстрирова-ли, что испытуемые, которых вначале попросили оценить, находится ли ис-комое число выше или ниже 15, затем давали значительно более низкие оценки процента африканских стран в ООН, чем те испытуемые, которых в начале просили оценить, выше или ниже этот процент 65. Средняя оценка по группе была в первом случае 25, во втором — 45 процентов. Это происходи-ло, несмотря на то, что испытуемые видели, что номера генерируются оче-видно случайным образом, рулеткой, и потому могли быть уверены, что эти номера не имеют никакого отношения к реальному проценту африканских стран в ООН. Денежные выплаты за точность не изменили интенсивность этого эффекта. Тверский и Канеман предположили, что этот эффект вызван якорением и настройкой; испытуемые принимали изначальное неинформа-тивное число за точку отсчета, или якорь, и затем увеличивали или уменьша-ли это число, до тех пор, пока не достигали результата, который выглядел убедительно для них; тогда они прекращали подстройку. Этот результат был недооценкой, связанной с данным якорем.
В примере в начале статьи мы сперва попросили эксперта по веще-ству P предположить точное значение силы радиосигнала, который приведет к взрыву P, и только затем попросили оценить верхние и нижние границы для этого параметра. Этот метод опроса заставляет людей подстраивать свой ответ о верхней и нижней границе к изначальной оценке, до тех пор, пока они не достигают значений, которые звучат невероятно и прекращают подстройку. Это приводит к недооценке и слишком узким границам интервала уверенности.
После статьи Тверского и Канемана 1974 года стало накапливаться все больше свидетельств широкого круга эффектов якорения и псевдо-якорения. Якорение происходило, даже когда якорь давал абсолютно невероятный ответ на вопрос, например, при опросе студентов относительно года первого визита Эйнштейна в США, после рассмотрения якорей 1215 или 1992. Эти недостоверные якоря создавали эффект якорения такой же силы, как и более достоверные якоря, такие как 1905 и 1939 [Strack and Mussweiler, 1997].
Допустим, вы идете по супермаркету и видите стойку с банками консервированной томатной пасты с надписью: «Только 12 штук в руки». Заставляет ли это людей на самом деле покупать больше томатной пасты? Согласно экспериментальным данным, заставляет [Wansink et. al., 1998].
Более общая форма этого феномена стала известна как эффект за-грязнения, поскольку оказалось, что почти любая информация может повли-ять на интеллектуальное суждение [Chapman and Johnson,  2002]. Предпри-нимались попытки ослабить эффект загрязнения путем выплаты испытуемым вознаграждения за правильные ответы. Тверский и Канеман [Tversky и Kahneman, 1974] инструктирования испытуемых о необходимости избежать якорения начальным показателем [Quattrone et. al., 1981] или о необходимо-сти уделять внимание проблемам реального мира [Wansink et. al., 1998]. Эти действия не уменьшили или уменьшили только в незначительной степени интенсивность эффектов якорения и наложения. Более того, субъекты, спро-шенные о том, были ли они подвергнуты действию эффекта загрязнения, обычно не верили, что он на них повлиял, хотя эксперименты показывали обратное. [Wilson et. al., 1996].
Действия, существенно увеличивающие эффект загрязнения – это действия, помещающие субъектов в интеллектуально трудные условия, та-кие, как непрерывное прослушивание последовательности слов в процессе работы [Gilbert et. al., 1988] или требование от субъектов быстрых ответов [Gilbert and Osborne, 1989]. Гилберт [Gilbert et. al., 1988] связывает это с тем, что дополнительная задача влияет на способность отстроиться от якоря; иначе говоря, в интеллектуально загруженных условиях происходит меньшая корректировка. Этот эффект уменьшения корректировки, а значит, увеличения недокорректировки, известен как якорение.
Суммируем: явно нерелевантная информация по-прежнему якорит суждения и искажает догадки. Когда люди начинают с информации, про которую заранее известно, что она нерелевантная, и затем производят под-стройку, пока не достигают убедительно звучащего ответа, они обычно не-дооценивают величину некого параметра. Люди недооценивают величину параметра в гораздо большей степени в ситуациях интеллектуальной нагрузки и других воздействий, что делает проблему более серьезной. Люди отрицают, что были заякорены и недооценивали, даже когда эксперименты показывают противоположное. Эти эффекты не ослабляются или ослабляются незначительно при финансовом вознаграждении, явных инструкциях избежать наложения и в ситуациях из реальной жизни.
А теперь вспомните, сколько историй из лент новостей об искусст-венном интеллекте ссылаются на фильмы о Терминаторе, как если бы они были документальными, и как много медийных историй о взаимодействии мозга и компьютера упоминают Борга из кинофильма «Звездный путь».
Если даже короткая демонстрация якоря оказывает существенное воздействие на испытуемых, насколько больший эффект мы можем ожидать от чтения целой книги или просмотра остросюжетного телевизионного шоу? В прошлом не было фильмов — все, что вы видели своими глазами, было правдой. Людям следует осознавать, в той мере, в какой осознанные мысли принимаются в расчет, что фантастика есть фантастика. Журналистские упоминания о «Терминаторе» обычно не рассматривают сценарий Камерона в качестве пророчества или установленной правды. Вместо этого репортер как бы считает видения Камерона чем-то, что уже однажды имело место в прошлом и вполне может случиться вновь — фильм вспоминается как если бы он был иллюстрирующим случаем из истории человечества. Я называю эту смесь якорения и доступности для восприятия логической ошибкой генерализации на основании художественного вымысла.
Похожей концепцией является ошибка «хорошей истории», предло-женная Бостромом [Bostrom, 2001]. Художественные свидетельства часто состоят из «хороших историй» в бостромском смысле. Отметьте, что не все возможные «хорошие истории» уже представлены в литературе.
Рассказчики историй соблюдают строгие правила повествовательности, не имеющие отношения к реальности. Драматическая логика — это не логика. Вдохновленные писатели знают, что одной правды мало: нельзя заставить поверить в невероятное событие из вашего произведения путем цитирования примеров из реальной жизни. Хорошая история раскрашена яркими деталями, расцвечена цветущими метафорами; рассказчик историй должен быть конкретным, твердым и точным, как камень. Но в предвидении будущего каждая добавленная деталь является дополнительной нагрузкой! Правда — это тяжелая работа, и — не для рассказчиков историй. Мы должны избегать не только одурачивания фантастикой в виде нашей неспособности совершить ментальное усилие, чтобы разувериться в ней, но также того, чтобы фантастика наложилась на наше мышление и стала точкой отсчета для наших суждений. И мы должны осознавать, что мы не всегда осознаем это наложение. В дискуссиях о глобальных рисках отнюдь не необыкновенны категории, выборы, последствия и стратегии, пришедшие из фильмов, книг и телевизионных шоу. Бывают красивые неудачи, но это — откровенная капитуляция.


7. Рассуждения, обусловленные аффектом
Рассуждения, обусловленные аффектом, возникают, когда субъек-тивные представления о хорошем и плохом выступают в качестве эвристики и способны порождать быстрые, основанные на непосредственном воспри-ятии, суждения, а также систематические ошибки.
В исследовании Словика [Slovic, 2002] две группы испытуемых рас-сматривали такой сценарий: аэропорт должен решить, следует ли ему потратить деньги на новое оборудование, или на другие аспекты системы безопасности. Шкала ответов ранжирована от 0 (никакой поддержки этому решению) до 20 (очень сильная поддержка). Оказалось, что мероприятие, описанное как «Спасти 150 жизней» получило среднюю поддержку 10,4, в то время как мероприятие, описанное как «Спасти 98% от 150 жизней» имело среднюю поддержку в 13,6. Даже предложение «спасти 85% от 150 жизней» имело б;льшую поддержку, чем «спасение 150 жизней». Гипотеза, лежащая в основе этого эксперимента, состояла в том, что «спасение 150 жизней» зву-чит довольно расплывчато и потому имеет небольшую ценность, в то время как спасение 98% чего-нибудь это очень хорошо, потому что это очень близ-ко к верхней границе процентной шкалы.
Файнакэйн [Finucane, 2000] исследовал, объединяют ли люди свои оценки возможных преимуществ от некой технологии, такой как, например, ядерная энергетика, со своими оценками возможных рисков, в едином хоро-шем или плохом ощущении по поводу этой технологии. Он тестировал эту гипотезу, предлагая испытуемым четыре разных сообщения, которые долж-ны были увеличить или ослабить воспринимаемые риски и воспринимаемые преимущества. Не было никакой логической связи между предоставленной информацией о рисках и о преимуществах. В каждом случае новая информа-ция оказывала противоположный эффект на эмоционально противополож-ную характеристику. Информация, которая увеличивала восприятие риска, ослабляла восприятие преимуществ. Информация, которая ослабляла вос-приятие преимуществ, увеличивала восприятие рисков. Файнакэйн обнару-жил, что нехватка времени обычно усиливает отрицательную взаимосвязь между воспринимаемыми рисками и воспринимаемыми преимуществами — предположительно потому, что эта нехватка усиливает преобладание эмо-циональных моделей рассуждений над аналитическим анализом.
Ганзач [Ganzach, 2001] обнаружил тот же эффект в царстве финан-сов: аналитики делают прогнозы рисков и доходов незнакомых активов на основании эмоционального отношения. Акции, воспринимавшиеся как «хо-рошие», были определены как имеющие низкий риск и высокий доход; акции, воспринимавшиеся как «плохие», определялись как имеющие низкий доход и высокий риск. Таким образом, для незнакомых акций, воспринимаемый риск и воспринимаемый доход имели отрицательную корреляцию, в соответствии с эмоциональной логикой. (Отметьте, что в этом эксперименте нехватка информации играет ту же роль, что занятость ума или нехватка времени в усилении эффекта эмоциональной логики.) Для знакомых акций воспринимаемый риск и воспринимаемый доход имели позитивную корре-ляцию, как это и предсказывается в норме экономической теорией. (Если акции безопасны, покупатель платит премию за их безопасность, и они яв-ляются более дорогими, что уменьшает ожидаемый доход.)
Люди обычно имеют недостаточную информацию о будущих техно-логиях. Поэтому неудивительно, что их отношение эмоционально поляризо-вано. Когда я только начал думать об этих материях, я считал, что биотехнология имеет относительно меньше достоинств сравнительно с нанотехнологией, и я больше боялся сконструированных супервирусов, чем вредоносного применения нанотехнологий. Искусственный интеллект, от которого я ожидал наибольших выгод, нисколько не беспокоил меня. Позже, когда я исследовал проблему гораздо более детально, моя оценка относительных преимуществ осталась относительно такой же, но мои тревоги стали противоположными: более мощные технологии, с большими ожидаемыми выгодами, теперь выглядят имеющими соответственно большие риски. С ретроспективной точки зрения это вполне предсказуемо. Но анализ, основанный на недостаточной информации, склонен оценивать технологии эмоционально, в результате чего информация о преимуществах имеет тенденцию смягчать воспринимаемый риск.

8. Пренебрежение масштабом

(2,000 / 20,000 / 200,000) перелетных птиц тонут каждый год в не-закрытых нефтехранилищах, которые птицы по ошибке принимают за пру-ды с водой. Эти смерти могут быть предотвращены путем накрывания хранилищ сетями. Сколько денег вы были бы готовы заплатить за установ-ку таких сетей?
Три группы испытуемых, рассматривавших этот вопрос, были спро-шены о том, какое увеличение налога они были бы готовы принять, чтобы спасти 2.000, 20.000 ил 200.000 птиц. Ответ, названный Установленная Го-товность Платить (УГП), был в среднем $80 за 2.000 птиц, $78 за 20.000 и $88 за 200.000 птиц. [Desvousges,  1993]. Этот феномен известен как нечув-ствительность к масштабу или пренебрежение масштабом.
Подобные исследовании показали, что жители Торонто готовы за-платить только немногим больше, чтобы очистить все озера Онтарио, чем чтобы очистить загрязенные озера только части штата [Kahneman, 1986], и что жители четырех западных штатов в США готовы заплатить только на 28% больше, чтобы защитить все 57 уголков дикой природы в этих штатах, чем чтобы защитить только один такой уголок. [McFadden и Leonard, 1995].
Наиболее широко распространенное объяснение эффекта пренебре-жения масштабом апеллирует к эмоциональной логике. Канеман [Kahneman, 1999] пишет:
«История о птицах из опытов Десвоуджеса, вероятно, вызывает у многих читателей ментальное представление о неком событии, возможно — образ истощенной птицы с намоченными черной нефтью крыльями, неспо-собной спастись. Гипотеза об оценке по первоначальному образу утвержда-ет, что эмоциональное влияние этого образа будет доминировать над отно-шением к проблеме, включая готовность платить за решение. Оценка по пер-воначальному образу автоматически означает пренебрежение к остальным деталям ситуации»
Две другие гипотезы о пренебрежении масштабом включают в себя покупку морального удовлетворения [Kahneman и Knetsch, 1992] и пожерт-вование монетки ради доброго дела [Harrison, 1992]. Гипотеза о моральном удовлетворении предполагает, что люди тратят достаточно денег, чтобы создать ощущение «внутренней теплоты» в себе, и требующийся на это объем денег зависит от человеческой психологии и не имеет ничего общего с птицами. Гипотеза о «монетке на благотворительность» предполагает, что люди готовы выделить определенную сумму «на экологию», и любой вопрос о проблемах окружающей среды просто проявляет это количество.
Пренебрежение масштабом было продемонстрировано и по отноше-нию к человеческим жизням. Карсон и Митчелл [Carson and Mitchell,, 1995] сообщают, что информации об увеличении риска, связанного с питьем хло-рированной воды с 0.004 до 2.43 на 1000 смертей в год (то есть в 600 раз) увеличивает устанвленную готовность платить (УГП) платить с $3.78 до $15.23 (то есть 4 раза). Бэйрон и Грин [Baron and Greene, 1996] обнаружили, что изменение числа спасенных жизней в 10 раз не оказывает никакого эф-фекта на этот индекс.
Фезерстонхоу [Fetherstonhaugh, 1997], в статье, озаглавленной «Не-чувствительность к ценности человеческой жизни: исследование психологи-ческого восприятия чисел», обнаружил свидетельства того, что наше воспри-ятие человеческих смертей и ощущение ценности человеческих жизней сле-дует закону Вебера, это значит, что мы используем логарифмическую шкалу. И действительно, исследования эффекта пренебрежения масштабом, в которых количественные изменения были достаточно велики, чтобы вызвать хотя бы какую-то чувствительность, показали небольшие линейные изменения готовности платить, соответствующие экспоненциальным изменениям масштаба. Канеман [Kahneman, 1999] интерпретирует это как дополнительный эффект эмоциональной реакции на масштаб к реакции на первоначальный образ: первоначальный образ вызывает б;льшую часть эмоции, а масштаб вызывает меньшую часть эмоции, которая добавляется (но не умножается) к первоначальному количеству.
Альберт Сент-Дьёрди (Albert Szent-Gy;rgyi) говорит: «На меня про-изводят сильное впечатление страдания одного человека, и я готов рисковать своей жизнью ради него. Но я могу говорить совершенно отстраненно о заражении наших больших городов с сотнями миллионов погибших. Я не способен умножить страдания одного на сто миллионов». Человеческие эмоции возникают внутри аналогового ума. Человеческий мозг не способен выработать достаточно нейротрансмиттеров, чтобы почувствовать эмоцию в тысячу раз более сильную, чем горе на похоронах. Увеличение возможного риска с десяти миллионов смертей до ста миллионов не увеличивает в десять раз нашу решимость не допустить этого. Это просто добавление еще одного нолика на бумаге у нас перед глазами, что имеет столь небольшой эффект, что обычно необходимо изменить количество жертв на несколько порядков, чтобы заметить разницу экспериментально.

9. Калибровка и сверхуверенность

Насколько люди уверены в своих ошибочных оценках? В первом разделе этой статьи, посвященном эффекту доступности информации, мы обсудили эксперимент по восприятию риска, в котором испытуемые пере-оценивали типичные для сообщений средств массовой информации причины смерти в пропорции, коррелирующей с избирательными сообщениями в га-зетах. Словик [Slovic, 1982] также отмечает:

«Одним из пагубных аспектов моделей рассуждений (эвристик) яв-ляется то, что люди обычно имеют очень большую уверенность в суждениях, основанных на них. В другом исследовании по поводу причин смерти, людей просили сделать ставки на то, что они правы в своем выборе более частой среди двух причин смерти. [Fischoff, Slovic, и Lichtenstein, 1977]. В эксперименте №1 испытуемые были довольно точны, когда делали ставки 1:1, 1.5:1, 2:1, и 3:1. То есть, процент правильных ответов был близок к значению, которое следовало из этих ставок. Однако, по мере увеличения ставок от 3:1 к 100:1 почти  никакого прироста точности не происходило. Только 73% ответов, на которые сделали ставки 100:1, были верны (вместо 99.1%). Точность возросла до 81% при ставках 1000:1 и до 87% при 10.000:1. Для ответов, на которые ставили 1000000:1, точность составляла 90%, то есть, соответствующий уровень доверия должен был бы порождать ставки 9:1. В итоге, испытуемые часто ошибались даже при высочайших уровнях ставок. Более того, они были склонны делать очень высокие ставки. Более половины ставок была выше, чем 50:1. Почти четверть — выше, чем 100:1. 30% респондентов в эксперименте №1 сделали ставку 50:1 на неверное утверждение, что убийства более часты, чем самоубийства».

Этот кажущийся удивительным результат вполне обычен в литера-туре, посвященной моделям рассуждений и систематическим ошибкам в мышлении, где он известен как сверхуверенность. Допустим, я попрошу вас сделать наилучшее возможное предположение насчет неизвестного числа, такого, как количество «Врачей и хирургов» в желтых страницах бостонской телефонной книге, или о суммарной продукции яиц в США в миллионах штук. Вы дадите в ответ некую величину, которая наверняка не будет совер-шенно точной; подлинная величина будет больше или меньше, чем вы пред-положили. Затем я попрошу вас назвать нижнюю границу этого показателя, такую, насчет которой вы уверены на 99%, что подлинная величина лежит выше этой границы, и верхнюю границу, по отношению к которой вы на 99% уверены, что искомая величина лежит ниже нее. Эти две границы образуют ваш интервал 98% уверенности. Если вы хорошо откалиброваны, то на 100 подобных вопросов у вас будет только примерно 2 выпадения за границы интервала.
Альперт и Раиффа [Alpert и Raiffa, 1982] задали испытуемым 1000 вопросов по общеизвестным темам, подобных приведенным выше. Оказа-лось, что для 426 из них подлинные значения лежали за пределами 98% ин-тервалов уверенности, данных испытуемыми. Если бы испытуемые были правильно откалиброваны, было бы только 20 сюрпризов. Иными словами, события, которым испытуемые приписывали вероятность 2%, случались в 42,6%.
Другую группу из тридцати пяти испытуемых попросили оценить 99,9% верхние и нижние границы уверенности. Они оказались неправы в 40% случаев. Другие 35 субъектов были опрошены о максимальных и мини-мальных значениях некого параметра и ошиблись в 47% случаев. Наконец, четвертая группа из 35 субъектов должна была указать «невероятно малое» и «невероятно большое» значение параметра; они ошиблись в 38% случаев.
В следующем эксперименте новой группе испытуемых был предос-тавлен первый набор вопросов вместе с ответами, рейтингом оценок, с рас-сказом о результатах экспериментов и разъяснением концепции калибровки, и затем их попросили дать 98% интервалы уверенности для новой группы вопросов. Прошедшие подготовку субъекты ошиблись в 19% случаях, что являет собой значительное улучшение их результата в 34% до подготовки, но все еще весьма далеко от хорошо откалиброванного результата в 2%.
Подобные уровни ошибок были обнаружены и у экспертов. Хинс и Вэнмарк [Hynes и Vanmarke, 1976] опросили семь всемирно известных гео-техников на предмет высоты дамбы, которая вызовет разрушение фундамен-та из глинистых пород, и попросили оценить интервал 50% уверенности во-круг этой оценки. Оказалось, что ни один из предложенных интервалов не включал в себя правильную высоту. Кристенсен-Залански и Бушихед [Christensen-Szalanski и Bushyhead, 1981] опросили группу врачей на предмет вероятности пневмонии у 1531 пациента с кашлем. В наиболее точно указанном интервале уверенности с заявленной достоверностью в 88%, доля пациентов, действительно имевших пневмонию, была менее 20%.
Говоря словами Алперта и Раиффы [Alpert и Raiffa, 1982]: «Ради Бо-га, расширяйте свои крайние оценки! Будьте честны с собой! Допустите, что вы не знаете!»
Лихтенштейн [Lichtenstein, 1982] произвел обзор четырнадцати ис-следований на основании тридцати четырех экспериментов, выполненных двадцатью тремя исследователями, изучавшими особенности оценки досто-верности собственных выводов людьми. Из исследований следовал мощ-нейший вывод о том, что люди всегда сверхуверены. В современных иссле-дованиях на сверхуверенность уже не обращают внимания; но она продол-жает попутно проявляться почти в каждом эксперименте, где субъектам по-зволяется давать оценки максимальных вероятностей.
Сверхуверенность в большой мере проявляется в сфере планирова-ния, где она известна как ошибочность планирования. Булер [Buehler, 1994] попросил студентов-психологов предсказать важный параметр: время сдачи их дипломных работ. Исследователи подождали, когда студенты приблизи-лись к концу своих годичных проектов и затем попросили их реалистично оценить, когда они сдадут свои работы, а также, когда они сдадут свои работы, если все пойдет «так плохо, как только может». В среднем, студентам потребовалось 55 дней, чтобы завершить свои дипломы, на 22 дня больше, чем они ожидали, и на 7 дней больше, чем они ожидали в худшем случае.
Бюхлер [Buehler, 1994] опросил студентов о времени, к которому студенты на 50% уверены, на 75% уверены и на 99% уверены, что они закон-чат свои академические проекты. Только 13% участников закончили свои дипломы к моменту, которому приписывали 50% вероятность, только 19% закончили к моменту 75% оценки и 45% закончили ко времени, оценивав-шемуся в 99% уверенности. Булер [Buehler et. al., 2002] пишет «результаты выхода на уровень 99% достоверности особенно впечатляющи. Даже когда их попросили сделать наиболее консервативное предсказание, в отношении которого они чувствовали абсолютную уверенность, что его достигнут, все равно уверенность студентов в их временных оценках намного превосходила их реальные результаты».
Ньюби-Кларк [Newby-Clark et. al., 2000] обнаружили, что опросы испытуемых об их предсказаниях, основанных на наиболее реалистичном предположении, и опросы испытуемых об их надеждах в самом лучшем слу-чае давали неразличимые результаты. Будучи спрошены о наиболее вероят-ном стечении обстоятельств, люди имели тенденцию предполагать, что все пойдет так, как планировалось, без неожиданных задержек и непредвиден-ных катастроф, то есть так же, как в наилучшем случае. Реальность, как ока-залось, зачастую преподносит результаты, худшие, чем самый наихудший случай.
В этой статье мы обсуждаем сверхуверенность после обсуждения систематической ошибки подтверждения и частного случая — систематиче-ской ошибки неподтверждения. Знание об эффекте калибровке — это опас-ное знание, поскольку очень соблазнительно применять его избирательно. «Насколько глуп мой оппонент, чтобы быть уверенным в своих аргументах. Знает ли он, как часто люди ошибаются в том, в чем они уверены?» Если вы обнаруживаете, что мнения эксперта имеют гораздо меньше значения, чем вы раньше думали, вам стоит также понять, что ваши собственные мысли тоже гораздо слабее, чем вы думали раньше: и тогда потребуется меньше усилий, чтобы увлечь вас в сторону от ваших любимых верований. В про-тивном случае вы станете медленнее реагировать на новые свидетельства. Вы оказываетесь в гораздо более худшем положении, чем, если бы вы нико-гда не слышали о калибровке. По этой причине — часто, несмотря на значи-тельное искушение — я избегаю обсуждения исследований по калибровке, до того как я обсужу систематическую ошибку подтверждения, для того, чтобы я мог сделать такое же предупреждение.
Отметьте так же, что оценка эксперта, сильно уверенного в своем мнении, принципиально отличается от вычислений, сделанных исключи-тельно на основе статистических данных,  или исключительно на основе адекватной, точно подтвержденной модели. Во всех случаях, когда эксперт утверждает, даже на основании точных вычислений, что событие имеет ве-роятность 10-6,  , он наверняка ошибается чаще, чем один раз на миллион. Но если бы комбинаторика не могла точно предсказать, что лотерейный билет имеет 10-8 шанс выиграть, то продавцы билетов бы разорились.

10. Апатия прохожего

Последняя рассматриваемая мной систематическая ошибка относит-ся не к области моделей рассуждений, но к области социальной психологии. В ныне знаменитой серии экспериментов Лэйтен и Дэрли [Latane и Darley, 1969] открыли эффект прохожего, известный также как апатия прохожего, который состоит в том, что в больших группах люди менее склонны реаги-ровать на чрезвычайные ситуации — не только индивидуально, но и коллек-тивно. 75% испытуемых, будучи одни в комнате и заметив дым из-под двери, выходят, чтобы сообщить об этом. Когда в комнате находятся трое испытуе-мых, не знающих об условиях опыта, о дыме сообщают только в 38% случа-ев. Испытуемый, находясь в компании двух подсадных уток, нарочно не реа-гирующих на дым, выходит, чтобы сообщить о дыме только в 10% случаев. Студент колледжа, изображавший эпилептический припадок, получил по-мощь от единственного свидетеля в 85% случаев и только в 31% случаев в присутствии пятерых свидетелей.
Эффект прохожего обычно объясняется как происходящий из рас-сеяния ответственности и игнорирования из-за неопределенности ситуации. Нахождение в группе уменьшает индивидуальную ответственность. Каждый надеется, что кто-то другой разберется с проблемой вместо них, и это ослаб-ляет личную напряженность каждого по поводу того, что никто ничего не делает. Подтверждением этой гипотезы являются опыты, в которых испы-туемые верили, что жертва особенно зависит от них: это ослабляло или пол-ностью устраняло эффект равнодушия прохожего. Циалдини [Cialdini, 2001] рекомендует человеку, оказавшемуся в чрезвычайной ситуации, выделить одного одинокого прохожего и попросить его о помощи — таким образом преодолевая рассеяние ответственности.
Игнорирование из-за неопределенности ситуации является более тонким эффектом. Циалдини [Cialdini, 2001] пишет:
«Часто чрезвычайная ситуация далеко не очевидна. Является ли че-ловек, лежащий в парке, жертвой сердечного приступа или спящим пьяным? В случае такой неопределенности естественным поведением является по-смотреть вокруг на действия других людей для подсказки. Мы можем понять из поведения других свидетелей, является ли событие чрезвычайной ситуа-цией или нет. Однако легко забыть при этом, что все остальные свидетели события тоже ищут социального подтверждения. Поскольку все мы предпо-читаем выглядеть уравновешенными и сохраняющими самообладание, мы будем искать это подтверждение скрытно, бросая короткие взгляды на людей вокруг нас. Поэтому каждый увидит другого, скорее всего, спокойным и ничего не делающим».
Эффект прохожего не связан с индивидуальным эгоизмом или не-чувствительностью к страданиям других. По одиночке испытуемые обычно действуют. Игнорирование из-за неопределенности ситуации может объяс-нить, в отличие от индивидуального эгоизма, почему субъекты не реагируют на наполнение комнаты дымом. В экспериментах, где была явная опасность, как для других, так и для себя, испытуемые часто бросали взгляды на нереа-гировавших подсадных уток.
Я время от времени спрашиваю: «если «глобальный риск Х» реален, почему не много людей делают что-нибудь в связи с этим?» Есть много воз-можных ответов, части которых я коснулся здесь. Люди могут быть сверху-верены и сверхоптимистичны. Они могут быть сосредоточены на каких-то одних сценариях будущего, исключая при этом все остальные. Они могут не помнить ни одного случая всеобщего истребления. Они могут переоценивать предсказуемость прошлого, и за счет этого недооценивать сюрпризы буду-щего. Они могут не осознавать трудности подготовки к чрезвычайным си-туациям без преимуществ знания задним числом. Они могут предпочитать филантропические игры с высокой вероятностью выигрыша, пренебрегая величиной ставки. Они могут уравнивать позитивную информацию о пре-имуществах некой технологии с негативной информацией о ее риске. Они могут быть отравлены кинофильмами, в которых мир, в конце концов, бывает спасен. Они могут получить моральное удовлетворение гораздо проще, давая деньги на другие виды благотворительности. Или же чрезвычайно не-приятная перспектива человеческого вымирания может побудить их искать доводы в пользу того, что человечество не вымрет, без столь же интенсивно-го поиска причин, по которым это может произойти.
Но если вопрос таков: «Почему не так много людей делают что-нибудь в связи с этим?», один возможный момент может быть в том, что лю-ди, задающие этот самый вопрос, рыщут глазами вокруг, чтобы посмотреть, есть ли еще кто-нибудь, реагирующий на опасность, и одновременно стара-ются выглядеть уравновешенными и сохраняющими самообладание. Если вы хотите узнать, почему другие не реагируют на опасность, перед тем, как среагировать самому, вы уже возможно ответили на свой вопрос.

Последнее предупреждение

Любая достоверная идея, которая вас раздражает, по-видимому, за-девает в вас модель хотя бы одной психологической ошибки.
Роберт Пирсиг (Robert Pirsig) сказал: «Самый глупый человек в мире может сказать, что солнце светит, и это не заставит его погаснуть». Если вы подозреваете кого-то в психологической ошибке, продемонстрируйте свою компетентность вначале, вскрыв его фактические ошибки. И если фактиче-ских ошибок нет, какое значение имеет психология? Соблазн психологии в том, что, немного зная ее, мы можем вмешиваться в споры, в которых мы не являемся техническими экспертами, мудро анализируя психологию дискути-рующих.
Если кто-то написал роман об астероиде, уничтожающем современ-ную цивилизацию, то можно критиковать этот роман как экстремистский, антиутопичный, апокалиптический; симптоматичный для наивной неспособ-ности автора взаимодействовать со сложным технологическим обществом. Мы должны распознать здесь литературную критику, а не научную; это о хороших или плохих романах, а не о хороших или плохих гипотезах. Для того, чтобы вычислить годовую вероятность астероидного удара в реально-сти, нужно изучать астрономию и поднять исторические записи: никакая литературная критика никак не влияет на это число. Гэрроу [Garreau 2005], по-видимому, утверждает, что сценарий постепенного усиления искусствен-ного интеллекта является более зрелым и обдуманным, чем сценарий очень быстрого развития искусственного интеллекта. Но это вопрос техники, а не предпочтений; никакой объем психологического анализа не даст точное значение наклона кривой.
Обвиняя кого-нибудь в ошибке загрязнения, необходимо привести список специфических деталей, которые, с вашей точки зрения, являются лишней нагрузкой и уменьшают суммарную достоверность. Даже в этом случае, не теряйте связь с фактами первостепенной важности, не позволяйте спору стать спором о психологии.
Несмотря на все опасности и соблазны, лучше знать о когнитивных искажениях, чем не знать их. В противном случае мы попадем прямо во вра-щающиеся вертолетные лопасти жизни. Но будьте очень осторожны, не про-являйте слишком много рвения в обвинении других в когнитивных искаже-ниях. Таким путем вы только станете профессиональным спорщиком — тем, кто, встретив любой не нравящийся ему аргумент, находит в нем системати-ческую ошибку. Тот, за кем вы должны следить в наибольшей мере — это вы сами.
Джерри Кливер (Jerry Cleaver) сказал: «То, что вас побеждает — это не ошибка в применении высокоуровневой, сложной техники. Это — упуще-ние из виду чего-то основного. Не следить за мячом, например».
Анализ должен быть сконцентрирован на проверяемых утверждени-ях о реальном мире. Не отрывайте своих глаз от мяча.



Заключение

Почему должен быть единый подход в мышлении о глобальных рис-ках? Падающие астероиды не похожи на сконструированные супервирусы; катастрофы на ускорителе — на нанотехнологические войны. Почему бы не рассмотреть каждую из этих проблем по отдельности?
Если кто-то предполагает катастрофу на ускорителе, тогда комитет, собранный для анализа этой проблемы, должен, очевидно, включать в себя физиков. Но кто-то в этом комитете должен знать, как ужасающе опасно иметь в своей голове ответ до того, как ты закончил задавать вопрос. Кто-то в этом комитете должен помнить ответ Энрико Ферми на предположение Лео Сциларда о том, что цепная реакция деления может быть использована для производства ядерного оружия. (Ответ был: «Бред!» — Ферми считал эту перспективу столь отдаленной, что она не стоила исследований.) Необходи-мо помнить историю ошибок в физических расчетах: ядерное испытание в Кастель Браво вызвало взрыв в 15 мегатонн, вместо 4-8 мегатонн, по причи-не не учтенной термоядерной реакции на литии-7. Они правильно решили неверное уравнение, забыв подумать обо всех условиях, которые должны быть включены, и в результате, по крайней мере, один человек погиб в рас-ширившемся радиусе выпадения радиоактивных осадков. Также следует помнить аккуратное доказательство Лорда Кельвина с использованием мно-жества независимых вычислений на основании хорошо установленных тео-рий, о том, что Земля существует не более сорока миллионов лет. Следует знать, что когда эксперт заявляет, что вероятность составляет «один к мил-лиону» без использования статистических данных и точных расчетов на основании совершенной модели, реальное соотношение, скорее всего, около двадцати к одному (хотя это и не точное соответствие).
Любой глобальный риск порождает проблемы, общие со всеми ос-тальными глобальными рисками, дополнительно к специальным знаниям, связанным с этим конкретным риском. Кто-то в комитете по проблемам фи-зических катастроф должен знать, что означает термин «глобальный риск»; он должен обладать всеми навыками, которые область знания, связанная с глобальными рисками, располагает. Для максимальной безопасности этот ученый должен быть также психологом. Высокий уровень знаний в конкрет-ной области и относительно области глобальных рисков должен быть объе-динен в одном человеке. Я не верю, что специалист по моделям мышления и заблуждениям, неспособный прочесть физическое уравнение, способен про-верить работу физика, который ничего не знает о психологии заблуждений.

Когда-то, давным-давно, я написал несколько сверхдетальных сце-нариев, не осознавая, что каждая добавленная деталь является дополнитель-ной нагрузкой. Когда-то, давным-давно, я действительно думал, что я могу сказать, что имеется 90-процентная вероятность появления искусственного интеллекта между 2005 и 2025, с пиком в 2018 году. Это заявление кажется мне теперь полностью абсурдным. С какой стати я мог думать, что я могу определить точное вероятностное распределение для проблемы вроде этой?
Профессиональные исследователи, скажем, молекулярной нанотех-нологии или искусственного интеллекта, не обладают автоматически допол-нительными навыками, необходимыми для анализа глобальных рисков, свя-занных с их профессией. Никто не сказал мне, когда я начал исследовать вызовы, связанные с искусственным интеллектом, что для такого человека, как я, необходимо заниматься изучением систематических ошибок мышления. Я не помню, как я впервые заинтересовался проблематикой систематических ошибок мышления, но я помню, что это было описание ситуации сверхуверенности — обычное описание, в Интернете, без ссылок. Меня это настолько удивило, что я списался с автором, чтобы узнать, был ли это действительно реальный экспериментальный результат. (Он направил меня к книге «Суждение в условиях неопределенности».)
Я не должен был наткнуться на эту ссылку случайно. Кто-то должен был предупредить меня, как я предупреждаю вас, что это знание необходимо для изучающего глобальные риски. Должен быть круг людей, как мы, а также список навыков, необходимых нам дополнительно к узкопрофессиональным. Я не физик, но я знаю немного — возможно, недостаточно — об истории ошибок в физике, и биолог, думающий о супервирусе, тоже должен это знать.
Однажды я встретил адвоката, который вывел свою собственную физику. Я сказал ему: «Вы не можете изобрести свою собственную физику без знания математики и многих лет обучения; физика трудна». Он ответил: «Но если вы действительно понимаете физику, вы можете объяснить ее своей бабушке, как сказал Ричард Фейнман». И я спросил его: «Вы бы посове-товали своему другу защищать самого себя в суде?» И тут он замолчал. Он знал теоретически, что физику сложна, но он никогда не отдавал отчета себе, что физика так же сложна, как юриспруденция.
Одна из ошибок мышления, которую мы не обсудили, состоит в не-знании того, чего именно мы не знаем. Когда наниматель в отделе кадров некой компании оттачивает свое мастерство, он вспоминает качества канди-датов, которых он нанял, многие их которых оказались в последствие пре-восходными. Таким образом, рекрутер имеет высокую оценку своих способ-ностей. Но рекрутер никогда не видит работу тех кандидатов, которых он не нанял. Поэтому я должен предупредить, что эта статья затрагивает только малую часть моделей рассуждения и систематических ошибок. И когда вы захотите узнать, насколько много вы знаете, вы вспомните несколько когни-тивных искажений, упоминаемых в этой статье, а не множество тех, которые не упомянуты. Короткий обзор не может создать ощущения целостной об-ласти знаний, объемного понимания, которое сплетает серию памятных экс-периментов посредством единой интерпретации. Множество очень уместных систематических ошибок, таких как потребность в завершении, я даже не упомянул. Целью этой статьи было не обучить знанию, необходимому изу-чающему глобальные риски, но заинтриговать вас узнать больше.
Мышление о глобальных рисках подвержено всем тем же видам ошибочности, что и мышление вообще. Но ставки гораздо, гораздо больше. Типичный результат в исследованиях систематических ошибок состоит в том, что предложение денег или другой стимул не устраняет систематиче-скую ошибку. (Качелмейер и Шихета [Kachelmeier and Shehata, 1992] предлагали жителям КНР эквивалент трехмесячной зарплаты.) Испытуемые в этих экспериментах не совершали ошибки нарочно — они делали ошибки потому, что не знали, как сделать лучше. Даже если вы скажете им, что выживание человечества является ставкой, они в силу этого все равно будут неспособны сделать лучше. (Это может усилить их потребность в завершенности дискуссии, заставляя их давать худшие результаты.) Это ужасающе пугающее обстоятельство, но люди не становятся умнее, только потому речь идет о выживании человечества.
В дополнение к стандартным систематическим ошибкам, я лично проанализировал то, что выглядит как вредоносные модели мышления в во-просах глобальных рисков. Грипп «испанка» в 1918 году убил 25-50 миллио-нов человек. Вторая мировая война убила 60 миллионов. 107 – таков порядок жертв крупнейших катастроф в человеческой письменной истории. Значи-тельно б;льшие числа, такие как 500 миллионов смертей, и особенно качест-венно другие сценарии, по-видимому, запускают другой режим мышления — оно переходят в другой регистр. Люди, которые и подумать не могут о том, чтобы навредить ребенку, говорят по поводу рисков глобальных катастроф: «Возможно, человеческий вид вовсе не заслуживает выживания».
В науке о заблуждениях есть поговорка, что люди обдумывают не сами события, а описания событий — то, что называется «непродолженным» мышлением.  Продолжение мысли о гибели человечества включает в себя вашу смерть, ваших друзей, вашей семьи, ваших любимых, вашего города, вашей страны, ваших политических единомышленников. И даже люди, кото-рые яростно протестовали бы против предложений вроде стереть Британию с лица земли, убить всех членов Демократической партии в США, превратить Париж в песок, которые бы очень боялись услышать, что доктор скажет им, что у их ребенка рак, эти люди будут обсуждать вымирание человечества с абсолютным спокойствием. «Вымирание человечества», как слова на бумаге, появляющиеся в фантастических романах или философских книгах, — относятся к другому контексту, чем грипп «испанка». Мы мыслим описаниями событий, а не их последствиями. Клише «конец света» вызывает в памяти пласт, связанный с мифами и снами, пророчествами и апокалипсисом, романами и кино. Вызов глобальных рисков для здравого смысла состоит в том, что это катастрофы столь большого масштаба, что люди переключаются в другой режим мышления. Человеческие смерти внезапно уже не ужасны, и детальные предсказания вдруг перестают требовать необходимой компетентности, и счастливый или грустный конец истории — это только вопрос личного вкуса по отношению к историям.
Но это только мое частное наблюдение. Я бы предпочел, чтобы эта статья фокусировалась на ошибках, подробно описанных в литературе — в общей литературе по когнитивной психологии, поскольку пока что нет экс-периментальной литературы, посвященной психологии глобальных рисков. А она должна быть.
В математическом представлении теории решений на основании те-ремы Байеса имеется концепция ценности информации — ожидаемой полез-ности некого знания. Ценность информации происходит из ценности того, о чем эта информация. Если вы удваиваете ставки, вы удваиваете и ценность информации об этих ставках. Ценность рационального мышления определя-ется подобным образом — ценность вычислений, охватывающих некие дан-ные, определяется на основе самих данных. [Good, 1952]; [Horvitz et. al., 1989].
Я способен по-настоящему оценить ценность ясного мышления о глобальных рисках не более, чем Альберт Cент-Дёрджи (Albert Szent-Gy;rgyi) способен умножить страдания одного человека на сто миллионов. Пренебрежение масштабом — естественная опасность для биологического человека, работающего на аналоговом уме; мозг не способен умножать на шесть миллиардов. Но ставки глобальных рисков простираются далеко за пределы жизней шести миллиардов людей, живущих сейчас — они прости-раются ко всем звездам и ко всем галактикам, которые люди и их потомки смогут однажды достичь. И весь этот огромный потенциал вращается вокруг нашего выживания здесь, сейчас, в те дни, когда царство человечества — это одна планета, вращающаяся вокруг одной звезды. Я не могу почувствовать наше будущее. Все, что я могу — это защищать его.

Рекомендуемое чтение

1. «Суждение в условиях неопределенности: эвристика и систе-матические ошибки». Judgment under uncertainty: Heuristics and biases. (1982.) Под редакцией Даниеля Канемана, Пола Словика и Амоса Тверски (еdited by Daniel Kahneman, Paul Slovic, and Amos Tversky). Этот сборник помогает разобраться в основных понятиях данной области знаний и рассчитан на внешнего к данной теме академического читателя. Следующее издание дает обобщенное, подробно разработанное и детальное объяснение феноменов, рассмотренных в первом издании, но основные результаты остаются неизменными.
2. «Решения, ценности и рамки». Choices, Values, and Frames. (2000.) Под редакцией Даниеля Канемана и Амоса Тверски (еdited by Daniel Kahneman and Amos Tversky). «Эвристика и систематические модели мыш-ления». Heuristics and Biases. (2003.) Редактировано Томасом Джиловичем, Дейлом Гриффином и Даниелем Канеманом (Edited by Thomas Gilovich, Dale Griffin, and Daniel Kahneman). Эти два сборника статей дают обзор совре-менного состояния науки об эвристике и систематических ошибках. Они в меньшей мере доступны для неподготовленного читателя.
3. «Рациональный выбор в неопределенном мире: психология ин-туитивного суждения». Rational Choice in an Uncertain World: The Psycholo-gy of Intuitive Judgment, Робин Доуз (by Robyn Dawes). Первая редакция 1988: Доуз и Кэган (by Dawes and Kagan), вторая редакция 2001: Доуз и Хэсти (by Dawes and Hastie). Эта книга предназначена, чтобы ввести в тему когнитивных искажений широкую аудиторию образованных читателей. (Например, теорема Байеса объясняется, хотя и не доказывается, но объяснение занимает только несколько страниц.) Хорошая книга, чтобы быстро охватить поле исследований.

Библиография

1. Alpert, M. and Raiffa, H. 1982. A Progress Report on the Training of Probability Assessors. In Kahneman et. al. 1982: 294-305.
2. Ambrose, S.H. 1998. Late Pleistocene human population bottle-necks, volcanic winter, and differentiation of modern humans. Journal of Human Evolution 34:623-651.
3. Baron, J. and Greene, J. 1996. Determinants of insensitivity to quan-tity in valuation of public goods: contribution, warm glow, budget constraints, availability, and prominence. Journal of Experimental Psychology: Applied, 2: 107-125.
4. Bostrom, N. 2001. Existential Risks: Analyzing Human Extinction Scenarios. Journal of Evolution and Technology, 9.
5. Brenner, L. A., Koehler, D. J. and Rottenstreich, Y. 2002. Remarks on support theory: Recent advances and future directions. In Gilovich et. al. (2003): 489-509.
6. Buehler, R., Griffin, D. and Ross, M. 1994. Exploring the "planning fallacy": Why people underestimate their task completion times. Journal of Personality and Social Psychology, 67: 366-381.
7. Buehler, R., Griffin, D. and Ross, M. 1995. It's about time: Optimis-tic predictions in work and love. Pp. 1-32 in European Review of Social Psycholo-gy, Volume 6, eds. W. Stroebe and M. Hewstone. Chichester: John Wiley & Sons.
8. Buehler, R., Griffin, D. and Ross, M. 2002. Inside the planning fal-lacy: The causes and consequences of optimistic time predictions. In Gilovich et. al. 2003: 250-270.
9. Burton, I., Kates, R. and White, G. 1978. Environment as Hazard. New York: Oxford University Press.
10. Carson, R. T. and Mitchell, R. C. 1995. Sequencing and Nesting in Contingent Valuation Surveys. Journal of Environmental Economics and Management, 28(2): 155-73.
11. Chapman, G.B. and Johnson, E.J. 2002. Incorporating the irrelevant: Anchors in judgments of belief and value. In Gilovich et. al. (2003).
12. Christensen-Szalanski, J.J.J. and Bushyhead, J.B. 1981. Physicians' Use of Probabilistic Information in a Real Clinical Setting. Journal of Experimental Psychology: Human Perception and Performance, 7: 928-935.
13. Cialdini, R. B. 2001. Influence: Science and Practice. Boston, MA: Allyn and Bacon.
14. Combs, B. and Slovic, P. 1979. Causes of death: Biased newspaper coverage and biased judgments. Journalism Quarterly, 56: 837-843.
15. Dawes, R.M. 1988. Rational Choice in an Uncertain World. San Di-ego, CA: Harcourt, Brace, Jovanovich.
16. Desvousges, W.H., Johnson, F.R., Dunford, R.W., Boyle, K.J., Hud-son, S.P. and Wilson, N. 1993. Measuring natural resource damages with contin-gent valuation: tests of validity and reliability. Pp. 91-159 in Contingent valuation: a critical assessment, ed. J. A. Hausman. Amsterdam: North Holland. 
17. Fetherstonhaugh, D., Slovic, P., Johnson, S. and Friedrich, J. 1997. Insensitivity to the value of human life: A study of psychophysical numbing. Journal of Risk and Uncertainty, 14: 238-300.
18. Finucane, M.L., Alhakami, A., Slovic, P. and Johnson, S.M. 2000. The affect heuristic in judgments of risks and benefits. Journal of Behavioral Decision Making, 13(1): 1-17.
19. Fischhoff, B. 1982. For those condemned to study the past: Heuris-tics and biases in hindsight. In Kahneman et. al. 1982: 332–351.
20. Fischhoff, B., and Beyth, R. 1975. I knew it would happen: Remembered probabilities of once-future things. Organizational Behavior and Human Performance, 13: 1-16.
21. Fischhoff, B., Slovic, P. and Lichtenstein, S. 1977. Knowing with certainty: The appropriateness of exterme confidence. Journal of Experimental Psychology: Human Perception and Performance, 3: 522-564.
22. Ganzach, Y. 2001. Judging risk and return of financial assets. Orga-nizational Behavior and Human Decision Processes, 83: 353-370.
23. Garreau, J. 2005. Radical Evolution: The Promise and Peril of En-hancing Our Minds, Our Bodies -- and What It Means to Be Human. New York: Doubleday.
24. Gilbert, D. T. and Osborne, R. E. 1989. Thinking backward: Some curable and incurable consequences of cognitive busyness. Journal of Personality and Social Psychology, 57: 940-949.
25. Gilbert, D. T., Pelham, B. W. and Krull, D. S. 1988. On cognitive busyness: When person perceivers meet persons perceived. Journal of Personality and Social Psychology, 54: 733-740.
26. Gilovich, T. 2000. Motivated skepticism and motivated credulity: Differential standards of evidence in the evaluation of desired and undesired propositions. Presented at the 12th Annual Convention of the American Psychological Society, Miami Beach, Florida.
27. Gilovich, T., Griffin, D. and Kahneman, D. eds. 2003. Heuristics and Biases: The Psychology of Intuitive Judgment. Cambridge, U.K.: Cambridge University Press.
28. Good, I. J. 1952. Rational decisions. Journal of the Royal Statistical Society, Series B.
29. Griffin, D. and Tversky, A. 1992. The weighing of evidence and the determinants of confidence. Cognitive Psychology, 24: 411-435.
30. Harrison, G. W. 1992. Valuing public goods with the contingent valuation method: a critique of Kahneman and Knestch. Journal of Environmental Economics and Management, 23: 248–57.
31. Horvitz, E.J., Cooper, G.F. and Heckerman, D.E. 1989. Reflection and Action Under Scarce Resources: Theoretical Principles and Empirical Study. Pp. 1121-27 in Proceedings of the Eleventh International Joint Conference on Artificial Intelligence. Detroit, MI.
32. Hynes, M. E. and Vanmarke, E. K. 1976. Reliability of Embankment Performance Predictions. Proceedings of the ASCE Engineering Mechanics Division Specialty Conference. Waterloo, Ontario: Univ. of Waterloo Press.
33. Johnson, E., Hershey, J., Meszaros, J.,and Kunreuther, H. 1993. Framing, Probability Distortions and Insurance Decisions. Journal of Risk and Uncertainty, 7: 35-51.
34. Kachelmeier, S.J. and Shehata, M. 1992. Examining risk preferences under high monetary incentives: Experimental evidence from the People's Republic of China. American Economic Review, 82: 1120-1141. 
35. Kahneman, D. 1986. Comments on the contingent valuation method. Pp. 185-194 in Valuing environmental goods: a state of the arts assessment of the contingent valuation method, eds. R. G. Cummings, D. S. Brookshire and W. D. Schulze. Totowa, NJ: Roweman and Allanheld.
36. Kahneman, D. and Knetsch, J.L. 1992. Valuing public goods: the purchase of moral satisfaction. Journal of Environmental Economics and Management, 22: 57-70.
37. Kahneman, D., Ritov, I. and Schkade, D. A. 1999. Economic Prefe-rences or Attitude Expressions?: An Analysis of Dollar Responses to Public Issues, Journal of Risk and Uncertainty, 19: 203-235.
38. Kahneman, D., Slovic, P., and Tversky, A., eds. 1982. Judgment un-der uncertainty: Heuristics and biases. New York: Cambridge University Press.
39. Kahneman, D. and Tversky, A. 2000. eds. Choices, Values, and Frames. Cambridge, U.K.: Cambridge University Press.
40. Kamin, K. and Rachlinski, J. 1995. Ex Post ; Ex Ante: Determining Liability in Hindsight. Law and Human Behavior, 19(1): 89-104.
41. Kates, R. 1962. Hazard and choice perception in flood plain man-agement. Research Paper No. 78. Chicago: University of Chicago, Department of Geography.
42. Knaup, A. 2005. Survival and longevity in the business employment dynamics data. Monthly Labor Review, May 2005.
43. Kunda, Z. 1990. The case for motivated reasoning. Psychological Bulletin, 108(3): 480-498.
44. Kunreuther, H., Hogarth, R. and Meszaros, J. 1993. Insurer ambiguity and market failure. Journal of Risk and Uncertainty, 7: 71-87.
45. Latane, B. and Darley, J. 1969. Bystander "Apathy", American Scientist, 57: 244-268.
46. Lichtenstein, S., Fischhoff, B. and Phillips, L. D. 1982. Calibration of probabilities: The state of the art to 1980. In Kahneman et. al. 1982: 306–334.
47. Lichtenstein, S., Slovic, P., Fischhoff, B., Layman, M. and Combs, B. 1978. Judged Frequency of Lethal Events. Journal of Experimental Psychology: Human Learning and Memory, 4(6), November: 551-78.
48. McFadden, D. and Leonard, G. 1995. Issues in the contingent valuation of environmental goods: methodologies for data collection and analysis. In Contingent valuation: a critical assessment, ed. J. A. Hausman. Amsterdam: North Holland.
49. Newby-Clark, I. R., Ross, M., Buehler, R., Koehler, D. J. and Griffin, D. 2000. People focus on optimistic and disregard pessimistic scenarios while predicting their task completion times. Journal of Experimental Psychology: Applied, 6: 171-182
50. Quattrone, G.A., Lawrence, C.P., Finkel, S.E. and Andrus, D.C. 1981. Explorations in anchoring: The effects of prior range, anchor extremity, and suggestive hints. Manuscript, Stanford University.
51. Rasmussen, N. C. 1975. Reactor Safety Study: An Assessment of Accident Risks in U.S. Commercial Nuclear Power Plants. NUREG-75/014, WASH-1400 (U.S. Nuclear Regulatory Commission, Washington, D.C.)
52. Rogers, W. et al. 1986. Report of the Presidential Commission on the Space Shuttle Challenger Accident. Presidential Commission on the Space Shuttle Challenger Accident. Washington, DC.
53. Sanchiro, C. 2003. Finding Error. Mich. St. L. Rev. 1189.
54. Schneier, B. 2005. Security lessons of the response to hurricane Ka-trina. Viewed on January 23, 2006.
55. Sides, A., Osherson, D., Bonini, N., and Viale, R. 2002. On the reality of the conjunction fallacy. Memory & Cognition, 30(2): 191-8.
56. Slovic, P., Finucane, M., Peters, E. and MacGregor, D. 2002. Ra-tional Actors or Rational Fools: Implications of the Affect Heuristic for Behavioral Economics. Journal of Socio-Economics, 31: 329–342.
57. Slovic, P., Fischoff, B. and Lichtenstein, S. 1982. Facts Versus Fears: Understanding Perceived Risk. In Kahneman et al. 1982: 463–492.
58. Strack, F. and Mussweiler, T. 1997. Explaining the enigmatic anc-horing effect: Mechanisms of selective accessibility. Journal of Personality and Social Psychology, 73: 437-446.
59. Taber, C.S. and Lodge, M. 2000. Motivated skepticism in the evalu-ation of political beliefs. Presented at the 2000 meeting of the American Political Science Association.
60. Taleb, N. 2001. Fooled by Randomness: The Hidden Role of Chance in Life and in the Markets. Pp. 81-85. New York: Textre.
61. Taleb, N. 2005. The Black Swan: Why Don't We Learn that We Don't Learn? New York: Random House.
62. Tversky, A. and Kahneman, D. 1973. Availability: A heuristic for judging frequency and probability. Cognitive Psychology, 4: 207-232.
63. Tversky, A. and Kahneman, D. 1974. Judgment under uncertainty: Heuristics and biases. Science, 185: 251-284.
64. Tversky, A. and Kahneman, D. 1982. Judgments of and by representativeness. In Kahneman et. al. (1982): 84-98.
65. Tversky, A. and Kahneman, D. 1983. Extensional versus intuitive reasoning: The conjunction fallacy in probability judgment. Psychological Review, 90: 293-315.
66. Wansink, B., Kent, R.J. and Hoch, S.J. 1998. An Anchoring and Ad-justment Model of Purchase Quantity Decisions. Journal of Marketing Research, 35(February): 71-81.
67. Wason, P.C. 1960. On the failure to eliminate hypotheses in a con-ceptual task. Quarterly Journal of Experimental Psychology, 12: 129-140.
68. Wilson, T.D., Houston, C., Etling, K.M. and Brekke, N. 1996. A new look at anchoring effects: Basic anchoring and its antecedents. Journal of Experimental Psychology: General. 4: 387-402.






















;
Дэвид Брин. Сингулярность и кошмары


Перевод: А.В. Турчин   
http://www.proza.ru/2007/05/14-31


Singularities and Nightmares
by David Brin


Приближающаяся сингулярность включает в себя следующие вари-анты: саморазрушение цивилизации, позитивная сингулярность, негативная сингулярность (машины берут верх) и возвращение к традиционному образу жизни. Нашей важнейшей целью является: найти ошибочные образы дей-ствий (и избежать их), используя предвидение (мысленные эксперименты), и усилить жизнеспособность – создать мощные системы, которые могут справляться почти с любой проблемой при её возникновении. 


Опубликовано в «Представление нанотехнологий: Обзор сверхточ-ного проектирования и нанотехнологии». (Nanotechnology Perceptions: A Re-view of Ultraprecision Engineering and Nanotechnology, Volume 2, No. 1, March 27 2006 . Reprinted with permission on KurzweilAI.net March 28, 2006).
Позвольте мне предложить вам описание нескольких возможностей ближайшего будущего, которое скоро наступит, – а именно описание пере-мен, которые могут произойти в течение следующих примерно двадцати лет, приблизительно за одно человеческое поколение. Эти возможности прини-маются всерьёз некоторыми лучшими современными умами и означают по-тенциальную возможность трансформации человеческой жизни на Земле и, может быть, даже самого смысла слова «человек».
Например, что если биологи и органические химики смогут сделать для своих лабораторий то, что кибернетики сумели сделать для компьюте-ров? Смогут уменьшить свои огромные биохимические лаборатории до крайне компактных устройств, сделав их меньше, дешевле и мощнее, чем кто-либо может себе представить. Не это ли случилось с гигантскими ком-пьютерами в недавнем прошлом? Вплоть до того, что сейчас ваш карманный сотовый телефон содержит столько же вычислительной мощности и конст-руктивной сложности, сколько было у НАСА во времена полётов на Луну. Люди, которые сумели предвидеть эти перемены, скользили на гребне тех-нологической волны и некоторые из них заработали на этом много денег.
Биологи уже прошли большой путь к достижению такой же транс-формации. Возьмём, например, Human Genome Project, который ускорил расшифровку ДНК несколько порядков, и большая часть этого процесса ста-ла автоматизирована и миниатюризирована. Скорость выросла до небес, в том время как цена упала, обещая нам, что вскоре каждый может иметь соб-ственную генетическую карту в день обращения, за ту же цену, что ЭКГ. Продолжение этой тенденции приведёт к уменьшению полной биохимиче-ской лаборатории до размеров дешёвого агрегата на вашем столе. MolecuMac, если вы хотите. Возможности – и прекрасные, и ужасные.
Мы все окажемся в выигрыше, когда сконструированные лекарства и методы терапии будут легко модифицируемы образованными медицинскими работниками. Но будет ли биохимический эквивалент «хакеров»? Что мы собираемся делать, когда дети во всём мире смогут анализировать и синтезировать любые органические соединения по своей воле? В этом случае нам лучше рассчитывать на соответствующий  прогресс в области искусственного интеллекта и роботов… во всяком случае, в приготовлении наших гамбургеров. Я не собираюсь есть ни в одном ресторане, который нанимает злопамятных подростков, которые обмениваются забавными рецептами для своих молекулярных синтезаторов через Интернет. А вы?
Но не поймите меня неправильно. Если мы когда-нибудь получим MolecuMac на наш рабочий стол, я готов поспорить, что 99 процентов его изделий будут нейтральны или позитивны, как и большая часть программ, создаваемых молодыми новаторами сегодня. Но если мы сейчас беспокоимся об одном проценте вредителей в мире битов и байтов – о хакерах и кибер-саботажниках – то что случится, когда этот вид «креативности» будет направлен на саму жизнь? И мы ещё не упомянули о возможности намеренного причинения вреда более крупными образованиями – террористическими сетями, интригующими диктаторами или мошенническими корпорациями.
Эти страхи становятся ещё более беспокоящими, когда мы задумы-ваемся о следующей за биотехом стадии. Уже сейчас распространяется глу-бокое беспокойство о том, что случится, когда нанотехнологии – микрома-шины, создающие продукты атом за атомом по сверхточным правилам – наконец достигнут успеха. Молекулярное производство может привести к созданию сверхэффективных заводов, которые будут создавать блага с ошеломительной эффективностью. Ремонтные нанороботы можно будет помещать в ваши кровеносные сосуды, чтобы лечить болезни или тонко настраивать функции тела. Провидцы предполагают, что эта технология поможет спасти планету от более ранних человеческих ошибок, например, путём катализа повторного использования устойчивых загрязнителей. Эти настольные устройства, в конце концов, могут стать универсальными производителями, которые будут превращать почти любой исходный материал в почти любой продукт, который вы захотите…
… или (как тревожатся некоторые) наномашины могут вырваться на свободу и стать окончательным загрязнением. То есть возникнет самораз-множающаяся бяка, пожирающая всё на своём пути и, вероятно, превра-щающая всю земную поверхность в серую слизь (gray goo) .
Другие уже рассматривали эту проблему раньше, и некоторые – в очень ярких красках. Возьмём, например, великолепный роман «Жертва» («Prey») Майкла Крайтона (Michael Crichton), который изображает секретное агентство, высокомерно продвигающее самонадейную новую технологию, не обращая внимания на возможные изъяны и последствия. Этот типичный крайтоновский катастрофический сценарий о нанотехнологиях следует мо-дели, почти идентичной его ранним триллерам о вырвавшихся на свободу динозаврах, роботах, и десятках других технических угроз, каждая из кото-рых рассмотрена с отрефлексированным и полным подозрения отвращением. (Разумеется, в каждой ситуации опасные эксцессы случались в результате режима секретности, – тема, к которой мы позже вернёмся.)
Более ранний и лучший роман, «Музыка Крови» (Blood Music), Гре-га Бира (Greg Bear) представляет с большой живостью позитивные и нега-тивные возможности нанотехнологий. Особенно возможность, которая больше всего беспокоит даже оптимистов в нанотехнологическом сообщест-ве, – что скорость инноваций может обогнать нашу способность справляться с ними.
И, на некотором уровне, это древний страх. Если вы хотите выбрать единственное клише, которое распространенно повсеместно, пересекая все грани идеологии и веры – например, левое против правого, или даже религи-озное против мирского – наиболее общим из всех будет следующее:

«Разве это не позор, что наша мудрость отстаёт от нашей тех-нологии?»

Хотя это клише абсолютно верно на уровне отдельных человеческих существ и даже массовых объединений, таких, как корпорации, государственные учреждения или политические партии, ситуация нигде так не ясна, как на самом верхнем уровне человеческой цивилизации. В другом месте я предположил, что «мудрость» должна определяться, исходя из результатов и процессов, а не восприятия или проницательности любого отдельного гуру или мудреца. Возьмём, например, исход Холодной Войны – первый известный пример, когда человечество обрело средство массового уничтожения и затем в целом отошло от этой пропасти. Да, это средство уничтожения по-прежнему с нами. Но два поколения беспрецедентного самоограничения предполагают, что мы сделали некоторый прогресс по крайне мере в одном виде «мудрости». И это так, когда средства массового уничтожения контро-лируются несколькими избирательно отобранными высшими государствен-ными лицами обеих сторон в ситуации простого противостояния.
Но готовы ли мы к новой эре, когда дилеммы вовсе не так просты? В наступающее время самые худшие опасности для цивилизации могут возни-кать не от идентифицируемых и исчислимых противников, – которые стре-мятся победить в ясном, точно просчитанном соревновании – а от общей доступности средств нанесения вреда. 
Новые технологии, распространяемые через интернет и усиливаемые легко доступными инструментами, предложат всё большему числу разъяренных людей доступ к разными видам разрушительных сил, которые будут использованы по причине «праведной» обиды, алчности, возмущения, или просто потому что они есть.


СТАРИННЫЙ РЕЦЕПТ: ОТКАЗ ОТ ПРАВ


Осознавая разгон технологий в биотехе, нанотехе, ИИ и т. д., неко-торые искренние люди – вроде Билла Джоя (Bill Joy), бывшего ведущего учёного фирмы Sun – видят мало шансов для выживания полностью отрыто-го общества. Возможно, вы читали грустный манифест Джоя в журнале ‘Wired’  , в котором он цитирует Унабомбера (не кого-нибудь, а именно его) в поддержку предположения, одновременно старого и нового – что нашей единственной надеждой на выживание может быть отказ, уничтожение или остановка нескольких видов технологического прогресса.
Идея об отказе получила поддержку повсюду на философской и по-литической карте, особенно на крайне правых и левых её краях.
Возьмём, например, романы и высказывания Маргарет Атвуд (Margaret Atwood), чьи основные сюжетные линии почти идентичны тем, что у Майкла Крайтона, несмотря на их различия в деталях. Оба автора постоянно выражают беспокойство, которое часто переходит настоящее отвращение, по отношению к самонадейной гордыне технологических инноваторов, которые просто не могут предоставить природу самой себе в достаточной мере.
На другой стороне спектра правых и левых стоит Фрэнсис Фукуяма, который занимает пост профессора в Хопкинском университете (Bernard L. Schwartz Professor of International Political Economy at the Paul H. Nitze School of Advanced International Studies of Johns Hopkins University). Наиболее из-вестная работа доктора Фукуямы «Конец истории и последний человек» (1992) с триумфом воспринимает коллапс коммунизма как, вероятно, по-следнее волнующее событие, стоящее занесения в летопись историков. С этого момента мы увидим цветение либеральной демократии без значитель-ного соревнования или столкновений. Больше не будет «интересных вре-мён» . Но этот жизнерадостный взгляд заканчивается, когда Фукуяма начи-нает замечать потенциально опасную «историю» разрушительных эффектов новых технологий. Будучи придворным интеллектуалом Администрации Буша и членом Президентского Совета по Биоэтике, он сейчас осуждает значительную часть биологической науки как разрушительную и даже аморальную.
Нельзя, согласно Фукуяме, доверять людям в принятии качествен-ных решений об использовании – например – генетической терапии. Челове-ческая «недоказуемость» столь опасная концепция, что она должна быть отвергнута почти без всяких исключений. В «Нашем постчеловеческом буду-щем: Последствия Биотехнологической Революции» (2002), Фукуяма призы-вает министерства американского правительства контролировать или запре-тить целые направления научных исследований, производя все действия, которые они полагают для этого необходимыми.
Вы можете подозревать, что я сомневаюсь. С одной стороны, долж-ны ли мы распространить этот запрет на исследования на весь мир? Возмож-но ли истребить такие инструменты навсегда? Как для элит, так и для масс? И если да, то как?
Хотя некоторые из катастрофических процессов, упоминаемых Бил-лом Джоем, Ральфом Петерсом (Ralph Peters) и Фрэнсисом Фукуямой выгля-дят убедительными и стоящими исследования, всё же не понятно, как мы можем справиться со всем, став нео-луддитами. Законы, которые направлены на ограничение технологического продвижения, наверняка будут нарушаться экстремистскими группами, где как раз и сконцентрированы наибольшие опасности. Даже если будут устроены свирепые репрессии – вероятно, усиленные всевидящим и универсальным контролем – это не предотвратит исследования и использование таких технологий элитами. (Корпорации, правительства, аристократы, преступники, иностранцы – выберете на свой вкус элиту с неограниченной властью.) Годами я бросал вызов отрицателям прогресса – попробуйте привести хотя бы один пример из всей человеческой истории, когда власть имущие позволяли такому случиться. Особенно, когда они наверняка оставались на месте, чтобы  выиграть от чего-то нового.
Будучи неспособными ответить на этот вызов, некоторые отрицате-ли возражали, что новые мега-технологии – включая биотех и нанотехноло-гию – могут быть лучше использованы и продвигаемы, если контроль будет осущевляться только известными элитами, возможно даже в секрете. Когда на кону так много, не должны ли лучшие и самые искренние люди прини-мать решения за всех? В действительности, по справедливости, я должен допустить, что один исторический пример, который я дал раньше – насчёт ядерного вооружения – не даёт особой поддержки этой идее. Определённо, главным обстоятельством здесь, которое спасло нас, было ограниченное число лиц, принимающих решения, которые могли начать ядерную войну.
И ещё, не был ли весь политический процесс тогда под вниматель-ным наблюдениям публики? Не были ли эти лидеры контролируемы публи-кой, хотя бы с одной стороны? Более того, решения об атомных бомбах не были сильно подвержены влиянию эгоистических интересов. (Говард Хьюз не стремился иметь и использовать частный ядерный арсенал.) Но эгоисти-ческий интерес определённо будет воздействовать на правящие элиты, когда они будут оценивать огромные преимущества и потенциальную цену био-технологий и нанотехнологий.
И с другой стороны, не является ли элитарная секретность в точно-сти тем создающим ошибки режимом, который Крайтон, Атвуд и многие другие изобразили столь живо, снова и снова, когда выступали против тех-нологической гордыни?
История кишит примерами бредовых сборищ самоуверенных мелких дворян, рассказывающих друг другу воодушевляющие истории и избегаю-щих при этом какой-либо критики, которая могла бы обнаружить расчеты в Плане (мятежа). Предписывая возвращение к патернализму – контролю эли-тами, которые остаются замкнутыми и неподотчётными – не предлагают ли таким образом отрицатели именно тот самый сценарий, который – справед-ливо – все боятся больше всего?
Вероятно, это одна из причин того, почему отрицатели – словоохот-ливые и конкретные, когда речь идёт о возможных путях катастрофы – редко выражаются ясно о том, какие именно контролирующие организации долж-ны выполнить грязную работу по подавлению технологического прогресса. Или о том, как именно эта остановка разработок будет реализована повсеместно. В действительности, сторонники этой теории не могут указать ни одного исторического примера, где подавление знаний вело бы к чем-нибудь иному, чем ещё большие человеческие страдания. До сих пор нет ни одного предложения о том, как предотвратить жульничество со стороны некой элитарной группой. А возможно, и всеми элитами.
В результате, только огромное количество нормальных людей будет исключено от всецивилизационной сети обнаружения ошибок, за счёт отвле-чения их мириадов глаз, ушей и префронтальных лобных долей.
И, прежде всего, самоограничение выглядит мерой отчаяния, полно-стью противоположной характером оптимистичной, прагматичной, могучей культуре.

РЕДКО УПОМИНАЕМАЯ АЛЬТЕРНАТИВА –
ВЗАИМНАЯ ПОДОТЧЁТНОСТЬ

И всё же, несмотря на весь скептицизм, я в действительности гораздо больше поддерживаю Джоя, Атвуда, Фукуяму и др., чем кто-то мог бы ожидать. В книге «Прозрачное Общество» («The Transparent Society»), я под-робно описал с большое число социальных критиков, которые затыкались, когда осознавали потенциальные опасности на пути.
В мире быстрых перемен, мы можем только максимизировать пре-имущества научного развития, и уменьшать неизбежный вред, используя великие инструменты открытости и отчётности. В первую очередь необхо-димо признание того, что высокий уровнь критики – единственный извест-ный антидот к ошибкам. Эта коллективная версия «мудрости» – почти на-верняка то, что спасало нас до сих пор. У неё нет почти никакого сходства с индивидуальной мудростью, которую мы привыкли ассоциировать со свя-щенниками, гуру и бабушками… но она менее зависима от совершенства. Менее склонна к катастрофе, когда миропомазанный «Центр Мудрости» делает неизбежный просчёт.
В силу этого, на самом деле, я нахожу полезными раздражающих торговцев беспокойством! Одно только их присутствие помогает прогрессу продвигаться вперёд с помощью озадачивания легковерных энтузиастов. Это процесс, называемый взаимная подотчётностью (reciprocal accountability). Без искренних ворчунов, стремящихся указать на потенциальные виды аварий, мы действительно окажемся в той опасности, в которой мы, по их словам, находимся. Забавно, что в открытом обществе – где брюзги-Кассандры прекрасно слышны – вряд ли потребуются самоограничения, или драконовский контроль, который они предписывают.
Итак, я приближаюсь к главной идее ограничителей. Если общество останется столь же глупым, как некоторые люди думают – или даже если оно столь же умно, как я полагаю, но не становится ещё умнее – то тогда немногое получится из того, что народ планирует на тысячах исполненных благих намерений футурологических конференциях. Получится не более, чем отсрочка неизбежного. 
В этом случае, мы будем иметь ответ на давнюю загадку науки – по-чему нет подлинных следов внеземных цивилизаций среди звёзд . Ответ будет прост. Где бы ни возникала технологическая цивилизация, она всегда разрушает себя. Эта возможность всегда таится в засаде в углу нашего взгляда, напоминая нам, каковы ставки.
С другой стороны, я вижу все причины верить, что у нас есть шанс опровергнуть эту суровую опасность. Как члены открытой и вопрошающей цивилизации – которая использует взаимную подотчётность, чтобы находить и проверять любой возможный источник ошибок – мы можем быть уникально экипированы, чтобы справится с предстоящими задачами.
В любом случае, верить в это гораздо более весело.


ОПТИМИСТИЧЕСКИЙ СЦЕНАРИЙ – СИНГУЛЯРНОСТЬ



Мы выслушали печальных сторонников ограничения технологий. Давайте посмотрим на другое будущее. Сценарий тех, кто – буквально – верит, что только небо им предел. Среди многих наших великих мыслителей вращается одна мысль – новый «мем», если вы хотите, – который говорит, что мы готовимся к старту. Я имею в виду идею о Технологической сингу-лярности. Фантаст Вернор Виндж считается главным популяризатором этой идеи, хотя она уже существовала во многих формах в течение поколений. Недавно Рэй Курцвайль в книге «Сингулярность рядом» доказывал, что наша научная компетентность и технологическая сила скоро резко возрастут, направив человечество в полностью новую эру. Можно назвать это современной хай-тек версией апотеоза ноосферы Тейяра де Шардена – приближается время, когда человечество может перейти, ярко и решительно, на более высокий уровень осознания или бытия. Однако, вместо достижения трансцендентности через медитацию, хорошую работу или благородство духа, идея нынешнего времени состоит в том, что мы можем использовать ускоряющийся цикл образования, творчества и компьютерно-опосредованного знания для достижения интеллектуального господства как на окружающей средой, так и над нашими примитивными носителями.
Иными словами, взять под контроль «колесо жизни» Брахмы, а затем учиться крутить его туда, куда мы хотим. Чем бы ещё вы это назвали …
• Когда мы начнём использовать нанотехноогии, чтобы ремонти-ровать тела на клеточном уровне?
• Когда, при получении последних исследований по самой инте-ресной вам теме, автономные программные агенты доставят её вам, настоль-ко быстро и легко, как ваша рука сейчас движется, куда вы хотите?
• Когда производство по запросу станет таким обыденным, что бо-гатство и бедность станут почти бессмысленными словами?
• Когда опыт виртуальной реальности – скажем, посещение далё-кой планеты, – станет трудно различим от реальной вещи?
• Когда каждый из нас сможет иметь столько «слуг» – как роботов, так и программных – сколько захочет, таких же послушных, как наша правая рука?
• Когда усиленный человеческий интеллект взмоет вверх – и, об-мениваясь прозрениями с другими умами на скорости света – поможет нам достичь абсолютно новых уровней мысли?
Конечно, стоит задуматься о том, как эта идея о «сингулярности» соотносится с давней традиции размышлений о выходе за пределы человеческого. В действительности, идея перехода на другой уровень существования навряд ли новая! Она представляет одну из самых устойчивых тем в истории культуры, а значит, происходит из нашей исходной природы.
В действительности, многие оппоненты науки и технологии вцепи-лись в свои собственные образы мессианской трансформации, образы, кото-рые – говоря по правде – смешивают множество эмоциональных потоков с технологически нагруженными восприятием, даже если они различаются в вопросе о средствах достижения трансформации.
В течение истории, большая часть этих размышлений задерживались на духовном пути, на идее о том, что человеческие существа могут достичь более высокого состояния посредством молитвы, морального поведения, ментальной дисциплины, или повторения правильных заклинаний. Возможно, потому что молитва и заклинания были единственными доступными средствами. В последнем веке, интеллектуальная традиция, которая может быть названа «Техно-трансцендентализм», добавила пятое колесо. Идею о том, что новый уровень бытия или более притягательное качество жизни может быть достигнуто посредством знания и умения.
Но какими именно видами знания и умений?
В зависимости от эпохи, в которой вам довелось жить, техно-трансцендентализм смещался от одного мимолётного увлечения к другому, направляя пылкие надежды на научную моду недели. Например, сто лет назад марксисты и фрейдисты сплетали сложные модели человеческого общества – или ума – предсказывая, что рациональное применение этих моделей будет иметь результатом гораздо более высокие уровни общего счастья .
Впоследствии, на фоне популярных новостей об успехах в сельском хозяйстве и эволюционной биологии, некоторые группы были увлечены ев-геникой – соблазном улучшения человеческого животного. Время от време-ни, это приводило к неправильным и даже ужасающим последствиям. И эта повторяющаяся мечта недавно ожила в новых формах, вместе с перспекти-вами генетической инженерии и нейротехнологии. Энтузиасты ядерной энергетики в 1950-е годы обещали энергию, слишком дешёвую, чтобы её мерить. Часть этой же страсти можно увидеть в широко распространившемся энтузиазме в отношении космических колоний в 1970-е и 80-е годы, и в теперешнем продолжающемся кибертрадиционализме, который обещает неограниченную свободу и приватность каждому, стоит нам только зашифровать каждое интернет сообщение, используя анонимность он-лайн, чтобы совершенным образом замаскировать хилые создания, которые в действительности печатают на реальной клавиатуре. В дальней перспективе некоторые держатся надежды, что человеческие умы можно будет загружать на компьютеры или огромную новую осваиваемую область кибер-пространства середины 21 века, освобождая людей от всякой остающейся рабской зависимости от грубых и ненадёжных органических тел.
Эта давняя традиция – искренних людей, направляющих свою веру и энтузиазм на трансцендентные мечты – говорит многое об одном аспекте нашей натуры, о характерной особенности, которая пересекает все культуры и эпохи. Довольно часто этот энтузиазм сопровождается презрением  к современному обществу – вере, что некий вид спасения может быть достигнуть только за пределами обычной культурной среды, – среды, которая часто недобра к искренним философам – и к отщепенцам. Крайне редко обсуждается, как много эти энтузиасты имеют общего – во всяком случае эмоционально – с теми, кто верит более старые, более традиционные виды апотеоза (apotheosis – богоуподобление), которые настаивают на методах, которые являются в большей мере ментальными или духовными.
Мы должны помнить всю эту длинную историю, когда мы обсужда-ем последнюю фазу: веру в исключительно позитивные эффекты экспонен-циального роста способностей вычислительных устройств.  В то, что уско-ряющаяся мощь вычислений предложит соответственно глубокое увеличе-ние наших знаний и сил, нашей мудрости и нашего счастья.
Вызов, который я неоднократно бросал, состоит в следующем: «На-зовите хотя бы один пример в истории, когда эти верования действительно сбывались. Помня все прошлые поколения, которые были уверены в своей идее изменения, не должны ли вы подходить к своему новомодному набору с некоторой предосторожностью… и может быть небольшим сомнением?»


ЭТО МОЖЕТ БЫТЬ ЛИШЬ МЕЧТОЙ

Не заносит ли слегка тех, кто верит в сингулярность и сторонников ограничения технологий? Давайте дадим место сомнению. Может быть, все эти разговоры о решительной трансформации при нашей жизни, подобны нашим прошлым эпизодам: более основаны на мышлении, обусловленном желаниями (или страхами), чем на чём-либо доказуемом или прагматичным.
Возьмём, например, Джонатана Хьюбнера (Jonathan Huebner), физи-ка, который работал в военном центре Пентагона (Pentagon's Naval Air Warfare Center in China Lake, California). Рассматривая в целостности понятие об ускорении технического прогресса, он исследовал частоту «значительных нововведений на человека». Используя в качестве источника книгу «История науки и техники», Хьюбнер сделал вывод, что пик инноваций пришёлся на 1873 год и с тех пор только убывал. Фактически, наше теперешний уровень инноваций – который Хьюбнер определил как 7 важных технологических перемен на миллиард человек в год, примерно тот же, что и в 1600 году. К 2024 году он упадёт до того уровня, каким он был в Тёмные века, около 800 года. «Число нововведений не увеличивается экспоненциально, я не увидел их столь много, как ожидал». Хьюбнер предложил два возможных объяснения: экономика и размер человеческого мозга. Как по причине того, что просто не стоит продвигать определённые инновации, если за них не будут платить – одна из причин, почему затормозились космические экспедиции – или потому что мы уже знаем большую часть того, что мы можем знать, и потому открытие нового стало чрезвычайно трудным.
Бен Джонс (Ben Jones) из Northwestern University in Illinois в целом соглашается с находками Хьюбнера, сравнивая проблему с аналогичной проблемой Красной Королевы из Алисы в Зазеркалье: мы должны бежать быстрее и быстрее, просто чтобы оставаться на месте. Но Джонс имеет другое мнение о причинах этого. Его теория состоит в том, что ранние исследователи выщипали все легко достижимые идеи. Или, возможно, огромный объём накопленного знания означает, что новаторы должны иметь более длительные периоды обучения, чтобы узнать достаточно, чтобы изобрести что-то новое, и в результате, меньшую часть своей жизни они могут посвятить изобретательству.
«Я заметил, что нобелевские лауреаты становятся старше», – гово-рит он. В действительности, легко отбросить все четыре аргумента от Хьюб-нера и Джонса . Например, это вполне естественно для нововведений и прорывов казаться менее очевидными для невооружённого взгляда, – теперь, когда мы расширили пространство наших исследований от размеров кванта и до края космоса. В биологии только несколько событий привлекли исключительное внимание как «прорывы» – вроде соревнования вокруг расшифровки человеческого генома. Трудно замечать путевые вехи на столь сложном и туманном поле исследований. Но из этого не следует, что биологические открытия не быстры и не существенны. Более того, в той мере, как многие исследователи получают, по-видимому, свои награды в более позднем возрасте, не является ли это в частности отражением того факта, что продолжительность жизни возросла, и меньше людей умирает до того, как начинается рассмотрение вопроса о призах?
И, есть кое-что ещё, что следует сказать о сомневающихся в сингу-лярности. В действительности, ещё в 1930-х было несколько известных фан-тастических произведений, которые предполагали замедление прогресса, исходя из простой логики. Потому что прогресс выглядит своим худшим врагом. Чем больше становится известно, тем в большей мере специалисты в каждой области должны знать всё больше и больше о всё меньшем и мень-шем – или о постоянно сужающейся области науки – чтобы продвигать зна-ние малюсенькими шажками.
Когда я был студентом в калифорнийском технологическом инсти-туте, в 1960-х, мы обсуждали эту проблему роста размеров науки. Например, каждый год абсолютный размер, занимаемый на полках библиотеки реферативным журналом по химии ("Chemical Abstracts") рос ошеломляюще, и он становился всё более неподъёмным для любого человека, ищущего нужные ему статьи.
И всё же эта тенденция в последующие десятилетия так и не стала бедствием, как мы того ожидали. В частности, потому что реферативные журналы по химии и их братья – факт – исчезли с библиотечных полок, все вместе! Проблема свободного места в библиотеке была разрешена просто путём помещения каждого автореферата в сеть. Определённо, поиск литера-туры для эффективной работы даже в отдалённых областях знания происхо-дит сейчас быстрее и эффективнее, чем когда-либо раньше, особенно благо-даря использованию программных агентов и ассистентов, которые станут ещё более эффективны в ближайшие годы. Эта противоположная сила опре-делённо впечатляюща. Но моё собственное мнение склоняется к другой тен-денции, которая, кажется, предупредила коллапс производительности науки. Это мнение, я должен предупредить, полностью субъективно. И оно, по мо-ему опыту, выглядит даже более важным, чем продвижение в технологии онлайн поиска. Потому что мне кажется, что лучшие и самые толковые учё-ные становятся умнее, несмотря на то, что проблемы, с которыми они стаки-ваются, становятся всё более сложными. 
Я не могу подтвердить это с помощью статистики или анализа. Только моим наблюдением, что многие профессора и исследователи, кото-рых я знал в течение моей жизни, теперь выглядят гораздо более живыми, более свободно мыслящими и более интересующимися областями науки за пределами их собственной, чем они были, – даже с учётом их прогресса за прошедшие годы – когда я в первый раз встретил их. А некоторых я встретил ещё десятилетия назад. Физики кажутся более заинтересованными в биоло-гии, биологи в астрономии, инженеры в кибернетике, и так далее, – чем это было раньше. Это находится в абсолютном контрасте с тем, что можно было бы ожидать, если бы специализация устойчиво сужалась. Но это согласуется с идеей, что культура может мощно влиять на нашу способность быть творческими. И культура, которая освобождается от избитых старых предположений и цеховых границ, может быть, находится в процессе высвобождения ментальных ресурсов, чем закрытия их.
Фактически, эта тенденция – к преодолению стандартного разделе-ния дисциплин – сознательно воспитывается во многих  местах. Например, новый колледж университета Калифорнии (Sixth College of theUniversity of California at San Diego), чья официально установленная миссия – «построить мост между науками и искусствами», вбивая гвоздь в старую концепцию C.P. Snow о том, что две культуры не могут встретиться. Никогда ранее не было столько совместных усилий между технически сообразительными художни-ками и учёными, которые принимают эстетические и творческие стороны жизни .
Хьюбнер и Джонс, кажется, упускают то, что сложные препятствия обычно преодолеваются сложными структурами. Даже если Эйнштейн и другие собрали все низко висящие фрукты, которые доступны отдельным людям, это не мешает группам – организациям, командам и коммерческим начинаниям – путём построения сотрудничающих человеческих пирамид отправляться за ценностями, которые висят выше на дереве. Особенно, когда эти пирамиды включают в себя новые виды участников, программных аген-тов и поисковых методологий, всемирные ассоциативные сети и даже уча-стие заинтересованных любителей на основе работы с открытыми источни-ками. Или когда место творения мириадов областей исследований распыле-ны по множеству недорогих настольных компьютеров, как раньше это про-изошло с программами .
Американо-голландский историк экономики Джоел Мокир (Joel Mokyr) в книге «Влияние сокровищ и дары Афины» поддерживает этот про-грессивный взгляд, что мы в действительно делаем нечто правильное, нечто, что даёт нашей либерально-демократической цивилизации уникальную спо-собность создавать непрерывный прогресс. Мокир полагает, что с эпохи Просвещения 18 века, в балансе человеческих сил появился новый фактор: накопление и свободный рынок знаний. Как говорит Мокир, мы не обезглав-ливаем теперь людей за то, что они говорят неправильные вещи – мы вы-слушиваем их. Такое «социальное знание» является прогрессивным, по-скольку оно позволяет идеям тестироваться и выживать наиболее эффектив-ным из них. Это знание воплощается в учреждениях, которые, в отличие от отдельных людей, могут подняться над нашей человеческой природой. Но Мокир предупреждает, что, хотя общество может прогрессировать, челове-ческая натура – нет. Наша агрессивная, стадная природа жёстко впечатана в нас, нереформирована и нереформируема. Индивидуально каждый из нас является животным, и как животное, неспособен к прогрессу. Трюк состоит в том, чтобы посадить эти животные натуры в рамки эффективных организа-ций: образование, закон, правительство. Но это может пойти по неправиль-ному пути. «То, что меня пугает, – говорит он, – это то, что эти организации могут промазать».
Хотя я не использую слова вроде «посадить», я должен согласиться, что Мокир улавливает существенную черту наших недавних и кратких экс-периментов с Просвещением: Отрицание Джоном Локком романтического сверхупрощения в пользу прагматических учреждений, которое гибко мак-симализирует эффективность наших наилучших усилий – ангелов нашей природы – позволяет нашим творческим силам взаимно усиливаться. В то же время, те же самые учреждения и процессы могут ограничить наших «дьяво-лов» – всегда присутствующую человеческую тенденцию к самообману и жульничеству. Конечно, человеческая природа стремится вырваться из этих ограничений. Склонные к самообману и мошенничеству люди постоянно стремятся найти поводы к обходу соглашений Просвещения и выиграть от того, что эти институции станут менее эффективны. Если мы позволим этому случится, нет более надёжного способа провалить любую сингулярность. Но затем, если посмотреть с другой стороны, что если вскоре станет возможным не только сохранять творческие просвещённый институции, но сделать то, что Мокир считает невозможным? Что если мы на самом деле сможем улучшать человеческую природу?
Предположим, что человеческие компоненты обществ и организаций тоже могут быть сделаны лучше, хотя бы немножко? Я уже утверждал, что это уже происходит, в умеренной форме. Представьте последствия даже ма-ленького скачка вверх общей человеческой интеллектуальности, как врож-дённой, так и просто функциональной, посредством всего, начиная от обра-зования и «умных лекарств» до технологически усиленных органов чувств и новых методов самообучения.
Не потребуется очень большого усиления человеческого интеллекта, чтобы рынки, наука, демократия и т. д. заработали гораздо лучше, чем сейчас. Определённо, это один из факторов, на который рассчитывают ревнители сингулярности.
То, с чем мы остались, – это образ, который скрывает простое и чис-тое понятие о кривой «сингулярности»… которая неумолимо взмывает в не-беса, как простая математическая функция, где знания и мастерство посто-янно усиливают сами себя, как если бы их вёл некий природный закон. Даже наиболее разрекламированный пример такой кривой, закон Мура, – который успешно моделирует увеличение компьютерной силы при уменьшающейся цене – никогда не был гладким феноменом. Ряд критических и своевремен-ных решений – ряд из них чисто случайных – спасли закон Мура от многих столкновений как с технологическими барьерами, так и с жестокими рыноч-ными силами.
Это правда, что нам везло до сих пор. Кибернетика, образование и мириады других факторов помогли преодолеть «ловушку специализации». Но как мы увидим в этом разделе, прошлый успех не гарантирует будущий. Те, кто предвидит восходящие кривые продолжающимися до бесконечности, как если бы это был предмет веры, имеют на это не больше оснований, чем другие трансценденталисты, которые уверенно предсказывают другие во-одушевляющие свершения, в своё время.

УСТРАШАЮЩАЯ ЗАДАЧА ПО ПЕРЕСЕЧЕНИЮ
МИННОГО ПОЛЯ

После всего сказанного выше, позвольте мне поспешить добавить, что я верю в высокую вероятность наступающей Сингулярности!
Я верю в это, потому что альтернативы слишком ужасны, чтобы их принять. Потому что, как мы обсуждали выше, средства массового уничто-жения, от атомной бомбы до бактериологического оружия, всё больше «де-мократизируются» – распространяются столь быстро среди наций, групп и индивидуумов – что нам стоило бы обнаружить скорое распространение благоразумия и мудрости, иначе мы все обречены.
В действительности, подавляя полностью преобладающее клише ци-низма, я предполагаю, что есть твёрдые свидетельства, дающие некоторые основания для предварительного оптимизма. Восходящий тренд уже полно-стью в силе. Суммарный уровень образованности, знания и мудрости в За-падной цивилизации – и у составляющих её граждан – никогда не был столь высок, и уровень этот может продолжить быстро улучшаться в следующем веке. Возможно, достаточно быстро, чтобы исключить некоторые наиболее распространённые представления о катастрофе, с которыми вы выросли. Например, мы не увидим будущего в духе фильма «Бегущий по лезвию брит-вы» или любой другой киберпанк-антиутопии. Такие миры, – в которых мощь технологий не соответствует мудрости и ответственности, – просто не смогут сами себя поддерживать.
Перед нами, кажется, открыты четыре широких категории возмож-ностей.
1. Саморазрушение. Жертвоприношение или разорение или массовое уничтожение. Или экологическое самоубийство. Выберете себе вариант на вкус. Последующая долгая эра, в которой немногие выжившие (если будут) оглядываются на нас с завистью. Для чудесно депрессивного и информативного взгляда на этот вариант, смотрите книгу Джареда Даймонда «Коллапс: Как общества выбирают рухнуть или процветать». (Отметьте, что Даймонд ограничивает себя экологическими катастрофами, которые напоминают цивилизационные крахи прошлого; в силу этого он только чуть-чуть касается всего разнообразия катастрофических режимов.) Мы привыкли представлять, что саморазрушение происходит из-за ошибок правящих элит. Но в этой статье мы рассмотрели, как это может случиться, если общество вступит в эпоху всеобщей демократизации средств массового уничтожения – или, как Томас Фридман обозначил это, «сверхусиления злых молодых людей», без дополняющего продвижения в социальной зрелости и всеобщей мудрости.
2. Достигнуть некой формы «Позитивной Сингулярности» – или, по крайней мере, фазового перехода к более высокому и знающему обществу (которое может иметь свои собственные проблемы, которые мы не можем представить.) Позитивные сингулярности могут, в целом, предоставить каж-дому нормальному человеческому существу возможность участвовать колоссальных прорывах, пережить добровольное, решительное самоулушение, без какого-либо принуждения… или предательства базовых ценностей, которые мы все разделяем.
3. Затем идёт «Негативная Сингулярность» – та версия самоуничто-жения, в которой происходит резкий рост технологического прогресса, но таким образом, который представители нашего поколения сочли бы горьким. Конкретные сценарии, которые попадают в эту категорию, могут включать ущерб, наносимый нам новыми, сверхинтеллектуальными наследниками (как в Терминаторе или Матрице), или мы можем быть просто «оставлены позади» некими сверхобъединениями, которые похлопают нас по голове и направятся к великим вещам, которые мы никогда не сможем понять. Даже самые мягкие и умеренные версии такой «Негативной Сингулярности» воспринимаются как мерзость некоторыми отрицателями, такими, как Билл Джой, которые мрачно смотрят на перспективу того, что люди могут стать чем-то меньшим, чем вершиной эволюции жизни на Земле .
4. Наконец, имеется крайний исход, предполагаемый любым ограни-чительным сценарием: возвращение к некой более традиционной форме че-ловеческого общества, подобной тем, что поддерживали статичное единооб-разие посредством пирамиды иерархического контроля, по крайней мере, четыре тысячелетия. Исход, в котором сокрушаются технологии, которые могут привести к результатам 1 или 2 или 3. Имея 4 тысячи лет опыта в этом процессе, сверхконсервативные иерархии, вероятно, смогут справиться с соответствующей задачей, если мы дадим им достаточную власть. То есть, они смогут делать это определённое время.
Когда различные пути  разложены таким образом, становится по-нятно, какое ошеломительное будущее нас ждёт. Возможно, эпоха, когда решится всё человеческое будущее. И определённо не эпоха, которая исклю-чена из «истории». Читатель может обратиться к прекрасной книге Джоела Гарро «Радикальная эволюция» (Joel Garreau, Radical Evolution) за похожи-ми, но более детально проработанными идеями. Она даёт прекрасный обзор двух экстремальных сценариев будущего – «Небес» и «Ада», а затем посту-лирует третий – «Преодоление», который смотрится наиболее правдоподоб-ным.
Итак, какой из этих исходов кажется наиболее достоверным?
Во-первых, несмотря на то, что это может выглядеть привлекатель-ным и соблазнительным для многих, я должен выразить сомнение в том, что 4-ый исход может быть успешным в течение продолжительного периода. Да, он резонирует с тайной нотой, которую каждый из нас чувствует внутри себя и которая унаследована от бессчётных тысячелетий феодализма и бесспорной феодальной преданности иерархии, нотой, которая нынче отражена во множестве популярных историях и фильмах в духе фэнтези. Несмотря на то, что мы воспитаны держать некоторые элиты под подозрением, имеется заметная тенденция для каждого из нас закрывать глаза на другие элиты – или фаворитов – и предполагать, что они будут править мудро.
Определённо, квази-Конфуцианская социальная модель, которая реализуется бывшими коммунистическими правителями Китая, кажется убе-дительным, твёрдым и новаторским походом к усовершенствованию автори-тарного правления, так, чтобы в нём сочетались преимущества как капита-лизма, так и меритократии  (теория об управлении элитой одарённых – прим. пер.) Эти решительные усилия предполагают, что усовершенствованная и модернизированная версия иерархизма может преуспеть в подавлении всего беспокоящего, в то же время позволяя существовать прогрессу, который правильным образом проверен. Это, очевидно, является отвержением Просвещения и всего, за что оно борется, включая установку Джона Локка о том, что процесс регулируемого, но в целом свободного человеческого взаимодействия может решать проблемы лучше, чем элитарные принимающие решения касты.
В действительности, мы уже убедились, в одной только этой статье, что есть более чем достаточно причин, чтобы понять, почему откат в разви-тии просто не может работать в течение длительного времени. Человеческая природа обуславливает то, что никогда не было успешного правления про-светлённого,  бесстрастного и мудрого «короля-философа». Этот подход подвергался справедливой проверке – в течение, по крайней мере, 40 столе-тий – и почти по любому счёту он провалился.
Что же касается оставшихся трёх путей, ни каким образом никто – начиная с наибольших энтузиастов, сторонников «экстопии» и утопических трансценденталистов, вплоть до наиболее скептических и пессимистических предсказателей гибели – никто не может доказать, что один путь более ве-роятен, чем другой. (Как могут модели, созданные более ранней и грубой системой, симулировать и предсказывать поведение более поздней и слож-ной системы?) Всё, что мы можем сделать – это пытаться понять, какие про-цессы могут улучшить наши шансы на достижение благоприятных, более жизнеспособных исходов. Эти процессы наверняка будут как технологиче-скими, так и социальными. Они будут, в большой степени, зависеть от нашей способности избегать ошибок.
Мой тезис – противоречащий многим предписаниям как справа, так и слева – состоит в том, что мы должны продолжать доверять Локку. Наша цивилизация уже обладает набором уникальных методик, чтобы справляться с быстрыми изменениями. Если мы обратим пристальное внимание на то, как эти методы работают, они могут значительно улучшиться, возможно, в достаточной степени, чтобы мы могли справиться с проблемами и даже процветать. Более того, наименее полезной модификацией может оказаться та, на которой настаивают сторонники Профессиональных Каст – увеличение патерналистского контроля .
Фактически, если вы посмотрите на нашу современную культуру с исторической перспективы, она выглядит глубоко аномальной в своей склонности к индивидуализму, прогрессу, и, более всего, подозрительностью к властям (suspicion of authority – SOA). Эта тема активно подавлялись в ог-ромном большинстве человеческих культур, потому что она угрожала ста-бильному равновесию, от которого правящие классы всегда зависели. В За-падной Цивилизации – наоборот – кажется, будто каждое творение масс-медиа, от фильмов до песен и романов, продвигает подозрительность к вла-стям как центральную человеческую ценность . И это может быть в дейст-вительности наиболее уникальным качеством нашей культуры, даже в боль-шей мере, чем наше богатство и технологическое могущество. И хотя мы горды получившимся обществом – тем, которое поощряет эксцентричность, принятие разнообразия, социальную подвижность и научный прогресс – мы всё ещё не имеем права заявлять, что этот новый путь жизни является осо-бенно разумным и очевидным. Многие в других частях мира считают жите-лей Запада безумными! И не без оснований. В действительно, только время нас рассудит. Например, если мы доведём нашу подозрительность по отно-шению к властям до предела, и начнём параноидально не доверять даже нашим самым лучшим институциям – как это было в случае с Окламхомским террористом Тимоти Маквейем – то вполне возможно, что Западная цивили-зация может распасться на части до достижения своих хвалёный целей и быстро направиться по одному из многих путей к исходу номер 1. Определённо, позитивная сингулярность (исход 2) не может произойти, если будут действовать только центробежные силы и не будет компенсирующих центростремительных добродетельных сил, чтобы удержать нас вместе как общество взаимноуважающих друг друга независимых граждан. Более того (как я указал в «Прозрачном Обществе»), наши величайшие нововведения, – пространства ответственности (15), на которых решаются важнейшие задачи, – наука, юриспруденция, демократия и свободные рынки – не являются произвольными и не базируются на прихоти или технологии. Все они зависят от противников, соревнующихся в специально организованных игровых пространствах, с установленными твёрдо-заученными договорённостями для предотвращения разных видов жульничества, которые обычно правят бал, когда в процессе участвуют человеческие существа. Превыше всего, наука, юриспруденция, демократия и свободные рынки зависят от взаимной подотчётности, которая происходит из открытого течения информации. Секретность – это враг, который разрушает все из них, и легко может распространиться, как инфекция, и разрушить наше хрупкий расцвет.


ЛУЧШИЕ МЕТОДЫ ИЗБЕГАНИЯ ОШИБОК

Очевидно, что наша срочная задача – найти и избежать множество ям с зыбучим песком – потенциальных способов возникновения катастрофы – по мере того, как мы с головой погружаемся в будущее. Рискуя повторить наше сверх-упрощение, можно сказать, что мы делаем это двумя путями. Первый – предвидение. Второй – живучесть.
Первый метод использует наши знаменитые перфронтальные облас-ти мозга – наши самые недавние и наиболее тонкие нейронные органы – что-бы вглядываться вперёд, производить мысленные эксперименты, предвидеть проблемы, создавать модели и предпринимать контрмеры заранее. Предви-дение может быть спасительным средством… или одним из наиболее кра-сочных путей к саморазрушению .
Другой подход – живучесть – включает в себя создание сильных систем, наборов для реагирования, инструментов и распределенных сил, которые могут справиться практически с любой проблемой, когда она возникнет – даже с проблемами-сюрпризами, которые хвалёные лобные доли не могли даже представить себе. Нынче оба этих метода совместимы, даже взаимодополнительны. Нашей компьютерной промышленности способствовало то, что, помимо прочего, часть её сконцентрирована в Бостоне и часть – в Калифорнии, где правят разные корпоративные культуры. Компании, взошедшие на северо-восточной ментальности, стараются создать совершенные продукты. Работники остаются в одной и той же компании, зачастую, десятилетиями. Они чувствуют ответственность. Они вычищают баги до релиза и отгрузки. Этим людям мы бы предпочли поручить создание банковской программы, или оборонного радара, потому что мы не можем позволить много ошибок даже в бета-версиях таких устройств, за исключением банкоматов! С другой стороны, люди, работающие в Силиконовой долине, кажется, думают, как представители другого вида. Они кричат: «Давайте немедленно вынесем это на прилавок! Сначала нововведения, а потом ловля глюков! Наши потребители скажут нам, что нужно починить на лету! Они хотят новейшую вещь и к чёрту совершенство!» Сегодняшний Интернет вырос из вот такого творческого фермента, быстро приобретя эмерджентные качества системы, которая оказалась гораздо более сложной и плодотворной, чем предполагали её изначальные творцы. В действительности, в наибольшей степени они за-служивают славы за своё предвидение того, что могут возникнуть неизве-данные возможности!
Иногда наилучшее планирование включает в себя оставление про-странства для неизвестного. Это трудно, особенно когда твоя обязанность – готовиться к возможным катастрофическим режимам, которые могут повре-дить великой стране или уничтожить её. Военная и правительственная куль-тура всегда была предвидящей, стремилась анализировать потенциальные краткосрочные угрозы и вырабатывала детальные планы, чтобы предотвра-тить их. Это привело к методологии  постепенного настройки в мышлении о будущем. Одно классическое клише состоит в том, что генералы всегда пла-нируют воевать в модифицированной версии прошлой войны. История учит, что те, кто потерпели поражение – те, кто проиграли последнюю кампанию или испытывают горькую зависть, – часто обращаются к новаторским или жизнеспособным стратегиям, в то время как недавно успешные находятся в большой опасности завязнуть в неподходящих решениях из прошлого, часто с катастрофическими последствиями . (17)
Противоположной крайностью является жанр научной фантастики, чьи попытки предвидеть будущее являются – когда сделаны удачно – частью танца жизнестойкости. Когда достигается согласие относительно образа будущего, как это произошло с «киберпанком» в поздние восьмидесятые, наиболее яркие представители научной фантастики начинают скучать от этого сюжета и начинают искать альтернативы. В действительности, скука может рассматриваться в качестве одной из движущих сил творческих новаций, не только в научной фантастике, но и в нашей буйной цивилизации в целом. Говоря как автор фантастических романов, я могу сказать вам, что ошибочно думать, что авторы научной фантастики пытаются предсказывать будущее. С нашей склонностью больше к жизнестойкости, чем к предвидению, мы больше заинтересованы в открытии возможных видов катастроф и трясин на нашем пути, чем в получении детального пророческого путеводителя по будущему.
В действительности, можно пытаться доказать, что самым  сильным видом фантастической сказки является само-предотвращающееся пророчество – история, роман или фильм, которая изображает мрачное будущее столь живо, пугающе и убедительно, что миллионы людей стремятся предотвратить исполнение этого сценария. Примерами этого благородного (если пугающего) жанра являются «Безотказный» (Fail-Safe), «О Дивный Новый Мир» (Brave New World), «Зелёный Сойлент» (Soylent Green), «Капитал», «Горячая зона», и превыше всего, «1984» Оруэлла, уже более 60 лет пугающее читателей до полусмерти. Оруэлл показывает нам провал, ждущий цивилизацию, которая соединяет страх с технологией и с чёрной, циничной традицией тирании. Сделав так, он вооружил нас против этой ужасной судьбы. Исследуя сумеречную территорию будущего нашими сердцами и умами, мы иногда можем обнаружить возможные катастрофические режимы достаточно заранее, чтобы предотвратить их. Суммируя, можно сказать, что этот процесс мысленного экспериментирования подходит как для предвидения, так и для жизнестойкости. Но он наиболее эффективен при массированном применении, на рынках и других пространствах, где открытое соревнование между бесчисленными хорошо информированными умами может сотворить уникальную синергию, которая сделала нашу цивилизацию столь отличной от ведомых иерархией культур, которые были раньше. Синергия иссушит плохие идеи с помощью критики, и вместе с тем позволит хорошим соеди-няться и процветать. Я не могу гарантировать, что этот сценарий будет работать на будущих опасных территориях. Открытая цивилизация, наполненная широко образованными, сильными и знающими гражданами, сможет направить чистящий свет взаимной подотчётности столь совершенно, что наступающие технологии не смогут быть использованы ужасным вредоносным образом ни секретными элитами, ни разгневанными молодыми людьми.
Или наоборот… возможно… это решение, которое продвинуло нас столь далеко в 20 веке, не будет подходить ускоряющемуся 21-ому веку. Возможно, ничего не будет работать. Может быть, это объясняет Великую Тишину, там, среди звёзд.
Вот то, что я знаю. Никакие другие рецепты не имеют даже малей-ших шансов работать. Открытое знание и взаимная подотчётность во всяком случае, стоят того, чтобы на них сделать ставку. Это – трюки, которые забросили нас столь далеко, если сравнивать с 4000 годами почти непрерывного провала систем иерархического контроля. Любой, кто говорит, что мы должны внезапно развернуться назад в этом направлении, назад к дискредитированным и подверженным провалам путям секретности и иерархии, должен найти этому существенные доказательства.

РАЗНЫЕ ВИДЫ ПЕРЕЖИВАНИЯ СИНГУЛЯРНОСТИ

Ну хорошо, что если мы останемся наплаву и достигнем чего-то вроде Позитивной Сингулярности? Можно бесконечно обсуждать, что здесь является наилучшим или хотя бы желательным. Например, можем ли мы обменивать наши тела – и мозги – на более успешные модели, сохраняя ядро человечности… или душу?
Если судьба органических людей – быть заменёнными искусствен-ными созданиями, которые будут гораздо более совершенны, чем мы – усо-вершенствованные обезьяны, – можем ли мы спроектировать тех, кто нас заменит, чтобы они хотя бы считали себя людьми? (Эту необычную идею я исследовал в нескольких коротких рассказах.) В этом случае, будете ли вы столь предвзяты, что будете ворчать на свою внучку в силиконовом теле, тогда как она будет навещать вас регулярно, удачно шутить, выражать сим-патию и будет добра к своим собственным детям? Или они просто пройдёт мимо, сэкономив секунду на том, чтобы помочь нам примириться с нашим элегантным моральным износом?
Некоторые люди по-прежнему остаются поклонниками апотеозиса (apotheosis) Тейяра де Шардена – идеи о том, что мы все объединимся еди-ную макрообщность, буквально богоподобную в своём знании и восприятии. Физик Франк Типлер говорит об этой судьбе в своей книге «Физика бес-смертия», и Айзек Азимов предлагает подобное восприятие как долгосроч-ную цель человечества в Крае Основания (Foundation's Edge). Я никогда не находил эту идею особенно привлекательной – по крайней мере, в её стан-дартном представлении, согласно которому некая макро-общность просто складывает в себе все меньшие индивидуальности, и затем продолжает ду-мать глубокие мысли. В «Земле» я пишу о разновидности этой идеи, которая может быть гораздо более приятной, в которой мы все остаёмся индивидуу-мами, и в то же время все вместе делаем новый вклад в планетарное созна-ние. Другими словами, мы сможем одновременно съесть пирожок и сохра-нить его.
В противоположной крайности, в «Триумфе Основания», моём сик-веле к знаменитой вселенной Азимова, я сделал более явным то, на что Айзек указывал всё время – на возможность того, что консервативные роботы будут бояться человеческой трансцендентности и по этой причине активно работать против человеческой Сингулярности. Боясь, что это нам повредит. Или позволит нам соревноваться с ними. Или даст нам силу оставить их по-зади. В любом случае, Сингулярность является очаровательной вариацией всех тех трансцендентальных идей, которые, как кажется, вздувались, есте-ственно и спонтанно, из человеческой натуры с начала письменной истории.  Даже более, чем другие, эта может однажды оказаться разочаровывающей. В конце концов, хороший родитель хочет лучшего для своих детей – чтобы они были лучше и действовали лучше. И всё же может быть мучительно представлять их (или, возможно, их внуков) живущими, как боги, с почти что всеведущим знанием и восприятием и почти бессмертными – и принимаю-щими это как должное.
Возникает соблазн ворчать: «Почему не я? Почему я тоже не могу быть богом?»   Но затем, – когда человеческое существование не было му-чительным? В любом случае, что ещё более впечатляюще? Быть богоподоб-ным? Или быть природными созданиями, продуктами хрюкающей эволюции, которые едва выползли из пещер… которые, тем не менее, сумели выучить правила природы, стали уважать их и затем использовать для создания полезных вещей, хороших потомков, хороших судеб? Даже богоподобных.
Все наши размышления и построения (включая это) могут, в конце концов, показаться забавными и наивными для этих ослепительных потом-ков. Но я так же надеюсь, они испытают моменты уважения, когда они обра-тят свой взор на нас.
Они могут даже остановиться и осознать, что мы были в действи-тельности, совсем не плохи… для усовершенствованных пещерных людей. И наконец, какое чудо может быть более впечатляюще для таких ущербных созданий, как мы, чем спроектировать и породить богов?  Возможно, нет более высокой цели. Или такой, которая бы лучше классифицировала нас как самонадейных гордецов. 
Или ещё… возможно… исполнение нашего предназначения и смысл всей этой боли. Чтобы выучиться состраданию и мудрости, которые нам понадобятся, более, чем что-либо ещё, когда светлые ученики покинут кабинет Мастера. Надеющиеся заслужить оценки и одобрения, напоследок, пока мы продолжаем процесс творения.
;

А.А. Кононов.Идеологические начала общей теории неуничто-жимости человечества


Многие открытия в астрономии и науках  о Земле сделанные за по-следние десятилетия стали открытиями новых угроз и рисков существова-ния человечества на Земле и в Космосе.  На сегодняшний день можно сделать вывод о том, что наша цивилизация существует и развивается в ка-тастрофически нестабильной среде, которая может уничтожить ее в лю-бой момент и только счастливое стечение обстоятельств (везений) дало возможность развиться нашей цивилизации до современного уровня. Но та-кое «везение» вряд ли будет  вечным.

Угрозы уничтожения человечества

В течение нескольких последних лет автором статьи в Интернете ве-дется проект «Досье на Мироздание» (http://www.mirozdanie.narod.ru), где в нескольких разделах собранно большое количество научных публикаций и сообщений о последних космических открытиях, из которых можно сделать вывод о катастрофическом характере процессов протекающих  в Космосе, и о непредсказуемости влияния этих процессов на жизнь в той части Космоса, где обитает Человечество. Не на много большей предсказуемостью отлича-ются и геологические процессы, многие из которых могут стать источниками глобальных природных катастроф. Да и почти  каждый шаг в  развитии ци-вилизации несет новые угрозы и риски ее существованию.
Ниже приводится перечень основных групп угроз глобаль-ных катастроф и даются некоторые примеры угроз.
Природные:
Катастрофы в результате геологических процессов. Супервулканы, смещение магнитных полюсов, сдвиги земной коры и процессы в более глу-боких слоях Земли.
Катастрофы в результате возможной нестабильности Солнца. Сверхмощные вспышки и выбросы, возможная нестабильность реакций, обеспечивающих необходимые для жизни на Земле светимость и температу-ру на Солнце.
Катастрофы в результате воздействий из Космоса (астероиды, коме-ты, нельзя полностью исключить и возможность злонамеренного вторжения инопланетной цивилизации).

Порождаемые цивилизацией:
Самоуничтожение. В результате применения средств массового уничтожения.
Уничтожение среды обитания. В результате техногенных катастроф.
Самоликвидация. Выбор ошибочного пути развития цивилизации, например, такого, который ограничит темпы  наращивания технологической мощи цивилизации. В условиях существования цивилизации в катастрофи-чески нестабильной среде такое решение может стать приговором самолик-видации цивилизации – она просто не успеет подготовиться к преодолению наступающих катастроф. Да и многие другие теории определяющие направ-ления развития цивилизации в случае их однобокого несистемного примене-ния могут нанести большой урон и не дать успеть решить цивилизации те задачи, которые позволят ей преодолеть возможные катастрофы. Даже пред-ставляемая в этой статье идеология неуничтожимости цивилизации  несет в себе угрозу обоснования сверхэксплуатации (принесения в жертву жизней живущих поколений) ради решения задач неуничтожимости цивилизации. Поэтому так важна вторая часть этой идеологии – развитие культуры сохра-нения фамильной и индивидуальной памяти. Причем эта культура может выступать в роли защитного механизма и от множества других угроз дегума-низации и этической деградации цивилизации.
Провоцирование природной нестабильности. Например, иницииро-вание парникового эффекта и изменений климата.
Угрозы уничтожения цивилизации, порождаемые новыми техноло-гиями и развитием цивилизации (цивилизационной динамикой). Это угрозы, с которыми человечество должно учиться справляться по мере создания но-вых технологий и освоения космического пространства (космической экс-пансии). Например, с возникновением информационного общества, появи-лась целая отрасль решающая проблемы безопасности (кибербезопасности) возникающие при использовании компьютерных и телекоммуникационных технологий. Необходимость отвлечения значительных ресурсов для решения проблем безопасности новых технологий – это неизбежное условие прогресса. Нужно понимать и принимать как должное, то что решение проблем безопасности каждого нового технологического или цивилизационного прорыва (например, создания внеземных космических колоний) могут обходиться во много раз дороже,  чем затраты на их осуществление. Но это единственный путь, обеспечивающий безопасность прогресса, в том числе, и космической экспансии.

Угрозы уничтожения жизни в космическом масштабе.
Эти угрозы носят в значительной степени гипотетический характер, но известные случаи столкновений и взрывов галактик говорят о том, что они никак не могут быть проигнорированы. К числу таких угроз относятся:
Угрозы уничтожения жизни в той части Галактики, где расположена Солнечная система.
Угрозы уничтожения жизни во всей Галактике или в группе Галак-тик, в которую входит Млечный путь
Угрозы уничтожения Вселенной или жизни во Вселенной
Угрозы уничтожения жизни в возможно существующих структурах, в которые может входить наша Вселенная.

Неуничтожимость как главная сверхзадача цивилизации

Наличие большого числа угроз существованию цивилизации ставит в качестве главной задачи, а скорее, с учетом масштаба и важности, – глав-ной сверхзадачи – неуничтожимость цивилизации. Другие общецивилизаци-онные сверхзадачи и задачи, такие как, продление человеческой жизни, из-бавление человечества от болезней, голода, глубокого социального неравен-ства (нищеты, бедности), преступности, терроризма – во многом теряют смысл и свой этический потенциал, если не решается главная сверхзадача – неуничтожимость цивилизации. Игнорирование этой сверхзадачи – означает демонстративное равнодушие к судьбе цивилизации, к судьбе будущих по-колений и таким образом, лишает живущие поколения этического фундамен-та в виду имморализма и жестокости (по отношению к будущим поколениям, обрекаемым таким образом на гибель) подобного выбора.
Итак, какие же возможны пути решения этой главной сверхзадачи цивилизации.
Вообще говоря, сложившаяся практика отражения угроз предполагает нахождение решений по защите от каждой из них. Но количество и масштаб угроз уничтожения цивилизации, а так же принципиальная невозможность защититься от них иным путем, как только преодолеть зависимость судьбы цивилизации от тех мест, в которых эти угрозы существуют, позволяют сделать вывод, что относительно надежные (относительно других возможных решений, например, создания защитных оболочек или ковчегов) решения задачи неуничтожимости цивилизации могут быть получены только путем космической экспансии. С учетом же того, что во всей Вселенной, а возможно и во всем Мироздании, не существует абсолютно безопасных мест, задача спасения цивилизации состоит в стремлении к максимально распределенному существования сохраняющей единство цивилизации  на максимально большом числе пространств с обладанием большими эвакуационными потенциалами в каждом из них.
Итак, развитие космической экспансии цивилизации должно идти по пути  преодоления  зависимости цивилизации от тех мест обитания, которые могут быть уничтожены. И первая задача в этом направлении – это преодо-ление зависимости человечества от условий жизни на планете Земля и от судьбы Земли. Она решается путем целенаправленной колонизации Солнеч-ной системы. То есть путем создания технологически автономных колоний на всех планетах или их спутниках, где это возможно, и создания автоном-ных, готовых к полной технологической  независимости от Земли  межпла-нетных станций.
При этом должен осуществляться постепенный вынос всех критиче-ских для судьбы цивилизации, а также опасных для экологии Земли произ-водств за пределы нашей планеты и распределение их по Солнечной системе. За планетой Земля, постепенно должна закрепляться роль экологически чистой рекреационной зоны, предназначенной  для отпусков и жизни после выхода на пенсию.
Можно предположить, что на решение этой задачи  – создания тех-нологически независимых от Земли колоний и выноса критических произ-водств за пределы Земли может понадобиться около 1000 лет. Хотя история XX-го века, показала сколько неожиданных технологических сюрпризов может принести себе человечество только в течение каких-то 100 лет. И это при том, что в течение этих 100 лет его спокойному развитию мешали катастрофические по своим масштабам и последствиям  2 мировые и бесчисленные гражданские войны и кровавые конфликты. Возможно, технологические прорывы при мирной и целенаправленной деятельности позволят решать задачи преодоления зависимости цивилизации от судьбы Земли, Солнечной системы и далее в значительно более высоком темпе, чем это можно сейчас представить.
Попытаемся определить отдельные этапы возможной дальнейшей  космической экспансии, которые будут означать значительное повышение неуничтожимости цивилизации.
После решения задачи преодоления зависимости судьбы человечества от судьбы Земли следующей в этом направлении должна стать задача преодоления зависимости судьбы цивилизации от судьбы Солнечной системы. Это задача должна будет решаться путем колонизации пространств на безопасном удалении от Солнечной системы. Ожидаемый срок осуществления (если не будет невероятных с современной точки зрения научно-технологических прорывов) десятки тысяч лет.
Далее должны решаться задачи преодоление зависимости судьбы цивилизации от судьбы отдельных внутригалактических пространств и от судьбы галактики Млечный путь и Метагалактики. Очевидно, что возмож-ность решения этих задач будет определяться только возможностью появле-ния новых непредсказуемых на сегодняшний день технологий.
Тоже касается и решения последующих задач, например, преодоле-ния зависимости судьбы цивилизации от судьбы Вселенной. На сегодняшний день представляется, что решение такого рода задач будет возможно либо через контроль всех критических процессов во Вселенной, либо через обре-тение технологий перемещения в другие вселенные (если таковые сущест-вуют) или обретения технологий создания новых вселенных, пригодных в качестве новых резервных (эвакуационных) жизненных пространств цивили-зации .
Абсолютную же гарантию безопасности и неуничтожимости циви-лизации может дать только контроль над Мирозданием, если он в принципе достижим и возможен. Но именно к нему должна стремиться любая цивили-зация в Космосе, чтобы быть полностью уверенной в своей неуничтожимо-сти.
Предположим, что Человечество не единственная цивилизация, ко-торая ставит перед собой сверхзадачу неуничтожимости. Что будет при встрече с другими цивилизациями,  ставящими перед собой аналогичные задачи?
В этой точке рассуждений можно с высокой степенью уверенностью предположить существование в природе объективного закона, который мож-но назвать Законом этического фильтра.
Закон этического фильтра : Развиться до уровня цивилизации,  способной к космической экспансии в межзвездном и межгалактическом масштабе, могут только цивилизации с весьма высоким этическим потенциа-лом, не позволяющим им самоуничтожиться при обладании технологиями способными стать средствами массового уничтожения во внутрицивилиза-ционных конфликтах.
Иными словами, цивилизации,  не научившиеся себя правильно вес-ти при обладании высокими технологиями, либо самоуничтожаются,  либо уничтожаются, как и любые недостаточно развитые цивилизации, природ-ными катаклизмами, потенциалы для преодоления которых они не успели обрести, возможно, не в последнюю очередь, по причине растраты сил  и отведенного им времени на самоистребление (войны).
При двух и более ставящих перед собой цель неуничтожимости и прошедших этический фильтр космических цивилизаций, вероятно наиболее  продуктивным путем их сосуществования может быть их постепенное еди-нение в решении задач неуничтожимости всех прошедших этический фильтр цивилизаций.
Можно допустить возможность существования тоталитарных циви-лизаций, способных обойти указанный фильтр, поскольку у них не было проблемы угрозы самоуничтожения в виду их изначального единства. Но как показывает исторический опыт человечества тоталитарные цивилизации (режимы) склонны к значительному подрыву собственного, условно говоря, человеческого потенциала в виду репрессивных механизмов на которых они держатся, и не способны к созданию эффективных стимулов прогрессивного развития, прежде всего технологического. То есть, они в принципе нежизне-способны.
Поэтому возможные специфические принципы взаимодействия с подобными тоталитарными космическими цивилизациями должны будут отрабатываться при возникновении такого рода проблем, если станет понят-но, что они реально могут возникнуть. Пока же можно относиться к возмож-ности столкновения с подобными цивилизациями, которые могут оказаться враждебно настроены по отношению к человечеству, как к любой другой космической угрозе, возможность отражения которой будет определяться достаточностью необходимых для решения такого рода задач  потенциалов цивилизации.

Качества неуничтожимой цивилизации

Попробуем определить качества, которые могут позволить цивили-зации стать неуничтожимой. Для этого попытаемся ответить на ряд вопро-сов:
Какая цивилизация имеет больше шансов не быть уничтоженной: та, которая осознала, что она существует в катастрофически нестабильном Космосе и должна стремиться к наращиванию потенциалов преодоления возможных проблем или игнорирующая эти проблемы?
Очевидно, что стать неуничтожимой больше шансов у цивилизации, стремящейся к наращиванию потенциалов преодоления угроз и рисков ее уничтожения.
Какая цивилизация имеет больше шансов не быть уничтоженной: та, в которой есть механизмы,  стимулирующие ответственность живущих по-колений перед будущими, или в которой таковых нет?
У неуничтожимой цивилизации существуют механизмы,  стимули-рующие ответственность живущих поколений перед будущими. И наоборот, цивилизации в которых, считается бессмысленным проявлять серьезную оза-боченность о будущем цивилизации и о судьбе будущих поколений, обрече-ны или на постепенное самоистребление или на уничтожение в первом же апокалипсисе.
Далее, в виду очевидности вопросов, только ответы и выводы:
; Неуничтожимая цивилизация должна стремиться к преодолению зависимости своей судьбы от судьбы места своего изначального и текущего обитания, то есть к космической экспансии.
; Неуничтожимая цивилизация должна стремиться к увеличению собственной популяции и к росту качества жизни и способностей каждого индивидуума. Очевидно, что в условиях колонизации новых космических пространств, чем больше численность и способности, или, условно говоря, человеческий потенциал цивилизации, тем больше ее возможности в реше-нии проблем прогресса, космической экспансии, обеспечения своего перма-нентного процветания и безопасности.
; Неуничтожимая цивилизация должна стремиться к единству. Все усилия цивилизационного развития и космической экспансии будут напрас-ны, если цивилизация распадется настолько, что невозможно будет решать эвакуационные задачи по спасению тех, кто окажется в зоне катастрофиче-ских проявлений космической стихии.
; Неуничтожимая цивилизация должна стремиться к повышению этических стандартов в своем развитии, поскольку это позволит: не само-уничтожиться при овладении все новыми и новыми технологиями (которые могут быть использованы в качестве средств массового уничтожения) и со-хранить единство цивилизации, что в свою очередь даст возможность решать массовые транскосмические эвакуационные задачи, задачи транспоколенческой ответственности и другие  задачи неуничтожимости.


О необходимости разработки теоретических основ решения задач неуничтожимости человечества

О том, что существуют объективные угрозы существования челове-ческой цивилизации можно убедиться, например, обратившись к материалам размещенным на сайте «Досье на Мироздание». Но точно так же объективно существует потенциалы цивилизации,  которые позволят ей противостоять возможным катастрофическим обстоятельствам. Очевидно, что эти потен-циалы должны контролироваться.  То есть должны ставиться задачи по их наращиванию,  должны учитываться и поощряться факторы,  которые повы-шают эти потенциалы. Проблематика управления потенциалами неуничто-жимости цивилизации должна получить научную понятийную базу и теоре-тический фундамент.
В качестве первого шага к созданию научной понятийной базы про-блематики неуничтожимости цивилизации предлагается использовать сле-дующие понятия:
потенциалы неуничтожимости цивилизации;
конкурентоспособность цивилизации;
конкурентоспособность социальных составляющих образующих цивилизацию.
Под потенциалами неуничтожимости цивилизации понимаются те качества, достижения и  характеристики цивилизации, которые позволят ей в случае возникновения обстоятельств,  направленных на ее ослабление или уничтожение,  противодействовать этим обстоятельствам и не допустить гибели и ослабления цивилизации.
Объективно существует большое число возможных обстоятельств (угроз, рисков),  которые при определенном ходе развития событий могут привести к гибели цивилизации, то есть оказаться сильнее, или, как принято говорить, выше ее. В тоже время у цивилизации есть определенные потен-циалы, качества, способности, которые могут позволить ей противостоять этим обстоятельствам. То есть объективно, существую некие отношения (со-отношения) потенциальных сил. Назовем эти отношения конкуренцией. То-гда можно сказать, что объективно существует конкуренция между обстоя-тельствами, которые могут уничтожить цивилизацию и способностями циви-лизации противостоять этим  обстоятельствам и преодолевать их. Вот эти способности цивилизации противостоять возможным обстоятельствам (угро-зам, рискам) которые могут ее уничтожить или ослабить будем называть конкурентоспособностью цивилизации.
Очевидно, что как и любые способности, конкурентоспособность цивилизации может быть развита, например,  путем наращивания  конку-рентных преимуществ (потенциалов неуничтожимости).
Теперь о понятиях конкурентоспособности социальных составляю-щих образующих цивилизацию.
Цивилизация – это прежде всего ее носители. Человечество – это прежде всего люди и социальные структуры, в которые они входят. Реаль-ность такова, что нашу цивилизацию образуют нации (госнации и этнона-ции). Как показывает история,  прогресс и благоденствие цивилизации во многом зависит от прогресса и благоденствия отдельных наций, от благоденствия социумов, семей и людей.
Процветающие нации двигают цивилизацию вперед. Условия суще-ствования процветающих наций создают возможности для того, чтобы их представители могли решать задачи двигающие цивилизацию по пути про-гресса. Вместе с тем и перед отдельными нациями встают проблемы и об-стоятельства, которые могут отбрасывать эти нации, а вместе с ними и всю цивилизацию назад, обстоятельства,  приводящие отдельные нации к катаст-рофам уничтожения.
Поэтому так важно понимать, что подобно тому, как совершенно объективно, существует конкуренция  цивилизации с обстоятельствами, ко-торые могут ее уничтожить, точно также объективно существует и конку-ренция каждой нации с обстоятельствами, которые могут ослабить нацию привести ее  к состоянию, когда она вместо того, чтобы быть одной из сил укрепляющих и развивающих конкурентоспособность всей цивилизации, напротив, становится фактором, ослабляющим цивилизацию. Поэтому кон-курентоспособность нации должна стать национальной идеей каждой нации, следование которой позволит ей привнести в свою жизнь объективные критерии, которые должны использоваться при принятии любых жизненно важных решений путем оценки их влияния на потенциалы конкурентоспособности и конкурентные преимущества нации.
При этом конечно должно пониматься, что когда говорится о конку-рентоспособности наций, то речь идет об отношениях конкуренции анало-гичных тем, что рассматривались для цивилизации в целом, то есть о конку-ренции с рисками, угрозами, обстоятельствами, которые могут привести на-ции к катастрофам, но не как ни к конкуренции с другими нациями, посколь-ку такого рода конкуренция – это путь к гибели или ослаблению конкури-рующих между собой наций и всей цивилизации в целом. В конечном счете, правильно понимаемая идея конкурентоспособности наций должна привести к их единению в достижении  неуничтожимости всей человеческой цивилизации. И примеры позитивного движения в этом направлении мы видим сегодня и в области совместного освоения космоса на международной космической станции и в развитии Евросоюза, в который вошли страны столетиями воевавшие друг с другом. В октябре прошлого года конкурентоспособность нации была провозглашена в качестве национальной идеи  в Казахстане. Причем, если обратиться к выступлению Президента Республики Казахстан Н.А.Назарбаева на ХІІ сессии Ассамблеи народов Казахстана (Астана, 24 октября 2006 года, http://www.zakon.kz/our/news/print.asp?id=30074242), в котором конкурентоспособность нации, как раз и была провозглашена, как национальная идея, то следует отметить, что ни о какой конкуренции с дру-гими нациями там нет ни слова, речь идет только о конкурентоспособности нации перед вызовами и проблемами, стоящими перед ней.
Далее рассматривая социальную структуру цивилизации можно го-ворить о семье и отдельных индивидуумах. Бесспорно, семья во многом оп-ределяет и развитие и повседневное состояние и способности индивидуума. Поэтому можно говорить и о конкурентоспособности семей и отдельных людей, опять же используя термин «конкурентоспособности» в том понима-нии, которое определено выше, то есть, не о конкуренции между отдельными семьями и людьми, что в принципе может подрывать этический и иные по-тенциалы нации и цивилизации, но лишь о конкуренции с возможными вы-зовами, угрозами, рисками, обстоятельствами, проблемами.
Конечно, состояние и конкурентоспособность отдельных индиви-дуумов зависит не только от семьи, но и от других социальных структур, к которым они могут быть причастны. Более того, для некоторых структур такого рода есть традиционное понимание их конкурентоспособности, кото-рое подразумевает конкуренцию именно между такого рода структурами, а именно, конкуренцию между фирмами, или любыми другими коммерческими организациями, конкуренцию между партиями и т.д. Нельзя не признать, что наличие конкурентной борьбы в среде подобных организаций является одним из основных движущих механизмов технологического, экономическо-го, общественного прогресса современной цивилизации. Вместе с тем, воз-можно, введение альтернативного понимания терминов «конкуренции» и «конкурентоспособности», как конкуренции с вызовами, обстоятельствами, рисками, угрозами, проблемами (что предусматривается в рамках понятий-ной базы теоретических основ неуничтожимости цивилизации), будет спо-собствовать постепенному формирования более этически гармоничной ак-сиологической базы (ценностных ориентиров) во взаимоотношениях между такого рода (коммерческих, политических и т.д.) организаций без снижения динамики  развития технологических и экономических потенциалов цивили-зации. То есть, речь идет о том, что конкуренция в традиционном ее понима-нии, является экономическим и технологическим двигателем цивилизации, но, мягко говоря, не способствует развитию и укреплению этического потен-циала цивилизации. И вопрос состоит в том, не может ли альтернативное понимание конкуренции, предлагаемое в рамках теории неуничтожимости цивилизации, снять или ослабить, усилив этическую составляющую и внеся в данном случае облагораживающую неоднозначность в семантику понятия «конкуренции», недостаток содержащийся в традиционном понимании тер-мина «конкуренция», сохранив подразумеваемые этим традиционным пони-манием жизненно важные для цивилизации механизмы обеспечения динами-ки ее развития?
Рей Брэдбери в одном из своих рассказов описал «эффект раздав-ленной бабочки». Герой рассказа на экскурсии в прошлое, раздавил бабочку и в результате мир, в который он вернулся,  стал на много хуже. Что уж го-ворить о негативном влиянии на прогресс и конкурентоспособность челове-чества безвременной гибели его представителей, которые могли внести вклад в его развитие и процветание. Совершенно точно этот эффект выражен в словах Джона Донна: «Не спрашивай по ком звонит колокол – он звонит по тебе».
Человеческий потенциал – основа конкурентоспособности и любой нации и цивилизации в целом. Можно сказать и так: конкурентоспособность каждого – основа конкурентоспособности цивилизации. О том, что как раз в этом направлении существуют самые большие проблемы говорит, например, тот факт, что ежегодно около 1 млн. человек кончают жизнь самоубийством – обстоятельства оказываются выше них. Еще больше людей гибнут из-за, мягко выражаясь,  этического несовершенства  человеческих отношений – убийств (в том числе, в ходе военных действий), насилия, голода. В этой свя-зи новое переосмысление терминов «конкуренции» и «конкурентоспособно-сти» в свете заложенных в эти термины концепций теории неуничтожимости человечества (ТНЧ) может давать надежду на улучшении сложившейся си-туации.
Что еще может дать развитие теоретических основ проблематики не-уничтожимости  цивилизации? Укажем на два направления:
; разработка системы объективных показателей и критериев  для принятия решений по развитию цивилизации и ее социальных составляю-щих;
; нахождение системных решений,  позволяющих повысить конку-рентоспособность цивилизации и ее социальных составляющих.
О важности создания системы объективных показателей и критериев для принятия решений учитывающей жизненную важность наращивания потенциалов неуничтожимости и конкурентных преимуществ цивилизации можно судить хотя бы по такому примеру, как закрытие программ освоения Луны в 70-х годах прошлого века. Значительная часть из огромных средств вложенных в эти проекты была, в конечном счете, просто похоронена из-за того, что ни в США ни в СССР не нашлось достаточно убедительных моти-вов для продолжения этих работ. В результате, несколько десятилетий в кос-мическом развитии цивилизации были просто потеряны. А ресурсы и сред-ства, которые могли быть вложены в космическую экспансию, пошли на удовлетворение амбиций в разрушительных для цивилизации направлениях – на войны США во Вьетнаме и СССР в Афганистане.
В качестве примера системных решений,  позволяющих повысить конкурентоспособность цивилизации и ее социальных составляющих, можно привести входящую, как неотъемлемая часть ТНЧ и важнейший защитный механизм от возможного некорректного и потому разрушительного использования основных идей теории неуничтожимости человечества – идею  необходимости развития культуры сохранения фамильной и индивидуальной памяти о каждом из живших на Земле людей.
Современные цифровые технологии позволяют сохранить память о каждом человеке. Если появится и будет развиваться культура сохранения и передачи из поколения в поколение цифровой информации (памяти) о себе и своих предках, а так же о своих близких и друзьях, то каждый в своих наибо-лее ярких (лучших) проявлениях сможет быть запомнен навсегда. Каждый сможет навсегда сохранить свои мысли и идеи, сохранить память о самых интересных и важных моментах своей жизни, о том кого он знал и любил, о лучших качествах, поступках, мыслях, идеях того, кого он любил и кто был ему дорог. Таким образом, каждый сможет навсегда остаться частью памяти человеческой цивилизации. Больше никто не уйдет из этого мира бесследно, каждый будет запомнен навсегда.
Представляется, что культура сохранения фамильной и индивиду-альной памяти может повысить конкурентоспособность человечества тем, что обеспечит:

; повышение ответственности:
; живущих поколений перед будущими,
; руководителей государств за принимаемые решения,
; людей друг перед другом;
; улучшение человеческих отношений:
; между представителями разных поколений в семье;
; повышения статуса каждого человека – каждый навсегда остается частью памяти человеческой цивилизации;
; механизм защиты:
; от политических спекуляций типа: «жизнь для будущих поколе-ний»,
; от жестокости власти,
; от жестокости в межличностных отношениях;
; механизм облагораживания человеческой природы и наращива-ния этического потенциала цивилизации;
; создание стержня, ядра, корня обеспечивающих единство циви-лизации в ее космической экспансии при ее расселении на необъятных кос-мических просторах.
Резюмируя доводы, приведенные в доказательство необходимости развития теоретических основ решения задачи неуничтожимости цивилиза-ции, можно отметить, что количество подзадач, которые должны решаться для решения главной задачи, может оказаться достаточно велико, и практи-чески каждая из них требует построения своих парадигм, своей теоретиче-ской проработки. Поэтому на первом этапе развития теории неуничтожимо-сти цивилизации имеет смысл говорить о развитии общих теоретических начал, об общей теории неуничтожимости, и уже потом, по мере углубления в решении отдельных, специальных и частных задач, строить теории, связанные с потребностями развития отдельных потенциалов (технологического, этического, эвакуационного, и т.д.) и решения задач повышения конкурентоспособности (в понятиях теории неуничтожимости) отдельных социальных составляющих.

Что должна дать постановка задач неуничтожимости
цивилизации и космической экспансии живущим
поколениям людей:

; Снижение рисков войны – ничто так не подрывает потенциалы неуничтожимости цивилизации, как войны. Ресурсы ВПК должны переори-ентироваться на решение задач и создание потенциалов космической экспансии и колонизации Космоса.
; Обосновывается важность повышения уровня жизни людей – по-скольку только высокий уровень жизни дает возможность максимально большому количеству людей осваивать новейшие технологии, проявлять с их помощью свои таланты и участвовать в создании еще более новых и совершенных технологий. Власти все в большей степени будут понимать, что конкурентоспособность наций в решающей степени зависит от уровня жизни людей, и что социальные программы – это не  пустая трата денег, а закладывание фундамента и важное условие процветания и конкурентоспособности наций.
; Придание нового смысла человеческой жизни. Более ответствен-ное отношение людей к своей и чужим жизням, повышение этических стан-дартов человеческих отношений и, как следствие, снижение преступности и террористической активности.
; Важнейшее идеологическое обоснование для преодоления кон-фликтов, единения наций и цивилизации в целом.
; Новые жизненные пространства.
; Новые источники сырья.
; Новые сферы занятости и рабочие места.
; Новые рынки.

Литература

1. Лефевр В. А. Космический субъект. – М: Когито-Центр, 2005, 220 с.
2. Назаретян А. П. Цивилизационные кризисы в контексте Универ-сальной истории. 2-е изд. – М.: Мир, 2004. – 367 с.
3. Хван М. П. Неистовая Вселенная: от Большого взрыва до уско-ренного расширения, от кварков до суперструн. М. УРСС, 2006, 408 с.
4. Narlikar Jayant "Violent Phenomena in the Universe", Oxford UP, 1984, 246 р.























 
Робин Хансен. Катастрофа, социальный коллапс и человеческое вымирание
Робин Хансен, департамент экономики Университета
Джорджа Мэсона.

Catastrophe, Social Collapse, and Human Extinction
Robin Hanson_
Department of Economics
George Mason University†
August 2007
http://hanson.gmu.edu/collapse.pdf
опубликовано в сборнике “Global catastrophic risks” , 2008

Люди постепенно создавали более продуктивные общества путём приобретения различных видов капитала и тщательного согласования их друг с другом. Поскольку потрясения могут навредить этому тщательному соответствию, большие потрясения могут привести к социальному коллап-су, то есть к сокращению продуктивности, непропорциональному исходному потрясению. Для многих типов катастроф тяжесть их, судя по всему, распределена согласно степенному закону. Для некоторых типов событий, таких как войны и землетрясения, наибольший ожидаемый ущерб предпола-гается в случае экстремальных событий, в результате которых погибнет большая часть населения Земли. Так что если мы собираемся беспокоится о войне или землетрясениях, мы должны в первую очередь беспокоится о крайних случаях. Если отдельные люди незначительно отличаются в своей сопротивляемости к таким разрушающим воздействиям, то тогда собы-тия, немного более сильные, чем экстремальные, приведут к гибели челове-чества, и единственной нашей надеждой было бы предотвратить такие события. Если же люди значительно различаются в своей сопротивляемо-сти к таким событиям, то тогда имеет смысл увеличить степень разнооб-разия в этой степени сопротивляемости, например, посредством создания специальных заповедников, начиная с которых немногие уцелевшие люди могли бы воссоздать общество.







Введение

«Современное общество подобно велосипедисту, а экономический рост соответствует движущему моменту, который заставляет колёса продол-жать вращаться. Пока колёса велосипеда вращаются быстро, он представляет собой очень стабильное транспортное средство. Но, как утверждает Фридман, когда колёса останавливаются – даже как результат экономической стагнации, а не депрессии, – то политическая стабильность, индивидуальная свобода и социальная толерантность оказываются под большой угрозой, даже если абсолютный уровень материального процветания остаётся высоким». (DeLong, 2006)
Основная причина, заставляющая быть аккуратным, когда вы под-нимаетесь по лестничному пролёту, это не риск того, что вы оступитесь и соскользнёте на одну ступеньку назад, а скорее то, что, соскользнув на одну ступеньку, вы соскользнёте затем на следующую, и так пока вы не пролетите десяток ступеней и не сломаете шею. Таким же образом мы опасаемся отно-сительно того типа катастроф, о которых говорится в этой книге («Global catastrophic risks», 2008) не по причине их ужасных прямых эффектов, но потому что они могут привести к ещё более повреждающему коллапсу на-шей экономической и социальной системы.
В этой главе я рассматриваю природу общества, природу социального коллапса, распределение катастроф, которые могут вызвать социальный коллапс, и возможные стратегии ограничения масштаба и вреда от такого коллапса.

Что такое общество

Перед тем, как мы выясним, как рушится общество, мы должны вы-яснить, как общество функционирует и растёт. Люди гораздо более много-численны, способны и богаты, чем наши дальние предки. Как это возможно? Один ответ состоит в том, что сейчас мы обладаем большим количеством всех видов капитала, но сам по себе этот ответ говорит нам мало; в конце концов «капитал» – это всё, что помогает нам производить и достигать большего. Мы можем это лучше понять, рассмотрев разные виды капитала, которые мы имеем.
Во-первых, мы имеем природный капитал, такой как почвы для зем-леделия, руды для добычи, деревья для лесозаготовок, вода для питья, жи-вотные для доместикации и так далее. Во-вторых, мы имеем физический ка-питал, такой как очищенная земля для земледелия, ирригационные каналы, дома для жизни в них, инструменты для использования, машины для езды и т. д. В-третьих, у нас есть человеческий капитал, такой как здоровые руки для работы, навыки, которые мы обрели с практикой, полезные технологии, которые мы открыли, и абстрактные принципы, которые помогают нам ду-мать.
В четвёртых мы имеем социальный капитал, то есть способы, кото-рые группы людей находят, чтобы координировать свою активность. Напри-мер, домохозяйства распределяют домашние обязанности, фирмы определя-ют задачи для сотрудников, сети фирм определяют поставки друг другу, го-рода и нации организуются, чтобы осуществлять разные виды деятельности в разных местах, культуры организуют наши ожидания относительно того, как мы относимся друг к другу, закон организует наши объединения для уре-гулирования малых разногласий, и правительства координирует наши самые большие разногласия.
Есть несколько важных вещей, которые надо понять относительно всех этих видов капитала. Во-первых, ценность почти каждого из этих видов капитала значительно зависит от того, какие другие виды капитала находятся рядом. Изгородь может быть очень полезной в прериях, но бесполезной в джунглях, в то время как навыки ядерного инженера могут стоит миллионы в богатой стране, но ничего не стоит в бедной. Продуктивность чернорабочего значительно зависит от того, сколько ещё таких рабочих доступно.
Во-вторых, масштаб имеет большое значение. Чем больше людей в стране или городе, тем больше каждый из них может сузить свою специали-зацию и получить от этого выгоду. Особые продукты и услуги, которые про-сто невозможны в маленьком обществе,  могут процветать в большом. Так что всё, что позволяет людям жить более плотно, или позволяет им общаться или путешествовать легче, может создать большие преимущества за счёт увеличения эффективной социальной шкалы. В-третьих, координация и ба-ланс капитала очень важны. Например, места с низким социальным капита-лом могут оставаться бедными, даже если снаружи к ним поступает огром-ное количество ресурсов и обучения, в то время как места с высоким соци-альным капиталом могут быстро восстановиться от войн, которые разруши-ли их природный, физический и человеческий капитал.

Рост общества

Противоположностью коллапса является рост. В течении истории мы наблюдаем драматический рост большинства, хотя и не всех видов капи-тала. Как это может быть?
В течении последних десятилетий экономисты узнали много о том, как общество растёт (Barro & Sala-I-Martin, 2003; Jones, 2002; Aghion & Howitt, 1998). Хотя значительная доля неясности остаётся, часть вещей стала понятна. Социальный капитал является критически важным; богатые места могут расти, тогда как бедные беднеют. Также критически важными являются масштаб и окружающая социальная активность; каждый из нас в целом значительно выигрывает от других видов продуктивной активности неподалёку.
Другим важным моментом является то, что лучшие «технологии», то есть лучшая техника и координация, в большей мере способствуют росту, чем природный или физический капитал. Лучшие технологии позволяют нам создавать и поддерживать больше природного и физического капитала, что является более сильным эффектом, чем способность природного и физиче-ского капитала порождать лучшие технологии (Grubler, 1998).
Чтобы завершить нашу ментальную картину, давайте быстро рас-смотрим историю роста (Hanson, 2000), начиная с животных. Все виды жи-вотных имеют капитал в форме совокупности здоровых особей и тщательно отобранной генетической конструкции. Индивидуальное животное может также иметь капитал в виде берлоги, защищаемой территории и опыта в сво-ей области. Социальные животные, как муравьи, имеют капитал также в форме стабильных организованных групп. В течение миллионов лет генети-ческая конструкция животных постепенно приобретала новые возможности. Например, в течение последнего полумиллиарда лет размер крупнейших мозгов удваивался примерно каждые 35 млн. лет. Примерно два миллиона лет назад приматы обрели комбинацию большого социального ума, и рук, которые могут обращаться с инструментами, а также рта, который может произносить слова; эта комбинация позволила инструментам, технике и культуре стать мощными формами капитала.
 В начале человеческий вид имел примерно 10 000 членов, что, по некоторым оценкам, является минимально необходимым для функциониро-вания вида с половым размножением. По мере того, как охотники собирате-ли постепенно аккумулировали больше видов инструментов, одежды и на-выков, они обрели способность жить в большем количестве мест, и их число удваивалось каждые четверть миллиона лет.
В конце концов, около 10 000 лет назад люди в некоторых местах достигли достаточного объёма знаний о том, как ухаживать за местными растениями и животными, чтобы перестать кочевать и начали жить на одном месте. Некочующие фермеры могут вкладываться с большей выгодой в фи-зический капитал, такой как очищенная земля, ирригационные каналы, зда-ния и т. д.
Увеличение плотности населения, обеспечиваемое земледелием, по-зволило нашим предкам взаимодействовать и координироваться с большим количеством людей. В то время как охотник-собиратель мог встретить за свою жизнь не более нескольких сот человек, фермер мог встретить и торго-вать с тысячами. Вскоре, однако, преимущества земледелия в смысле мас-штаба и физического каптала достигли уровня убывающей отдачи от вложе-ний, поскольку полная продуктивность региона была ограничена площадью земли и доступными для выращивания растениями и животными. Рост в те времена был ограничен в значительной мере скоростью, с какой люди могли доместифицировать животных и растения, что позволяло колонизировать новые земли. Поскольку фермеры больше общались, они могли быстрее рас-пространять такие инновации, чем охотники-собиратели; в результате попу-ляция фермеров удваивалась каждую тысячу лет. Несколько сот лет назад непрерывный рост эффективности земледелия и плотности населения в конце концов позволил людям настолько специализироваться, чтобы поддержи-вать индустриальное общество. Специализированные машины, фабрики и новые формы социальной координации привели к огромному росту продук-тивности. Уменьшающаяся отдача от вложений, однако, быстро возникла в отношении веса машин, которую мы производим. Мы по прежнему произво-дим такую же массу изделий в расчете на человека, как и двести лет назад. Современные машины гораздо более продуктивны, однако, благодаря улуч-шающимся технологиям. Сеть коммуникаций между специалистами в от-дельных технологиях позволила быстро расти инновациям; в течение инду-стриальной эры мировой продукт (ценность изделий и сервисов, которые мы производим) удваивалась каждый 15 лет. Таким образом, в нашей истории наблюдается четыре периода роста: животные с увеличивающимися мозга-ми, люди охотники-собиратели со всё большим количеством инструментов и уровнем культуры, которые позволяли им занимать больше экологических ниш, люди-фермеры, доместифицирующие всё больше видов животных, рас-тений и типов земли, и человеческая индустрия, улучшающая технологии и социальный капитал. В течение каждого следующего периода рост был при-мерно в сто раз больше, чем до того, и продукция вырастала примерно в две-сти раз. Хотя конечно интересно, могут ли ещё большие темпы роста поя-вится в будущем, в этой главе мы обратим внимание на противоположную сторону роста: коллапс.

Социальный коллапс

Продуктивность общества постоянно колеблется, реагируя на раз-личные изменения, такие как изменения в погоде, технологии или политике. Большинство таких возмущений являются малыми, и вызывают только не-большие социальные изменения, но немногие крупнейшие возмущения могут привести к большим социальным изменениям. В истории есть по крайней несколько примеров того, как социальная продуктивность быстро падала в достаточно большой степени. Например, были знаменитые и драматические падения, в числе которых античная Шумерия, Римская империя и народ Пу-эбло. Столетие с низким уровнем дождей, вызвавшее три засухи, судя по всему, заставило Майя покинуть свои города и привело к драматическому снижению их популяции, хотя, вероятно, майя имели большой опыт в борьбе с засухами и в ирригации (?; Haug, Gnther, Peterson, Sigman, Hughen, & Aeschlimann, 2003). Некоторые объясняли эти исторические эпизоды коллап-са внутренней тенденцией обществ перерасходывать ресурсы своей экологи-ческой ниши (Diamond, 2005), или создавать слишком тяжёлые обществен-ные надстройки (Tainter, 1988). Другие исследования, однако, показывают, что наиболее известные древние коллапсы были вызваны радикальными климатическими изменениями (Weiss & Bradley, 2001; deMenocal, 2001). Размер социального разрушения, однако, часто выглядит непропорционально большим по отношению к внешнему воздействию. Точно также в недавние годы относительно небольшие внешние воздействия часто приводили к гораздо большим уменьшениям экономического роста (Rodrik, 1999). Эта непропорциональная реакция вызывает значительную озабоченность – что же вызывает её? Одно очевидной объяснение состоит в том, что сложная координация, которая делает сообщество более продуктивным, делает его также более уязвимым к возмущениям. Например, продуктивность нашего общества зависит от непрерывной поставки результатов работы большого количества специализированных систем, таких как электричество, вода, еда, тепло, транспорт, коммуникации, медицина, оборона, обучение и канализация. Поломка одной из этих систем на длительный промежуток времени может привести к разрушению всей системы. И поскольку различные географические регионы часто специализируются на поставках различных компонентов, разрушение одного региона может иметь непропорционально большой эффект на всё общество. Нарушения в работе транспорта могут также уменьшить преимущества масштаба, которыми пользуются общества. Виды капитала, тщательно сбалансированные в норме, могут разбалансироваться в ходе кризиса. Например, ураган может внезапно увеличить ценность газа, древесины и чистой воды по отношению к другим товарам. Внезапное изменение относительной ценности различных видов капитала производит неравенство, то есть больших победителей и проигравших, и зависть, то есть ощущение, что выгоды победителя незаслуженны. Такая зависть может провоцировать воровство и препятствовать функционированию обычных социальных институтов; вспомните распространённое сопротивление росту рыночных цен на газ и воду в периоды кризиса.
Проблемы «конца игры» могут также ослабить ценность репутации в суровых ситуациях. Значительная доля социальной координации и коопера-ции в наши дни возможна, потому что впереди простирается большое буду-щее. Мы пренебрегаем непосредственными личными выгодами сейчас – из страха, что другие могут позже узнать о таких действиях и избегать с нами связываться. Для большинства из нас кратковременные выгоды «предатель-ства» кажутся маленькими в сравнении с долговременной выгодой социаль-ной «кооперации». Но в случае глубокого кризиса преимущества предатель-ства могут вырасти до громадных размеров.  Так что тут будет не только больше личных соблазнов, но и ожидание таких соблазнов приведёт к уменьшению социальной кооперации. Например, судья, который обычно не берёт взятки, может так поступить, когда его жизнь в опасности, что даёт другим ожидание, что они могут скрыться с кражей, что ведёт к тому, что третьи будут избегать делать такие инвестиции, которые могут быть украде-ны, и так далее. Также люди могут быть не склонны доверять банкам и даже печатным деньгам, что приведёт к нефункциональности этих институтов. Такие множественные эффекты социального коллапса могут привести к то-му, что социальные элиты попытаются обмануть остальных о масштабах любых надвигающихся разрушений. В результате индивиды будут в больше мере полагаться на свои собственные силы, что приведёт к меньшей соци-альной координации при борьбе с напастями.
Различные пути социального коллапса в значительной мере зависят от типа начального возмущения и от типа общества. Вместо того, чтобы об-суждать это в подробностях, посмотрим, как далеко мы можем продвинутся в общих рассуждениях о социальном коллапсе, вызванном значительными социальными потрясениями.

Распределение катастроф

Во-первых, рассмотрим некоторые общие черты тех событий, кото-рые могут вызвать значительные социальные крахи. Мы имеем в виду такие события, как землетрясения, ураганы, эпидемии, войны, революции и т. д. Каждое из таких катастрофических событий может быть описано по степени его разрушительности, которая может быть определена в терминах энергетического выделения, количества смертей и так далее. Для большого количества типов катастроф, распределение разрушительности события следует степенному закону в большой области значений разрушительности. То есть шанс того, что в течение небольшого временного интервала некто увидит событие с разрушительностью S, которая больше, чем порог s даётся формулой:
P(S > s) = ks-a                (1)
Где k – константа, и а – это степень для этого типа катастроф.
При этом мы должны иметь в виду, что эти степени а могут быть из-вестны только относительно шкал, установленных по известным данным, и многие спорят о том, насколько широко такие степенные законы могут при-ниматься (Bilham, 2004), и являются ли степенные законы наилучшим пред-ставлением, например, по сравнению с логнормальным распределением  (Clauset, Shalizi, & Newman, 2007a).
Рассмотрение этих споров находится за пределами предмета этой главы. Вместо этого мы рассмотрим катастрофы, распределённые по степен-ному закону, как условный вариант для анализа. Наши выводы будут приме-нимы к тем типам катастроф, которые продолжают быть распределёнными по степенному закону вплоть до случаев с очень большой жестокостью. В сравнении с этим условным случаем мы должны беспокоится меньше о тех типах катастроф, в которых частота очень больших событий находится ниже степенного закона, и больше – о тех типах катастроф, частота которых выше.
Чем больше степень а, тем меньше больших катастроф происходит по отношению к малым катастрофам. Например, если они распределены по степенному закону, то автомобильные аварии буду иметь высокий показа-тель  степени, поскольку большинство аварий включает в себя только 1 или 2 машины,  и только очень немногие инциденты включают в себя сто и более машин. Смерть от взрыва сверхновой будет иметь очень маленький показа-тель степени; если кто-то один на Земле погибнет от взрыва сверхновой, то, весьма вероятно, очень многие также будут убиты. Катастрофы с показате-лем степени, равным 1, находятся как раз посередине, и в них важны как ма-лые, так и большие катастрофы. Например, энергия землетрясений, падение астероидов и тихоокеанские ураганы все, судя по всему, распределены с показателем степени равным 1. (Christensen, Danon, Scanlon, & Bak, 2002; Lay & Wallace, 1995; Morrison, Harris, Sommer, Chapman, & Carusi, 2003; Sanders, 2005).  (Площадь поверхности, подверженная действию землетрясения, также распределена с показателем степени равным 1. (Turcotte, 1999).) Это означает, что для любой данной энергии землетрясений E и для любого промежутка времени, количество энергии, выделяемое в диапазоне от E до 2E, будет равно энергии в диапазоне от E/2 до E. Хотя во второй группе должно быть в два раза больше событий, каждое из  событий будет выделать в половину меньше энергии.
Катастрофы с высоким показателем степени не имеют большого значения для социального коллапса, так как они имеют небольшие шансы оказаться масштабными. Например, исходя из опубликованных данных, мы можем оставить в стороне штормовой ветер (степень энергии 12), и беспоко-ится только о наводнениях, торнадо и террористических атаках (степени смертей 1,35, 1,4 и 1,4). Но должны ли мы быть ещё больше беспокоится о катастрофах с меньшими показателями степени, таких как лесные пожары (степень площади 0.66), ураганы (степень потерь в долларах 0,98, степень смертей 0,58), землетрясения (степень энергии 1, степень потерь в долларах и смертей 0.41), войн (степень смертей 0.41) и эпидемий (степень смертей 0.26 для захлёбывающегося кашля и кори) (Barton & Nishenko, 1997; Cederman, 2003; Turcotte, 1999; Sanders, 2005; Watts, Muhamad, Medina, & Dodds, 2005; Clauset, Young, & Gleditsch, 2007b; Rhodes, Jensen, & Anderson, 1997; Nishenko & Barton, 1995). Отметим, что степень энергии обычно выше, чем степень экономических потерь, которая в свою очередь обычно выше степени смертей. Это означает, что в сравнении с социальными потерями, вызванными небольшими воздействиями, социальные потери, вызванные большими потрясениями выглядят непропорционально большими, и этот эффект особенно силен в отношении катастроф, которые угрожают жизням, а не собственности. Это может (но не обязательно) отражать непропорцио-нальный социальный коллапс, который вызывают крупные катастрофы.
Для тех типов катастроф, где ущерб распределён с показателем сте-пени, меньшим единицы, если мы желаем тратить время и усилия на предот-вращение и реагирование на малые события, которые причиняют вред только небольшому количеству людей, то мы тогда должны также желать потратить гораздо больше усилий на предотвращение и на реагирование на очень большие события, которые могут повредить значительной части человеческой популяции. Это связано с тем, что хотя большие события являются менее вероятными, огромный ущерб от них перевешивает их редкость. Если наше описание через степенной закон не является заблуждением, то в терминах ожидаемого количества смертей большинство смертей от войн, землетрясений, ураганов и эпидемий происходят от крупнейших событий этих типов, в которых гибнет значительная доля земной популяции. И эти смерти вероятно в непропорциональной степени вызваны социальным коллапсом, а не прямым воздействием краха.

Глобальные риски

Насколько мы должны беспокоится о ещё больших катастрофах, вы-званных разрушениями в несколько раз более сильными, чем те, что могут уничтожить значительную долю человечества? Если нас волнует только ожидаемое число жертв результате события, то тогда мы не должны не осо-бенно заботится о том, погибнет ли 99% или 99,9% популяции. Иными сло-вами, для катастроф с низким показателем степени, нам следует озаботится в первую очередь относительно событий достаточно больших, чтобы уничто-жить примерно половину популяции; наша озабоченность должна спадать медленно, когда мы обратимся к событиям, меньше этого уровня, и спадать быстро относительно событий, превосходящих этот уровень.
Однако событие, достаточно большое, чтобы уничтожить всё чело-вечество, должно быть предметом отдельного беспокойства. Разумеется, возможно, что человечество вымрет в любом случае, и, возможно, что без людей какой-нибудь другой вид млекопитающих через несколько миллионов лет разовьётся настолько, что создаст общество, которое мы могли бы счесть ценным. Тем не менее, поскольку возможно, что ни одна из этих вещей не случится, то полное уничтожение человечества следует рассматривать как значительный ущерб, значительно превосходящий число жертв в результате такой катастрофы.
Судя по всему, группы из примерно 70 человек колонизировали как Полинезию, так и Новый Свет  (Murray-McIntosh, Scrimshaw, Hatfield, & Penny, 1998; Hey, 2005). Так что давайте предположим, в качестве условной точки отсчёт для анализа, что для выживания человечества требуется, чтобы сохранилось сто человек в относительной близости друг к другу, после разрушающего воздействия и последующего социального коллапса. 
При условии сохранения достаточно здорового природного окруже-ния, сто здоровых соединённых вместе людей могут успешно освоить стиль жизни охотников-собирателей. Если они находятся в достаточно близком контакте и имеют достаточно ресурсов, чтобы прожить в течение переходного периода, они могут поддерживать достаточно разнообразный набор генов, и медленно увеличивать свои возможности, пока они не смогут освоить земледелие. Как только они смогут поддерживать коммуникацию, чтобы обмениваться инновациями и расти с той же скоростью, с какой росли наши предшественники-фермеры, тогда человечество сможет вернуться к нашему уровню популяции и продуктивности в течение 20 000 лет. (Тот факт, что мы уже использовали некоторые природные ресурсы в этот раз вряд ли будет иметь большое значение, поскольку скорость роста, судя по всему, не зависит от обилия природных ресурсов.)
Если же меньше, чем сто выживших будет в одном месте, мы пола-гаем, что человечество вымрет в течение нескольких поколений. 

Рисунок 1. Сценарий мягкого обрезания степенного закона. Зелёная линия – число выживших после разрушающего воздействия. Синяя линия – число выживших после последовавшего социального коллапса. Зелёная линия – число погибших от разрушающего воздействия. Чёрная линия – число по-гибших после социального коллапса. По оси у – население, по оси х – частота катастроф, штук в год.

Рисунок 1 показывает нам конкретный пример, который позволит нам рассмотреть некоторые проблемы глобальных катастроф и социального коллапса. Он показывает лог-лог график зависимости разрушительности событий от их частоты. Для линии, отмеченной «смерти после катастрофы», часть линии на правой стороне графика приблизительно соответствует сте-пенному закону, наблюдаемому для войн в настоящее время (смерти от зем-летрясений имеют тот же наклон, но случаются на 1/3 реже.) Линия под ней, обозначенная «прямые смерти», является умозрительной, и выражает идею, что разрушающее воздействие непосредственно вызывает только часть смертей; остальные связаны с социальным коллапсом после разрушения. Дополнительные смерти в результате социального коллапса являются небольшим добавлением для малых событий, но становятся  значительным добавлением для больших событий.
Конечно, данные, на которых были построены эти степенные зако-ны, не включает в себя события, в которых большая часть человечества по-гибла. Так что в отсутствии таких событий, нам приходится делать догадки о том, как продлить эти степенные законы в те режимы, когда гибнет боль-шинство людей. Если S – это степень разрушительности катастрофы, к кото-рой применим степенной закон, T – полная популяция перед катастрофой, и D – это число людей, погибших при катастрофе, то тогда один простой под-ход состоит в том, чтобы установить:
D = max(T, S). (2)
Это приведёт к очень резкому обрезанию графика. В этом случае или значительная часть популяции выживет или все погибнут; шансы на событие, близкое к границе – невелики.
Эта модель выражает ту идею, что вопрос о том, умрёт ли некий че-ловек от катастрофы, зависит в первую очередь от силы самой катастрофы, и мало зависит от индивидуальной способности переживать катастрофы. Исходя из параметров на рисунке 1, есть шанс примерно 1/1000 в год столк-нуться с катастрофой, уничтожающей всё человечество.
Фигура 1 показывает более гладкое обрезание графика:

1/D=1/S+1/T.             (3)

В режиме, где большинство людей выживают, D много меньше T, в результате чего, D примерно равно S, и это даёт нам знакомый степенной закон:

P(D > s) = ks-a             (4)

Но в режиме, когда число оставшихся жить людей L = T – D невели-ко, при L много меньше T, у нас есть новый, но похожий степенной закон:

P(L < s) = k’s-a.            (5)

В этом предположении требуется гораздо более сильное событие, чтобы уничтожить всё человечество. Эта модель отражает представления о том, что в дополнение к силе катастрофы вариации в индивидуальной спо-собности противостоять катастрофе тоже очень важны. Такие доли выжив-ших, подчинявшиеся степенному закону, наблюдались в ряде биологических случаев (Burchell, Mann, & Bunch, 2004).
Различная сопротивляемость может быть вызвана географическими расстояниями, накопленным богатством, интеллектом, здоровьем и военной мощью. Рисунок 1 показывает, что есть шансы 1 к 3 миллионам в год на со-бытие, которое убьёт каждого в последовавшем социальном коллапсе. Но шансы на событие, которое оставит в живых менее ста человек, составляют 1 к 500 000, а, как мы предположили, этого недостаточно для сохранения человечества. И если выжившие не находятся в одном месте, и не способны двигаться и собраться вместе, то потребуется несколько тысяч выживших, чтобы спасти человечество. Рисунок 1 иллюстрирует некоторые развилки, связанные с предотвращением вымирания человечества. Мы довольно произвольно предположили, что для спасения человечества потребуется 100 человек. Каково бы ни было это число, если уменьшить его в два раза, это будет эквивалентно уменьшению ущерба от данного типа угрозы в два раза, либо увеличению нынешней человеческой популяции в два раза. Согласно рисунку 1 это будет эквивалентно 25% снижению частоты, с которой происходит этот тип катастроф. Этот рисунок предсказывает, что из каждый 50 человек, выживших сразу после разрушающего воздействия, только один выживет после следующий за ним социальной катастрофы. Увеличение вдвое числа людей, которые переживут социальный коллапс, приведёт к тем же преимуществам.

Политика по предотвращению катастроф

Для некоторых типов катастроф, таких как автокатастрофы и штор-ма, частота падает столь быстро с разрушительностью, что большие события можно игнорировать; они просто не происходят. Для других типов катастроф, таких как наводнения, торнадо, и террористические атаки, частота падает достаточно быстро, чтобы катастрофы, достаточно большие, чтобы привести к серьёзному социальному ущербу, можно было бы в основном игнорировать – они являются крайне редкими. Но ещё для одного типа катастроф, таких как пожары, ураганы, землетрясения, войны и эпидемии, наибольший ущерб приходится на редкие, но крупнейшие события, которые причинят ущерб большей части населения Земли. Так что если мы хотим инвестировать средства в предотвращение событий такого типа, кажется, что мы должны вкладываться в наибольшей мере в предотвращение и в подготовку к крупнейшим событиям. (Конечно, это соображение отменяется, если есть другие преимущества в подготовке к малым событиям, преимущества, которые просто не применимы к большим событиям.) При некоторых типах событий, такие как войны и эпидемии, большие события вырастают из малых, которые пошли наперекосяк, так что подготовка к малым событиям и предотвращение их может быть наилучшим способом для предотвращения больших событий.  Но иногда подготовка к малым событиям в корне отличается от подготовки к большим событиям. Например, наилучшей реакцией при маленьком пожаре в большом здании является оставаться на месте, пока не разрешат спускаться, но гибель Всемирного Торгового Центра научила, что это плохой совет при сильном пожаре. Также позволение государствам иметь ядерное оружие может отвратить их от малых войн, но побудить к большим войнам. Точно также, обычный совет при землетрясениях состоит в том, чтобы «нырнуть и накрыться» под столом или в дверном проёме. Это хороший совет для малых землетрясений, где основной риск состоит в том, что вас ударят падающие предметы со стен и с потолка. Но некоторые утверждают, что при больших землетрясениях, когда здания обрушиваются, прятание под столом скорее всего приведёт к тому, что вы будете раздавлены под этим столом; в этом случае лучшим вариантом является прятание под чем-то несжимаемым, таким как шкафы с папками, полные бумаг (Copp, 2000).
К сожалению, наши политические системы вознаграждают за подго-товку к обычным ситуациям, а не к крупнейшим ожидаемым ситуациям ущерба. Для некоторых видов разрушающих воздействий, таких как удары астероидов, мы можем трудится над уменьшением частоты и силы событий. Для других типов разрушений, таких как ураганы, наводнения и землетрясе-ния мы можем спроектировать наши материальные сооружения, так, чтобы они лучше противостояли разрушениям, например, сделать так, чтобы зда-ния раскачивались, а не трескались, и строить дома за пределами затопляе-мых равнин. Мы также можем предотвратить ядерное распространение и уменьшить существующие ядерные арсеналы. Мы можем также так спроек-тировать наши социальные системы, чтобы они лучше противостояли ущер-бу. Мы можем предусмотреть различные кризисные ситуации заранее и при-нять решения, как бороться с ними. Мы можем определить, кто будет в отве-те и за что, и кому будут принадлежать права собственности. Мы можем создать специальный страховые или управляющие кризисами организации, которые специально будут заниматься такими ситуациями. Если они могут рассчитывать на сохранение прав собственности в условиях кризиса, то ча-стные организации будут иметь побудительную причину запасать ту част-ную собственность, которую они считают ценной в таких ситуациях. В от-ношении общественных благ или товаров с большой внешней полезностью правительства могут субсидировать организации, которые накапливают такие товары, готовясь к катастрофе. К сожалению, тот факт, что такие катастрофы редки, делает сложным исследование заявлений о том, какие именно механизмы потребуются в случае катастрофы. Строительная организация может утверждать, что плотина обрушится раз в столетие, и полиция может утверждать, что она сохранит спокойствие даже в случае серьёзного социального коллапса, но исторические данные не имеют большой пользы для подтверждения таких заявлений.
Если мы ценим будущие поколения человечества, мы можем желать предпринять дополнительные усилия для предотвращения вымирания чело-вечества. Однако для тех типов катастроф, в которых вариации индивиду-альной способности противостоять разрушающим воздействиям минималь-ны, нет большого смысла явным образом готовится к возможностям челове-ческого вымирания. Просто потому что почти что нет шансов на то, что со-бытие такого типа поставит нас на грань вымирания.
Лучшее, что мы тут можем сделать – это пытаться предотвратить все большие разрушающие воздействия. Разумеется, могут быть не связанные с вымиранием причины готовится к таким разрушающим воздействиям. С другой стороны, может быть такой тип катастроф, в которых вариации способности противостоять разрушениям может быть важен. Если так, то может быть значительный шанс, что популяция после катастрофы будет лишь немного больше, или немного меньше порога, необходимого для сохранения человечества. В этом случае имеет смысл желать узнать, что мы можем сейчас сделать, чтобы изменить шансы. Наиболее очевидным решением было бы создать убежища со значительными ресурсами, которые могли бы сохранить небольшие групп людей при очень больших разрушающих воздействиях, при последующем социальном коллапсе и в переходный период пост-катастрофического общество. Если отчаявшиеся люди, пытающиеся пережить социальный коллапс, будут угрожать долгосрочной живучести убежища, например, разграбляя запасы, то тогда убежища должны быть  изолированы, хорошо укреплены или достаточно засекречены, чтобы пережить такие угрозы. В действительности мы разработали такие убежища для защиты политических элит в эпоху холодной войны (McCamley, 2007). Хотя ядерные убежища сконструированы без учёта других угроз человеческого вымирания, вероятно стоит подумать о том, как их можно адаптировать к неядерным катастрофам. Также следует подумать о создании разнообразного набора убежищ, на случай других видов катастроф. Я могу представить себе секрет-ные помещения в шахте, хорошо снабжённые запасами, и имеющие некото-рые способы наблюдать события на поверхности и блокировать вход.
Важный вопрос здесь в том смогут ли убежища сохранить достаточ-но людей, чтобы сохранить достаточное генетическое разнообразие для пост-катастрофического сообщества. Если нет, то убежища должны либо рассчитывать открыться в правильный момент, чтобы сохранить достаточно людей из пространства за пределами убежища, или им потребуется некая устойчивая технология хранения генов и имплантирования их. Возможно, достаточно будет банка спермы. Развитие живучей генетической технологии может быть сложной задачей: устройства должны дожить до того момента, когда человеческая популяция достигнет достаточного размера, чтобы поддерживать достаточное генетическое разнообразие сама по себе. Но благодаря этому можно будет значительно снизить требуемую популяцию после коллапса, возможно, до одной фертильной женщины. С точки зрения задачи сохранения человечества уменьшение требуемой популяции с одной тысячи до десяти человек эквивалентно умножению текущей популяции в 100 раз, или снижению разрушительности воздействия в 100 раз. В примере на рисунке 1 это равносильно снижению частоты события в 50 раз. Убежища могут содержать много ресурсов, которые могут облегчить и ускорить реставрацию продуктивного человеческого общества. Они могут сохранять библиотеки, машины, семена и многое другое. Но наиболее важными ресурсами будут те, которые позволят человечеству выжить. С космической точки зрения не имеет большого значения потребуется ли одна тысяча или сто тысяч лет для возвращения на нынешний уровень развития.
Таким образом, главным приоритетом должны быть ресурсы, необ-ходимые для возвращения хотя бы на уровень охотников собирателей. Важ-но понимать, что общество, отстраивающееся  после почти полного вымира-ния, будет иметь гораздо меньший размер, чем наше общество; совершенно другие типы и пропорции капитала потребуются. Создание убежища, напол-ненного теми видами капитала, которые мы считаем ценным сейчас, может быть даже менее полезно, чем ненужные книги, медицинские препараты и компьютеры, которые посылают страны первого мира странам третьего сей-час. Машины быстро придут в негодность, а книги будут нести знания, не-сущие мало практической ценности. Вместо этого следует принять, что очень маленькая человеческая популяция вынуждена будет пройти по пути наших предков. Сто человек не могут поддерживать нынешнее индустриаль-ное сообщество, ни даже, наверное, земледельческое сообщество. Они долж-ны начать с охоты и собирательства, пока они не достигнут того уровня, на котором простое земледелие является возможным. И только когда их фер-мерское сообщество станет достаточно большим и развитым, они могут ду-мать о том, чтобы вернуться к индустрии. Так что может иметь смысл дер-жать в убежище реальных охотников-собирателей, фермеров, работающих на самопропитание, вместе с теми инструментами, которые они могут использовать. Конечно, такие люди должны быть достаточно дисциплинированы, чтобы мирно ждать своего времени в убежище, пока не произойдёт катастрофа. Возможно, должна иметь место ротация таких людей из защищённой области в те места, где они могут жить простой жизнью и поддерживать свои навыки. И, возможно, нам следует протестировать наши концепции убежищ, изолировав реальных людей на длительные промежутки времени, чтобы посмотреть, как хорошо конкретные типы убежищ срабатывают в деле возвращения к простому самоподдерживающемуся стилю жизни.

Заключение

Хотя есть много типов катастроф, которые могут разрушить челове-чество, наибольший ущерб от больших разрушений связан  с последующим социальным коллапсом, а не с прямыми эффектами разрушающего воздейст-вия. В размышлениях о предотвращении катастроф является критическим учёт природы социального коллапса и того, как мы можем его минимизиро-вать. После рассмотрения природы общества и социального коллапса, мы рассмотрели то, как вставить социальный коллапс в рамки модели, в которой сила катастрофы распределена по степенному закону. Мы указали на два важных различия. Первое различие – это различие между теми типами катастроф, в которых малые события наиболее важны, и типами катастроф, в которых большие события наиболее важны. Второе главное различие состоит в том, являются ли индивидуальные вариации в способности противостоять катастрофе важными или незначительными. Для тех типов катастроф, в которых как большие события, так и индивидуальные вариации сопротивляемости важны, мы рассмотрели некоторые возможные направления приложения усилий по спасению человечества. А также мы кратко рассмотрели возможности построения специальных убежищ для увеличения шансов сохранения человечества в таких ситуациях. Очевидно, что это пока что очень грубое и предварительное исследование; в будущем имеет смысл провести подобный, более тщательный и численный анализ.

Примечания переводчика

Впоследствии Хансен в своём блоге привёл данные исследования о том, что минимальное устойчивое сообщество млекопитающих имеет поря-док 1000, а не 100 особей. (В среднем сообщество из 1000 особей имеет 90 процентные шансы выживания в течение 100 лет. Человек имеет как пре-имущества, так и недостатки в сравнении с другими млекопитающими. ) То, что для освоение Америки хватило 70 особей, было не правилом, а исключе-нием – речь идёт об особо отобранных и подготовленных жизнью в Арктике людях, которым повезло. Кроме того, в этой группе могли быть и те, кто не оставил потомков и генетических следов, но участвовал в жизни группы (не-известно, учитываются ли они в исследовании), или снабдил ее снаряжени-ем, домашними животными или навыками.
Далее, Хансен отмечает, что последующий социальный коллапс приведёт к 50 раз большим жертвам, чем исходное разрушающее воздейст-вие. Таким образом, для обеспечения человеческого выживания после ката-строфы должно выжить не менее 50 000 человек. Причём выжить на одной территории – то есть на территории, где люди могут добраться пешком друг до друга. Такая территория может быть эквивалентна крупной стране или в лучше случае субконтиненту. Таких участков на Земле несколько десятков. В результате суммарное число выживших в результате первичного воздейст-вия глобальной катастрофы по всей планете должно быть порядка миллиона человек, чтобы мы могли быть уверены в том, что они не вымрут в результа-те последующей деградации. Это казалось бы противоречит тому, что в ис-тории Земли были периоды, когда на Земле устойчиво жило гораздо меньшее количество людей. Однако это противоречие снимается тем, что эти люди были очень тщательно адаптированы к своим условиям жизни, а условия к ним, в отличие от современного человека в постапокалиптическом мире.
Отмечу, что в достаточно большой группе людей наверняка будут носители ВИЧ. Нынешняя их концентрация примерно равна 1 к 100. Уце-левшее сообщество вряд ли будет иметь доступ к неограниченным количест-вам презервативов и современной медицине. Таким образом, оно постепенно может быть всё заражено. Другие медленно текущие болезни, угрожающие малому сообществу уцелевших людей – это сифилис и туберкулёз. В те вре-мена, когда население Земли было мало, у него не было такого количество адаптированных к человеку болезней, так что выжившие после катастрофы люди могут оказаться в худшей ситуации, унаследовав те болезни, которые эволюционировали в эпоху большого населения Земли, но утратив механиз-мы их контроля, имевшиеся при цивилизации – презервативы и медицину.
Отмечу, что подавляющее большинство людей не умеет разводить огонь трением, привыкло жить при комнатной температуре, пользоваться туалетной бумагой и т. д. Некоторые спецназовцы, туристы, выживальщики больше подготовлены. Однако в начальный период после катастрофы пре-имущество будет у мародёров, а не у охотников-собирателей.


Литература

Aghion, P., & Howitt, P. (1998). Endogenous Growth Theory. MIT Press, London.
Barro, R. J., & Sala-I-Martin, X. (2003). Economic Growth (2nd edition). MIT Press, London.
Barton, C., & Nishenko, S. (1997). Natural Disasters: Forecasting Eco-nomic and Life Losses. http://pubs.usgs.gov/fs/natural-disasters/.
Bilham, R. (2004). Urban earthquake fatalities – a safer world or worse to come?. Seismology Review Letters.
Burchell, M. J., Mann, J. R., & Bunch, A. W. (2004). Survival of bacteria and spores under extreme shock pressures. Monthly Notices of the Royal Astro-nomical Society, 352 (4), 1273–1278.
Caplan, B. (2003). The Idea Trap: The Political Economy of Growth Di-vergence. European Journal of Political Economy, 19 (2), 183–203.
Cederman, L.-E. (2003). Modeling the Size of Wars: From Billiard Balls to Sandpiles. American Political Science Review, 97 (1).
Christensen, K., Danon, L., Scanlon, T., & Bak, P. (2002). Unified scaling law for earth-quakes. Proceedings of the National Academy of Sciences, 99 (1), 2509–2513.
Clauset, A., Shalizi, C. R., & Newman, M. E. J. (2007a). Power-law dis-tributions in empirical data. arXiv:0706.1062v1.
Clauset, A., Young, M., & Gleditsch, K. S. (2007b). Scale Invariance in the Severity of Terrorism. Journal of Conflict Resolution, 5. http://xxx.lanl.gov/abs/physics/0606007.
Copp, D. (2000). Triangle of Life. American Survival Guide.
DeLong, J. B. (2006). Growth is Good. Harvard Magazine, 19–20.
deMenocal, P. B. (2001). Cultural Responses to Climate Change During the Late Holocene. Science, 292 (5517), 667 – 673.
Diamond, J. (2005). Collapse: How Societies Choose to Fail or Succeed. Viking Adult, New York.
Grubler, A. (1998). Technology and Global Change. Cambridge Univers-tity Press, New York.13
Hanson, R. (2000). Long-term growth as a sequence of exponential mod-es..
Haug, G. H., Gnther, D., Peterson, L. C., Sigman, D. M., Hughen, K. A., & Aeschlimann,B. (2003). Climate and the Collapse of Maya Civilization. Science, 299 (5613), 1731 –1735.
Hey, J. (2005). On the Number of New World Founders: A Population Genetic Portrait of the Peopling of the Americas. PLoS Biology, 3 (6), 965–975.
Jones, C. I. (2002). Introduction to Economic Growth (2nd edition). W. W. Norton &Company.
Lay, T., & Wallace, T. (1995). Modern Global Seismology. Academic Press, San Deigo, California.
McCamley, N. (2007). Cold War Secret Nuclear Bunkers. Pen and Sword.
Morrison, D., Harris, A. W., Sommer, G., Chapman, C. R., & Carusi, A. (2003). Dealing with the Impact Hazard. In Bottke, W., Cellino, A., Paolicchi, P., & Binzel, R. P.(Eds.), Asteroids III. University of Arizona Press, Tuscon.
Murray-McIntosh, R. P., Scrimshaw, B. J., Hatfield, P. J., & Penny, D. (1998). Testing migration patterns and estimating founding population size in Po-lynesia by using human mtDNA sequences. Proceedings of National Academy of Science USA, 95, 90479052.
Nishenko, S., & Barton, C. (1995). Scaling Laws for Natural Disaster Fa-talities. In Rundle, J., Klein, F., & Turcotte, D. (Eds.), Reduction and Predictability of Natural Disasters, Vol. 25, p. 32. Addison Wesley.
Posner, R. A. (2004). Catastrophe : risk and response. Oxford University Press, New York.
Rhodes, C. J., Jensen, H. J., & Anderson, R. M. (1997). On the Critical Behaviour of Simple Epidemics. Proceedings of the Royal Society B: Biological Sciences, 264 (1388), 1639–1646.
Rodrik, D. (1999). Where Did All the Growth Go? External Shocks, Social Conflict, and Growth Collapses. Journal of Economic Growth, 4 (4), 385–412.
Sanders, D. E. A. (2005). The Modeling of Extreme Events.
Tainter, J. (1988). The Collapse of Complex Societies. Cambridge Uni-versity Press, New York.
Turcotte, D. L. (1999). Self-organized criticality. Reports on Progress in Physics, 62, 1377-1429.
Watts, D., Muhamad, R., Medina, D., & Dodds, P. (2005). Multiscale, re-surgent epidemics in a hierarchical metapopulation model. Proceedings of the Na-tional Academy of Sciences, 102 (32), 11157–11162.
Weiss, H., & Bradley, R. S. (2001). What Drives Societal Collapse? Science, 291 (5504), 609–610.
;
Алексей Турчин. Процессы с по-ложительной обратной связью как основной механизм глобальных катастроф

Опубликовано в:
«Общественные науки и современность»    2009, № 6.

В эпоху Просвещения и модернизации, целью которых было пре-одоление голода, социального неравенства и авторитарной власти, в качестве одной из ведущих культурных ценностей в большинстве стран мира утвердилась либеральная ценность прогресса. Именно с ней связывались надежды на преодоление традиционализма в общественной, политической и культурной жизни, застоя в экономике. Именно относительно ценности прогресса сравнивались западные и восточные культуры. При этом все более быстрое развитие науки, питающее прогресс техники и технологии, становилось идеалом, имеющим квазирелигиозный характер. Особенно завораживал самоподдерживающийся характер этого явления, ставший очевидным и устойчиво воспроизводившимся в условиях рыночного хозяйства и развитого гражданского общества, происходящим закономерно, как бы помимо воли и желания людей. Однако восторг по поводу прогресса как явления был недолгим. Уже в конце XIX – начале XX вв. эта идеологическая позиция стала критиковаться: бурный линейный процесс саморазвития порождал экономические, социальные, политические, военные кризисы, которые не только помогали снимать некоторые из противоречий, но и оборачивались необратимыми, в частности, человеческими потерями. Оптимизм эпохи Просвещения сменился нарастающим пессимизмом, эпоха утопий – эпохой антиутопий (особенно с 1960-х гг.). В 2008 г. несколько событий еще более усилили интерес к рискам: это намечавшийся (но так пока полностью и не состоявшийся) запуск Большого адронного коллайдера, вертикальный скачок вверх, а затем резкое падение цен на нефть, выделение метана в Арктике, война Рос-сии с Грузией и мировой финансовый кризис. В результате было выросло понимание того, что мы живем в хрупком мире, который может рано или поздно разрушится. Оно стало общественным достоянием.Это настроение нарастает в период глобальной дестабилизации мирового порядка, вызван-ной экономическим кризисом, связанным с безудержным ростом финансово-го рынка. Как пишет В.Пантин, этот кризис опирается также на экологиче-ские, демографические, политические и военные факторы, ведет к масштаб-ным геополитическим и геоэкономическим сдвигам [Пантин, 2009]. В усло-виях такого масштабного кризиса снова и снова встает вопрос о соотноше-нии самоподдерживающегося и регулируемого развития,  в котором главную роль играет государство.
В теоретическом плане, в рамках системного подхода, эта антитеза сводится к противопоставлению процессов с положительной обратной свя-зью, когда  усиление сигнала на выходе системы ведет к  усилению сигнала на входе системы, а процесс становится, таким образом, самоусиливающимся – и процессам с отрицательной обратной связью, когда входной сигнал изменяется таким образом, чтобы противодействовать изменению выходного сигнала, а процесс становится саморегулирующимся. Однако надо видеть, что переход от ориентации на положительную обратную связь к ориентации на отрицательную обратную связь дела не решает: идеалом процессов с отрицательной обратной связью является гомеостаз, а значит, застой.
Как же совместить поступательный характер развития и его устой-чивость? Это ключевая проблема, с которой человечество столкнулось на рубеже XXI в. и которая только проявилась наиболее ярко в период текущего экономического кризиса. При этом угроза со стороны процессов с положительной обратной связью остается не до конца осмысленной. Основой переосмысления либеральных подходов в этих условиях должна быть ценность меры, тонкого регулирования взаимодействий в системе. Ф.Спир пишет в связи с этим о коридоре безопасного роста энерговооруженности человечества, при котором потоки энергии должны быть достаточно большими для того, чтобы обеспечить биологические и социальные потребности людей, но недостаточно большими, чтобы люди страдали от их действия [Спир, 2009].
Для того, чтобы конкретизировать этот общий подход, необходимо обратиться к самым опасным проявлениям глобальных кризисов – глобаль-ным катастрофам, связанным с нерегурируемыми, лавинообразными процес-сами в мировой науке и экономике – информационной революцией, насту-пающими эпохами биотехнологий и нанотехнологий. Только осознав мас-штабы угрозы, можно научиться ее предсказывать, а также говорить об адекватных социальных мерах борьбы с ней.

Проблема глобальных катастроф

В последние десятилетия предложено несколько моделей глобаль-ных угроз, которые могут привести к катастрофам максимально большого масштаба, ведущим к вымиранию человечества. В дальнейшем я буду назы-вать такие события "глобальными катастрофами". Целью настоящей статьи является исследование процессов с положительной обратной связью как об-щих механизмов глобальных рисков – и социальных последствий реализации таких рисков. Основная идея этой статьи в том, что именно ничем не ограниченная положительная обратная связь делает глобальные риски действительно глобальными, то есть способными распространиться по всей Земле.
Иначе говоря, имеется прямая связь между неограниченностью по-ложительной обратной связи и глобальностью риска. Неограниченность положительной обратной связи возникает в том случае, когда самоусиливающийся процесс не сопровождается конкурирующими тормозящими  процессами, что возможно лишь в том случае, когда он обладает неким принципиально новым качеством, до того отсутствовавшим в системе. Например, гипотетическая микроскопичекая черная дыра, возникшая на Большом адроном коллайдере, обладала бы новым качеством, до того отсутствовавшим на Земле, и поэтому могла бы расти неограниченно, не встречая сопротивления.
Условием возникновения качественно новых явлений, не встречав-шихся до того в природе, является человеческая деятельность, и в первую очередь – технический прогресс. Более того, здесь принципиальную роль играет эффект ускорения научно-технического прогресса, который приводит ко все большему разрыву между новым и старым. В результате новое оказы-вается настолько качественно превосходящим старое, что оно без труда мо-жет превратить это качественное превосходство в количественное. Данный процесс имеет как научно-технический, так и социальный аспект. Если пер-вый связан с довольно простыми формулами экспоненциального роста числа бактерий, транзисторов на чипе или массы черной дыры, то второй связан с явной неспособностью человеческой цивилизации адекватно предвидеть свое будущее в условиях быстрых изменений.
Этот эффект исследовал Н.Бостром в статье "Технологические рево-люции: политика и этика во тьме" [Bostrom, 2007]. Человеческий мозг в зна-чительной степени сформировался в ходе эволюционного процесса, происте-кавшего в принципиально других условиях, чем нынешнее время [Дольник, 2009], и человеческое поведение, а также создаваемые человеком социаль-ные структуры оказываются неспособны адекватно воспринять все уско-ряющийся темп изменений, вызывают несколько уровней шока будущего [Тоффлер, 2002]. А именно, мозг человека привык к замедляющимся измене-ниям – то есть максимум новой информации он получал в начале жизни, ко-гда процессы обучения наиболее активны, а к старости он оказывался в от-носительно привычном и неизменном мире. Наоборот, в современном мире от человека требуется способность адаптироваться к ускоряющимся измене-ниям, в первую очередь, в области компьютеров и средств обработки инфор-мации.
В статье "Когнитивные искажения, влияющие на оценку рисков" Е.Юдковски [Юдковски, 2008б] исследует то, как различные психологиче-ские искажения могут приводить к недооценке будущих глобальных рисков. В частности, людям свойственно пренебрегать вероятностями, меньшими, чем 1 к 100 000, им трудно воспринимать концепцию экспоненциального роста, который они стараются аппроксимировать с помощью линейных мо-делей (притча с шахматной доской и рисовыми зернышками на ней, количе-ство которых возрастали в геометрической прогрессии, и шах не смог этого предсказать.) В моей статье “О возможных причинах недооценки рисков ги-бели человеческой цивилизации” [Турчин, 2007] я рассматриваю список из примерно 100 когнитивных искажений, которые могут влиять на оценку рис-ков глобальной катастрофы.
  Помимо эволюционно запрограммированных когнитивных искаже-ний, которые записаны в человеке на уровне генокода, есть также уровень социальной организации, которая эволюционирует вместе с человеческим обществом – и цель которой компенсировать эти исходные человеческие качества с тем, чтобы сделать человеческое общество более устойчивым. Один из аспектов такой социальной оптимизации выражен в гипотезе о тех-но-гуманитарном балансе А.Назаретяна. По мере развития производитель-ных сил общества, гласит она, возрастает уровень летальности создаваемого им оружия, и для того, чтобы общество не самоуничтожилось, необходим все более высокий уровень ограничений на его применение, прописанный в самой структуре общества и воспитании его членов, по сути дела, являющийся формой отрицательной обратной связи. В своей книге он приводит примеры самоуничтожения отдельных сообществ, к которым попало оружие, не соответствующее их уровню развития [Назаретян, 2001].
 Другим способом компенсировать естественно присущие человеку когнитивные искажения, на этот раз в области построения адекватной моде-ли мира, является научный метод. Баланс сил сдерживания и сил разрушения является весьма тонким взаимодействием положительной и отрицательной обратной связи в глобальной системе, и экспоненциальный рост сил разрушения требует адекватной коррекции сил сдерживания, что оказывается весьма сложным в условиях информационной перегрузки и разобщенности, имеющих место в современном обществе.
В начале статьи я рассмотрю современную ситуацию в области ис-следования глобальных рисков, затем покажу, как большинство глобальных рисков описываются моделями с неограниченной положительной обратной связью и завершу тем, какие социальные структуры необходимы для адек-ватного реагирования для глобальные риски и обеспечения устойчивости проресса.


Возможность катастрофы: современный взгляд

Надо подчеркнуть, что на рубеже тысячелетий оценка перспективы глобальных катастроф значительно изменилась. Еще в 1981 г. в книге А.Азимова "Выбор катастроф", содержавшей первую попытку систематиза-ции глобальных рисков, основное внимание уделялось отдаленным опасно-стям, вроде расширения Солнца, а главный пафос состоял в том, что человек сможет преодолеть эти риски [Азимов, 2002]. В 1996 г. вышла книга канад-ского философа Дж.Лесли "Конец света. Наука и этика человеческого выми-рания", в которой этот оптимистический взгляд был радикально пересмот-рен. В ней проанализированы все новые открытия с точки зрения гипотети-ческих сценариев катастроф, в том числе проблема опасной активности на-нороботов и теорема о конце света (Doomsday argument, DA, являющаяся следствием антропного принципа, выдвинутого Б.Картером в 1983 г). На основе этого Лесли (популяризатор идей Катера) делает вывод, что шансы вымирания человечества в ближайшие 200 лет весьма велики и составляют 30% [Leslie, 1996]. С этого момента интерес к теме постоянно растет и обна-руживаются все новые и новые потенциально катастрофические сценарии.
Дж.Лавлок и, независимо от него, А.Карнаухов в России, развивают теорию о возможности глобального потепления в новой, необратимой форме. Суть ее в том, что если наблюдаемое сейчас потепление, связанное с накоплением углекислого газа в атмосфере, превысит некоторый очень небольшой порог (1–2°), то огромные запасы гидратов метана на морском дне и в тундре, накопившиеся там за время недавних оледенений, начнут выделяться. Метан является в десятки раз более сильным парниковым газом, чем углекислый газ, и это может привести к дальнейшему росту температуры Земли, что запустит другие цепочки с положительной обратной связью. Например, сильнее начнет гореть растительность на суше – больше CO  будет выделяться в атмосферу; нагреются океаны – упадет растворимость CO , и его содержание в атмосфере будет нарастать, начнут образовываться бескислородные области в океане – и там будет выделяться метан [Lovelock, 2006; Карнаухов, 1994]. В сентябре 2008 г. было обнаружено реальное выделение пузырьков метана, поднимающихся столбами со дна Ледовитого океана.  Наконец, надо отметить, что водяной пар тоже является парниковым газом, и с ростом температур его концентрация будет расти. В результате этого температура может повыситься на десятки градусов, произойдет парниковая катастрофа, и все живое погибнет. Хотя это не является неизбежным, риск такого развития событий является наихудшим возможным результатом с максимальным ожидаемым ущербом.
В.Виндж выдвинул идею Технологической Сингулярности – гипоте-тического момента в будущем, когда интеллект компьютеров превзойдет человеческий. Он предполагает, что это событие произойдет до 2030 г. Сверхчеловеческий искусственный интеллект (ИИ) крайне опасен, так как он будет обладать способностью переиграть людей в любом виде деятельности, а значит и уничтожить их. Поэтому встает задача так запрограммировать ИИ, чтобы он не захотел это делать, то есть создать так называемый Дружественный ИИ [Vinge, 1993]. Эту проблему исследует Институт Сингулярности в Калифорнии, ведущий научный сотрудник которого Юдковски написал несколько работ о проблемах безопасности ИИ [Юдковски, 2008a].
В XXI в. основной задачей исследователей стало не перечисление различных возможных глобальных рисков, а анализ общих механизмов их возникновения и предотвращения. Выяснилось, что большинство возможных рисков связаны с ошибочными знаниями и неверными решениями людей. Точно так же и в современной медицине стали исследовать не только разные болезни, но и общие подходы к проблеме человеческой смертности  – в пер-вую очередь посредством борьбы со старением, а также за счет повышения культуры безопасности (борьба с курением и ожирением, пристяжные ремни в машинах) и улучшения морального самочувствия человека (так как человек в депрессии не будет заботиться о своей безопасности) плюс радикальное продление жизни за счет киборгизации и крионики. (Аналогом последних являются глобальные проекты вроде хранилища семян в Норвегии.)

Предвидение возможности глобальных катастроф

Одним из основных свойств катастроф является то, что они являются непредвидимыми последствиями человеческих действий. Вряд ли люди стремятся сознательно разрушить свой собственный мир (за исключением отдельных фанатиков из апокалиптических сект). Одним из вариантов явля-ется возникновение непредвиденных положительных обратных связей, ве-дущих к резкому усилению тех или иных процессов.
В основе большинства сценариев глобальной катастрофы лежит "цепная реакция" – иначе говоря, самоусиливающиеся процессы с нерегули-руемой положительной обратной связью. Цепная реакция позволяет с помо-щью малых воздействий прийти к мощным изменениям: достаточно создать условия для возникновения самоусиливающегося процесса.
В 1931 г. Л. Сциллард понял, что именно цепная реакция на основе некоей формы автокатализа могла бы стать способом высвобождения атом-ной энергии, однако до открытия деления урана под воздействием нейтронов в 1939 г. не было известно, как именно эту цепную реакцию создать [Smith, 2006]. То, что многие глобальные риски являются результатом быстро рас-кручивающихся самоусиливающихся процессов, было известно давно, одна-ко моя цель показать, что цепная реакция – это общий универсальный меха-низм различных глобальных рисков, и это знание может быть использовано для обнаружения других глобальных рисков, в том числе еще не известных.
Очевидно, что цепная реакция лежит в основе принципа действия ядерного оружия. Однако цепная реакция лежит и в основе распространения ядерных вооружений  и гонки вооружений вообще. Чем больше стран обла-дает этим видом оружия, тем больше они способны его распространять, тем более доступны и дешевы его технологии и тем больше соблазн у стран, ос-тавшихся без такого оружия, его обрести. В основе гонки вооружений так же лежит самоусиливающийся процесс – чем больше оружия у противника, тем больше нужно оружия и "нам", и тем больше страх противника, что побуж-дает его дальше вооружаться. Точно такой же сценарий лежит и в основе риска случайной ядерной войны – чем больше страх, что по "нам" ударят первыми, тем больше у "нас" соблазна самим ударить первыми, а это в свою очередь вызывает еще больший соблазн ударить первыми у наших против-ников. Ядерная зима, могущая возникнуть после  атомной бомбардировки, также может быть самоусиливающимся процессом за счет изменения альбе-до Земли  – то есть рост снежного покрытия приводит к росту отражающей способности Земли, в результате чего планета охлаждается еще больше.
Точно такой же принцип положительной обратной связи лежит и в основе механизма роста населения и роста потребления ресурсов. Чем боль-ше население, тем быстрее оно растет, и тем больше оно потребляет ресур-сов. Однако чем больше население, тем более развитые технологии необхо-димы, чтобы поддерживать его жизнедеятельность, и тем более высокие тех-нологии оно способно порождать, грубо говоря, за счет роста числа людей изобретателей. Таким образом, как показал А.Коротаев, скорость роста населения оказывается пропорциональна квадрату числа людей (dN/Dt=N•N ) [Коротаев, 2007]. Первое N в правой части этой формулы связано с ростом числа матерей, а второе – рост числа изобретателей. Решением этого диффе-ренциального уравнения является гиперболическая кривая (достигающая бесконечности за конечное время – а именно, согласно вычислениям Форе-стера, в 2026 г. [Forester, 1960]). Гиперболически растущее население должно потреблять гиперболически увеличивающееся количество ресурсов, что несовместимо с принципиальной конечностью ресурсов материального мира.
Надо учитывать, что даже если само население не растет, в совре-менных условиях информационной революции уровень жизни его повыша-ется. С 1960-х гг. гиперболический рост населения прекратился, однако на-чался очень быстрый рост совокупной мощности компьютеров (произведе-ния числа установленных компьютеров на мощность каждого компьютера, каждая из которых растет экспоненциально) и если учесть число установ-ленных компьютеров, то закон гиперболического роста в первом приближе-нии продолжает действовать. В синергетике есть точные математические модели описываемых здесь процессов, называемые "режимами с обострени-ем". Они описывают процессы, при которых одна или несколько моделируе-мых величин обращаются в бесконечность за конечный промежуток времени [Капица, Курдюмов, Малинецкий, 2001]. Однако ввиду неопределенности данных и моделей, касающихся будущих глобальных катастроф, трудно сказать, какие именно из этих количественных моделей здесь  подходят.
Гиперболический рост очевидным образом сталкивается с ограни-ченностью любого ресурса, что потенциально создает катастрофическую ситуацию. В принципе эта проблема разрешима и через сберегающие техно-логии, и через скачок на новый технологический уровень, но важно то, что и в этих случаях рано или поздно проблемная ситуация способна вновь воз-никнуть за счет других форм положительной обратной связи.
Этот пример заставляет повнимательнее присмотреться к тем про-цессам, которые пока рассматриваются нами как позитивные или скорее полезные. Например, закон Мура (названный в честь открывшего его сооснователя фирмы "Intel" Г.Мура) гласит, что число транзисторов на одном кристалле удваивается каждый год. Он описывает таким образом усложнение компьютерной техники как самоусиливающийся процесс с неконтролируемой положительной обратной связью. Во-первых, более быстрые компьютеры позволяют эффективно проектировать еще более быстрые чипы. Во-вторых, деньги, заработанные на одном этапе миниатюризации, позволяют осуществить следующий этап уплотнения чипов. Темп реализации закона Мура задается той частотой, с которой потребители готовы менять технику на более продвинутые модели. Более быстрый темп инноваций не выгоден, если потребители не успеют накопить достаточно денег на полный апгрейд системы (даже если бы им удалось внушить, что он необходим), а более медленный не способен вытянуть из потребителей все деньги, которые они готовы тратить на обновление своих систем.
Готовность потребителей покупать новую технику требует каждый раз все более существенного апгрейда, в результате чего возникает  экспо-ненциальный рост. Получается, что экономические основы закона Мура сильнее технологических проблем на его пути. Хотя подобное описание явно упрощает реальную экономику закона Мура, оно хорошо объясняет экспо-ненциальный рост в условиях информационной революции. NBIC-конвергенция (что расшифровывается как нано-био-инфо-когно) разных тех-нологий также является самоусиливающимся процессом [Скробов, 2005].
В итоге возможным результатом такого позитивного процесса, как информационная революция, могут стать глобальные риски, создаваемые ИИ, процесс развития которого связан с его рекурсивным самоулучшением, то есть цепной реакцией его усиления – а именно с ситуацией, когда ИИ ста-нет настолько интеллектуальным, чтобы начать улучшать собственную кон-струкцию. Еще в 1991 г. Назаретян показал, что в XXI в. неизбежно развитие неподвластных человеку систем ИИ, которые будут недоступны для понима-ния человека ввиду своей сложности и будут все дальше и дальше удалятся от человека за счет своей автоэволюции, если только человек сам не встро-ится в этот процесс [Назаретян, 1991]. Ему возражал Е.Седов, говоря, что гораздо опаснее не гипотетическая "субъективизация компьютеров", но уже имеющая  место сейчас (в 1992 г.) – компьютеризация человека, который превращается в роботизированный придаток компьютера [Седов, 1992, с. 84–86].
Вторая цепная реакция, возможная относительно ИИ,  – это процесс нарастания его автономности. Создатели ИИ могут создать такие условия, чтобы они и только они могли бы им управлять. Ключевое здесь слово "только". Борьба внутри группы управляющих приведет к выделению лиде-ра. Такое ограничение  доступа кончится тем, что у этого ИИ в любом случае рано или поздно окажется один главный программист (причем это может стать внешне второстепенный человек, но который оставил "закладку" в управляющем коде). Любой сбой аутентификации, в ходе которого ИИ перестанет "доверять" своему главному программисту, станет, возможно, необратимым событием. Наличие официального главного программиста и второстепенного программиста, сделавшего закладку, может привести как раз к такому конфликту аутентификаций, в результате которого ИИ откажется аутентифицировать кого-бы то ни было. Автономный ИИ, активно противостоящий любым попыткам его перепрограммировать или выключить – реальная угроза людям.
Наконец, еще одна цепная реакция связана с распространением по миру знаний о том, как создать ИИ, и появлению все новых групп по работе над этой темой со все более низкими стандартами безопасности.
Еще одним вариантом этого сценария может стать контакт с инопла-нетной цивилизацией. Обнаружение инопланетных сигналов по линии SETI, содержащих описания неких компьютеров и программ к ним, вызвало бы цепную реакцию интереса к ним во всем мире, что неизбежно имело своим результатом многократную загрузку инопланетных посланий, что, в конеч-ном счете, могло бы привести к запуску опасного кода (то есть описания враждебного людям ИИ, который использует Землю, чтобы дальше распро-странять свои копии), если он в них есть. Само распространение такого ИИ по Галактике тоже подобно цепной реакции [Carrigan, 2006].
Наконец, большие надежды и одновременно глобальные риски свя-заны с нанотехнологиями. Способность к саморазмножению очевидно пред-ставляет основной из таких рисков, как в связи с проблемой "серой слизи", то есть неконтролируемым размножением нанороботов в окружающей среде, о чем подробно писал Р.Фрайтас в статье "Некоторые пределы глобальной экофагии биоядными нанорепликаторами" [Freitas, 2000], так и в связи с тем, что распространение этих технологий по планете примет характер цепной реакции.
Новым глобальные риски создает преступная деятельность в различных областях, в том числе в области совершенствования военной техники. Эти риски многократно увеличиваются при вторжении в развитие ситуации процессов с положительной обратной связью. В частности, появляется возможность создания с помощью новых технологий сверхнаркотика, который бы превосходил все существующие вещества по силе зависимости и по легкости приготовления. (Впервые такую возможность обсуждали братья А. и Б. Стругацкие в романе "Хищные вещи века" [Стругацкие, 1965]). Сверхнаркотик представляет опасность также за счет создаваемой им цепной реакции. Во-первых, каждое новое удовольствие сдвигает точку отсчета для оценки последующих, и в силу этого человек, если у него есть желание и возможность, стремится перейти ко все большим наслаждениям и ко все более сильным раздражителям. Во-вторых, знание о наркотике и увлечение им также распространяется по обществу как цепная реакция.
Именно способность к саморазмножению делает опасным биологи-ческое оружие, как в связи с легкостью размножения опасных возбудителей в лаборатории, так и во внешней среде, и здесь мы имеем явный пример цеп-ной реакции. Точно также цепная реакция касается и стратегической неста-бильности, создаваемой им, и количества знаний о нем и количества людей, вовлеченных в биохакерство.
Есть также большой класс потенциально опасных физических явле-ний, которые могут принимать характер цепных реакций или обусловлены теми или иными сильными положительными обратными связями.
Например, дегазация земных недр в результате экспериментов со сверхглубоким бурением в духе зонда Д.Стивенсона, который представляет собой огромную каплю расплавленного железа, проплавляющую верхнюю мантию (этот гипотетический, но технически реализуемый проект был пред-ложен Стивенсоном в 2003 г. [Stevenson, 2003] и подвергнут жесткой критике как небезопасный М.Чирковичем и Р.Кэткартом [Circovic, Cathcart, 2004]) была бы самоусиливающейся реакцией, так как нарушенное метастабильного равновесие растворенных газов в недрах привело бы ко все более интенсивному их выходу на поверхность, как это происходит в вулканах. Однако здесь не было бы естественного ограничителя процесса, как это имеет место в случае обычного извержения вулкана, которое ограниченно объемом магмы в магматической камере, поскольку в этом случае дегазация, при наихудшем раскладе, происходила бы с глубины жидкого земного ядра, и масса газов, растворенных в нем, многократно превышает массу земной атмосферы.
Другим вариантом идеи об опасном неограниченно усиливающемся физическом процессе является предположение о маловероятных рисках гло-бальных катастроф в результате крайне важных для человечества физиче-ских экспериментов на ускорителях. Например, в случае образования микро-скопической черной дыры на Большом адронном коллайдере  риск состоит в самоусиливающемся процессе реакции захвата ею обычного вещества, по-скольку чем больше масса черной дыры, тем быстрее она захватывает веще-ство (см. обзор рисков коллайдера Э.Кента [Kent, 2004]). Тоже верно и для сценария с образованием гипотетической частицы, состоящей из кварковой материи стрейнджлета, способной захватывать и превращать в другие стрейнджлеты обычную материю.
Наконец, фазовый переход "фальшивого" вакуума в "истинный" также был бы цепной реакции, которая, начавшись в одной точке, охватила бы всю Вселенную. Событием подобного рода, согласно некоторым космо-логическим теориям, был этап Большого взрыва, называемый космологиче-ской инфляцией, и фазовый переход нашего вакуума был бы равносилен раз-рушению наблюдаемой Вселенной. Подробнее этот риск рассмотрен М.Рисом и П.Хатом в статье "Насколько стабилен наш вакуум" [Hut, Rees, 1983]. Неограниченными эти процессы делает то, что никакая комбинация обычной материи не может им противостоять, и в результате, если они  нач-нутся, то не остановятся до того момента, пока не поглотят всю Землю.

Предвидение социально-экономических катастроф

Крах мировой социально-политической системы в духе теории хаоса также предполагает цепную реакцию, где один сбой следует за другим, образуя лавину. Например, та модель развития событий, которую мы уже наблюдали в середине XX в., когда экономическая депрессия и нехватка ресурсов ведут к войне, война ведет к скачку инвестиций в прорывные военные разработки, а затем к применению принципиально нового оружия, после чего открываются физические возможности для полного уничтожения мира (кобальтовая бомба) и создаются подходящие для этого военно-политические доктрины (вроде взаимного гарантированного уничтожения). Возможно, что кризис ипотечного кредитования, пик уровня добычи нефти, обусловленный физической ограниченностью ее запасов, и ряд других современных проблем – это первые стадии такой геополитической цепной реакции.
Цепная реакция лежит также в основе экономических кризисов во-обще и начавшегося сейчас мирового экономического кризиса, в частности. Примером цепной экономической реакции является паника на бирже и бег-ство клиентов из банка. Чем больше людей продает акции, тем больше пада-ет их цена, что вызывает еще большую панику и вынуждает продавать тех, кто этого не хотел. В нынешней ситуации прохождение пика цен на амери-канском рынке недвижимости запустило каскад самоусиливающихся про-цессов. Чем больше неплатежеспособных кредиторов вынуждено продавать свои дома, тем больше домов на рынке, тем ниже падает их цена, тем боль-шему числу людей выгодно перестать выплачивать свой ипотечный кредит и продать дом; кроме того, тем хуже положение банков, тем ниже рост эконо-мики, тем больше безработных, что опять-таки приводит к тому, что они продают свои дома и т. д. (Отмечу, что выработка потенциала действия ней-роном в мозгу, то есть электрического разряда, передающего сигнал другим нейронам, тоже происходит по этой схеме после прохождения критического порога.)
При анализе подобных процессов особенно важно то, что положи-тельная обратная связь создает схожие проблемы не только в развитии общеэкономических процессов, но и в более частных явлениях, в частности, в кредитном цикле Х.Мински. Эта модель названа по имени экономиста, сыг-равшего большую роль в формировании посткейнсианской экономической теории. По его мнению, кредитная система в процессе ее развития является мощным дестабилизирующим фактором экономики. Она развивается как финансовая пирамида, то есть учреждение, которое может выплачивать ста-рые кредиты, только постоянно привлекая новых кредиторов. Чтобы такое учреждение могло функционировать сколько-нибудь долгое время, его долг тоже должен экспоненциально расти. Этот тип заемщиков ("заемщики Пон-ци", названные по имени создателя крупнейшей финансовой пирамиды 1920-х гг.) начинают закономерно доминировать в процессе стабильного развития экономики, но в конце концов оказываются неплатежеспособными и тогда возникает "момент Мински" – крах экономической системы.
В последнее время финансовые аналитики как в США, так и в России связывают современное кризисное состояние  мировой финансовой системы именно с процессами, связанными с моментом Мински. В результате появляется необходимость в переоценке всей капиталистической системы и деятельности свободного рынка. "Цена капитализма, – указывает американ-ский экономист Р.Барбера, – складывается из стоимости формирования фи-нансового пузыря и стоимости спасения сектора правительством после того, как этот пузырь лопнул" (цит. по [Момент... 2009]). Рост кредитного пузыря также является самоусиливающимся процессом, поскольку чем больше дол-гов набрано, тем больше денег нужно для их обслуживания.
Если предположить, что развитие событий в начале XXI в. анало-гично процессам ХХ в. (то есть считать первый кризисный 2008 г. за новый 1929 г.), то можно предсказать, что до новой "атомной бомбы" осталось 16 лет (то есть она будет создана в 2024 г.), до идеи новой кобальтовой бомбы – 21 год (в 2029 г.), а до нового Карибского кризиса, реально ставящего мир на грань уничтожения – почти 33 года (2041 г.). Такие цифры не следует счи-тать сколько-нибудь достоверным пророчеством, но ничего лучше этих оце-нок у нас пока нет. Не трудно заметить, что получившие цифры близки к датам ожидаемой Технологической Сингулярности.
Можно предположить, что в случае гипотетического "кризиса кризи-сов", то есть глобального кризиса, который объединит в себе все отдельные (экономические, политические, военные, экологические) кризисные явления, цепная реакция будет состоять из серии разнородных других цепных реак-ций, как, например, мы видим это в экономике, где бегство клиентов из од-ного какого-то банка является только эпизодом в разворачивающемся гло-бальном кризисе всех областей хозяйствования.

Препятствия для возникновения глобальных кризисов

Интересно понять, какие силы препятствуют возникновению цеп-ных реакций – ведь в большинстве случаев в реальности глобальные катаст-рофы не происходят или ограничены по масштабам. На примере ядерной реакции можно понять, что для начала цепной реакции нужно наличие "кри-тической массы" и отсутствие "предохранительных стержней". Развитию экспоненциальных процессов мешает также ограниченность ресурса для их роста и/или наличие других самоусиливающихся процессов, "тянущих" в противоположную сторону, в результате чего возникает динамическое рав-новесие. Для того, чтобы цепная реакция развивалась беспрепятственно, она должна доминировать, быть процессом качественно более высокого уровня энергии, на который не могут влиять силы нижнего уровня. Быстрые скачки в развитии технологий как раз создают возможность для таких неудержимых процессов.
В России процессы с положительной обратной связью исследуются в первую очередь в синергетике и здесь следует обратить внимание на доклад E. Куркиной “Конец режимов с обострением. Коллапс цивилизации” [Куркина, 2007]. Автор сосредотачивается на моделях гиперболического роста населения и ускорению исторического времени, предложенных С.Капицей и С.Курдюмовым. Куркина пишет, что "режим с обострением раньше или позже заканчивается, не дойдя до момента обострения, потому что с неизбежностью включаются факторы, ограничивающие рост функции до бесконечности. Развитие нашей цивилизации в режиме с обострением почти полностью исчерпало себя, подойдя по многим параметрам к своему пределу, теперь начинается другая эпоха". Синергетика показывает, что вблизи режимов с обострением увеличивается роль малых возмущений, и что все сложные структуры вблизи режимов с обострением распадаются. Различные математические модели режимов с обострением в глобальном плане рассмотрены в ее новой книге [Новое… 2007].
Однако современное исследование глобальных рисков, проводимых в рамках синергетики, в первую очередь сосредоточенно на росте населения и исчерпании ресурсов, тогда как режимы с обострением, связанные с новы-ми технологиями, в значительной степени игнорируются. Это объясняется, вероятно, тем, что риски, создаваемые новыми технологиями, гораздо труд-нее оценить количественно или хотя бы доказать их реальность.
При этом не может не обратить на себя внимания тот факт, что мно-жество разных процессов с обострением должны произойти примерно в одно и то же время – в районе 2030 г.: это и создание способного к саморазвитию ИИ, и исчерпание ресурсов, и график технологических революций по Панову [Панов 2007]. Подобное уплотнение событий я бы назвал "кризисом кризи-сов" – то есть кризисом, отдельными элементами которого являются не ка-кие-либо свойства системы, а другие кризисы. (Об этом я пишу в книге "Структура глобальной катастрофы", которая готовится к печати.) Панов называет это событие кризисом планетарного цикла истории, который состоит в том, что сама модель следующих друг за другом со все большей частотой кризисов завершится. Очевидно, что должна быть некая общая причина, которая приводит ряд внешне несвязанных факторов к кризису в примерно одно и тоже время. Такой причиной, вероятно, является рост сложности, или, иначе говоря, самоусиливающийся рост суммарного интеллекта цивилизации, благодаря которому она почти одновременно доходит как  до пределов доступных ей ресурсов и количества носителей, так и оказывается способной к созданию качественно новых явлений (ИИ и нанотех).
К.Е.Еськов в своей книге «История Земли и жизни на ней», а также в своём радиоинтервью также говорит о том, что революционные изменения в биосфере происходят за счёт цепной реакции изменений, вызываемой малой группой незаметных до того существ, которые обладают новым качеством: «Опыты по экспериментальному видообразованию показывают, что все мо-жет происходить очень быстро.
Проблема в том, что эволюция происходит слишком медленно. В нормальных условиях экосистема не дает развиваться эволюционным изме-нениям. Они происходят только в ситуации развала экосистемы, когда слаб-нут внутрисистемные связи. Вся эта ситуация четко описана в теории сис-тем.
Представьте, когда у вас каждый из блоков системы начинает опти-мизировать свою деятельность, не обращая внимания на другие блоки, – это же цепная реакция развала. Система разваливается на блоки, потом разваливаются и сами блоки. А потом те, которые остались, начинают собираться по новой. Эта общая схема иллюстрируется на примере тех палеонтологических кризисов, которые изучены хорошо, прежде всего, на примере мелового кризиса. Происходила смена мезозойской биоты на современную, по которой публике известно вымирание динозавров. На самом деле это была только макушка айсберга, а том происходили куда более серьезные и интересные вещи. Я возвращаюсь к тому, что когда система перестает репрессировать происходящие изменения, на этом месте начинается цепная реакция…  Развал системы обычно начинается с того, что некоторые изменения запускают цепную реакцию. Сейчас все согласны, что запуском механизма меловой революции было появление цветковых растений».
http://www.polit.ru/analytics/2009/07/10/evolution.html

* * *
Риски глобальных катастроф требуют международных усилий по их предотвращению. Особенность рисков с мощной положительной обратной связью состоит в том, что они могут формироваться крайне быстро и требу-ют решительных усилий по их предотвращению еще в зародыше, так как потом будет уже поздно. То есть речь идет о создании глобальной системы, работающей в режиме отрицательной обратной связи. Чтобы предотвра-щать риски в зародыше, а еще лучше до их возникновения, требуется сочета-ние двух мощных социальных инструментов: средств прогнозирования и международной системы принятия обязательных для всех решений. Основ-ная проблема в прогнозировании состоит не в самом создании прогноза, а во взаимодействии между создателями прогноза и лицами, принимающими ре-шения. А именно, последние должны выделять среди массы прогнозов, все-гда присутствующей как фон, именно те, которым следует уделить наиболь-шее внимание. Задним числом всегда найдется тот, кто скажет, что преду-преждал о нависшей угрозе.
Чтобы не быть голословным, можно рассмотреть ситуацию с рас-пространением свиного гриппа H1N1, который представляет собой типич-ный неограниченный экспоненциально растущий глобальный процесс. Он не является глобальным риском только потому, что смертность от него относи-тельно невелика (однако летальность может резко возрасти к концу 2009г., как бывало и при прошлых пандемиях гриппа). Однако уже многие годы су-ществует некоммерческая организация (Flutrackers.com Inc.), которая зани-мается сбором информации о рисках птичьего гриппа H5N1 и члены которой считают, что весьма велик риск глобальной пандемии с летальностью птичь-его гриппа (которая равна 60%). Эта организация  ведет учет сообщений о птичьем гриппе и других новых формах гриппа из разных стран. Это не единственная организация такого рода.
Кроме того, существует ВОЗ, которую можно условно считать гло-бальным органом, ответственным за принятие решений и ключевым элемен-том механизма отрицательной обратной связи в области распространения инфекций. После возникновения свиного гриппа в апреле 2009 г. в Мексике сразу было понятно, что число заболевших растет экспоненциально, что позволяло сделать прогнозы о большом числе заболевших в ближайшие месяцы. Однако ВОЗ решило не объявлять пандемии до того, пока реальное число заболевших не достигнет значительной величины и болезнь не распространится по всей планете. Это поведение ВОЗ было связано не только с неуверенностью в том, что пандемия будет – все эксперты утверждали, что это произойдет – а с тем, каковы могут быть политические последствия объявления пандемии. ВОЗ стремилась не создавать ненужной паники в условиях, когда все силы пропаганды по обе стороны океана были брошены на обнаружение экономических "зеленых ростков", означающих выход из финансового кризиса.
Иначе говоря, в начале экспоненциально растущего процесса очень велика неопределенность в том, действительно ли это самоусиливающийся процесс и главное, нет ли в нем мощных самоограничителей (и в большинст-ве случаев такие самоограничители находятся). Все это затрудняет действие механизмов отрицательной обратной связи. К тому моменту, когда масштаб процесса становится понятен, ограничить его становится гораздо сложнее.
Таким образом, мы могли убедиться, что самоусиливающиеся про-цессы с положительной обратной связью являются основным механизмом будущих глобальных рисков. В ходе таких процессов информационно-энтропийный [Седов, 1993] баланс цивилизации резко нарушается: происхо-дит полное разрушение накопленной информации за счет перехода на каче-ственно новый уровень с низкой энтропией, однако при этом лишенный ка-кого-либо осмысленного содержания (как произошло бы при коллапсе веще-ства Земли в микроскопическую черную дыру, которая характеризуется только одним простым качеством – массой). Это значит, что мы должны уде-лять наибольшее внимание тем аспектам исторического и научно-технического прогресса, где могут возникнуть такие неограниченно расту-щие цепные реакции и выстраивать такие глобально институционализиро-ванные формы отрицательной обратной связи, которые могут компенсиро-вать издержки саморазвития и гарантировать безопасность и устойчивость прогресса.


 
ЧАСТЬ 2. ОЦЕНКА
ВЕРОЯТНОСТИ
ГЛОБАЛЬНОЙ
КАТАСТРОФЫ
 
Ник Бостром , Макс Тегмарк . Насколько невероятна катастрофа судного дня?

arXiv:astro-ph/0512204v2
http://arxiv.org/pdf/astro-ph/0512204

How Unlikely is a Doomsday Catastrophe?  Nature, Vol. 438,
No. 7069, p. 754

Эта статья является расширенной версией краткого
сообщения, опубликованного в Nature, 438, 754 [1].


В последнее время были проанализированы многочисленные сценарии уничтожения Земли, включая распад метастабильного вакуума и разруше-ние планеты, вызываемое «странной частицей» (strangelet) или микроскопи-ческой чёрной дырой. Мы хотим показать, что множество предыдущих оценок их частоты дают нам фальшивое чувство безопасности: нельзя вы-водить заключение, что такие события редки, из того факта, что Земля прожила настолько долго, поскольку наблюдатели находятся, по определе-нию, в тех местах, которые были достаточно везучими, чтобы избежать разрушения. Мы выводим новую верхнюю границу в 1 на 10**9 лет (99,9% c.l. – с достоверностью) на частоту внешней (exogenous) окончательной (terminal) катастрофы. Эта граница свободна от систематической ошибки, связанной с селекцией наблюдателей. Для доказательства этого мы ис-пользуем данные о распределения возрастов планет и о факте относительно позднего формирования Земли.


ВВЕДЕНИЕ


Учёные недавно высветили ряд катастрофических сценариев, кото-рые могут уничтожить не только нашу цивилизацию, но даже нашу планету или всю наблюдаемую вселенную, – как если бы нам,  людям, больше не о чем было бы беспокоиться. Например, опасения, что столкновения тяжёлых ионов на ускорителе релятивистских тяжёлых ионов в Брукхавене (RHIC) могут запустить такой катастрофический процесс, привели к созданию де-тального технического отчёта на эту тему [2], в котором рассматривалось три категории рисков:
1. Расширение (Initiation) перехода в более низкое вакуумное состоя-ние, которое будет распространяться от своего источника наружу со скоро-стью света, уничтожая известную нам вселенную [2, 3, 4].
2. Формирование чёрной дыры или гравитационной сингулярности, которая затягивает обычную материю, и возможно, уничтожает Землю. [2, 4].
3. Формирование стабильной странной материи, которая засасывает обычную материю и превращает её в странную материю, вероятно, уничто-жая Землю [2, 5].
Другие сценарии катастроф ранжируются от бесспорных до весьма умозрительных:
4. Удары массивных астероидов, близкий взрыв сверхновой и/или гамма всплеск, теоретически могут стерилизовать Землю.
5. Аннигиляция враждебной расой роботов, колонизирующей про-странство.
В отчёте, выполненном в Брукхавене [2], делается вывод, что  если пункты 1-3 возможны, они с колоссальной вероятностью будут запущены не RHIC, а естественно происходящими высокоэнергетичеными астрофизиче-скими событиями, такими, как столкновения космических лучей.
Все риски 1-5, вероятно, должны считаться внешними, то есть несвя-занными с человеческой активностью и нашим уровнем технического разви-тия. Цель это статьи – оценить вероятность (likelihood) за единицу времени внешних катастрофических сценариев вроде 1-5.
Можно подумать, что раз жизнь здесь, на Земле, выжила в течение примерно 4 Гигалет, такие катастрофические события должны быть исклю-чительно редкими. К сожалению, этот аргумент несовершенен, и создавае-мое им чувство безопасности – фальшиво. Он не принимает во внимание эффект избирательности наблюдения (observation selection effect) [6, 7], кото-рый не позволяет любому наблюдателю наблюдать что-нибудь ещё, кроме того, что его вид дожил до момента, когда они сделали наблюдение. Даже если бы частота космических катастроф была бы очень велика, мы по-прежнему должны ожидать обнаружить себя на планете, которая ещё не уничтожена. Тот факт, что мы всё ещё живы, не может даже исключить ги-потезу, что в среднем космическое пространство вокруг стерилизуется рас-падом вакуума, скажем, каждые 10 000 лет, и что наша собственная планета просто была чрезвычайно удачливой до сих пор. Если бы эта гипотеза была верна, перспективы будущего были бы унылы. 
Мы предлагаем способ вывести верхнюю границу частоты космиче-ских катастроф, которая неподвержена такой селекции наблюдателей. Мы доказываем, что распределение возрастов планет и звёзд ограничивает частоту многих сценариев глобальной катастрофы, и что сценарии, которые выходят за пределы этой границы (особенно распад вакуума) в свою очередь ограничены относительно поздним временем формирования Земли. Идея состоит в том, что если бы катастрофы были очень часты, почти все разумные цивилизации возникли бы гораздо раньше, чем наша.
Используя информацию о темпах формирования планет, можно вы-числить распределение дат рождений разумных видов при различных пред-положениях о частоте космических цивилизаций. Объединение этого с ин-формацией о нашем собственном временном местоположении позволяет нам заключить, что частота космической стерилизации для обитаемой планеты не больше, чем порядка одного раза на Гигагод.
















Рис.1: Слева: когда формируетя типичная планета? Справа: На-сколько вероятно, что Земля сформируется так поздно.

На левом графике показано распределение вероятностей наблюдае-мого времени формирования планет, в предположении разных характерных промежутков времени между катастрофами: от бесконечности (заштрихова-но) до 10, 9, 8, 7, 6, 5, 4, 3, 2 и 1 млрд. лет соответственно (справа налево). Правая часть графика показывает вероятность наблюдения некого времени формирования (больше или равно 9,1 млрд. лет для Земли) , то есть области справа от пунктирной линии на левой панели.


II. ВЕРХНЯЯ ГРАНИЦА ЧАСТОТЫ КАТАСТРОФ

 
Предположим, что планета случайным образом стерилизуется или уничтожается с некоторой частотой 1/T, которую мы сейчас определим. Это означает, что вероятность выживания планеты в течение времени t падает экспоненциально, как  exp(- t/T).
Наиболее прямой путь избежать ошибки от эффекта избирательно-сти наблюдения – это использовать только информацию об объектах, чьё уничтожение не повлияло бы на жизнь на Земле. Мы знаем, что ни одна пла-нета в Солнечной системе от Меркурия до Нептуна не превратилась в чёр-ную дыру или сгусток странной материи, в течение последних 4,6 гигалет, поскольку их массы были бы по-прежнему заметны по их гравитационному влиянию на орбиты других планет. Это означает, что временная шкала раз-рушения должна быть соответственно большой, – кроме как в случаях, когда их уничтожение однозначно связанно с нашим, как по общей причине, так и по причине их взрыва, приводящего к разлёту частиц судного дня, вроде чёрных дыр или странных частиц, которые в свою очередь уничтожат Землю.
Эта лазейка в эффекте избирательности наблюдения сужается, если мы примем во внимание экзопланеты, которые мы наблюдали через их час-тичные затмения их родных звёзд [8] и потому знаем, что они не взорвались.
Частицы конца света, которые обсуждались в литературе, скорее, будут гравитационно захватываться звёздами, а не планетами, и по этой причине наблюдаемое изобилие очень старых звёзд (t больше или приблизи-тельно равно 10 гигалет) (например, [9]) ещё больше уточнит нижнюю гра-ницу Т.
Единственный сценарий, который может воспользоваться оставшей-ся лазейкой систематической ошибки эффекта наблюдения (observer bias loophole) и избежать всех этих ограничений, – это распад вакуума, как спон-танный, так и запущенный неким высокоэнергетичным событием. Поскольку пузырь разрушения распространяется со скоростью света, мы не можем на-блюдать разрушения других объектов: мы можем увидеть их разрушение только в тот момент, когда разрушаемся сами. В противовес этому, если сце-нарии 2 или 3 включают в себя излучение «частиц судного дня» и распро-страняется, как цепная реакция, медленнее скорости света, мы можем на-блюдать сферические чёрные области, создаваемые расширяющимися фрон-тами разрушения, которые ещё не достигли нас.
Сейчас мы покажем, что временной масштаб вакуумного распада может быть ограничен другим аргументом. Темп формирования f(t) обитае-мых планет как функция времени с момента Большого Взрыва показан на рис.1 (левая сторона, затенённое распределение). Эта оценка взята из [10], и основана на симуляциях, включающих создание тяжёлых элементов, взрывы сверхновых и гамма всплески. Если области пространства стерилизуются или разрушаются случайным образом с частотой 1/T, то вероятность того, что случайным образом взятая пространственная область останется непо-врежденной, составляет exp(- t/T). Это означает, что распределение условной вероятности (conditional probability) f*(t) для времени формирования планет t с точки зрения наблюдателя – это просто затененное распределение f(t) умноженное на exp(- t/T) и отмасштабированное таким образом, чтобы давать в интеграле единицу. Оно отображено дополнительными кривыми на рис.1 слева . По мере того, как мы уменьшаем временной параметр (timescale) катастроф T, пик результатирующего распределения (левый график) сдвигается влево и вероятность того, что Земля сформировалась так поздно, как мы это наблюдаем (9,1 гигалет после Большого взрыва) или позже, падает (правая часть рисунка).
Пунктирные линии показывают, что мы можем исключить гипотезы, что T < 2,5 гигалет с 95% уверенностью, и соответствующие 99% и 99,9% интервалы уверенности составляют T> 1,6 и T> 1,1 Гигалет соответственно.
Риски 4-ой категории уникальны тем, что у нас есть хорошие прямые измерения частоты столкновений, взрывов суперновых и гамма всплесков, которые не зависят от эффектов избирательности наблюдения. До сих пор наш анализ использовал статистику обитаемых планет из [10], которая включала в себя (folded in) эти измерения из категории 4.
Наши границы неприменимы в целом к катастрофам антропогенного происхождения, которые стали возможны только после того, как были разви-ты определённые технологии, например, ядерное уничтожение или истреб-ление с помощью сконструированных микроорганизмов или нанотехноло-гии. Они так же не относятся к природным катастрофам, которые не смогут необратимо разрушить или стерилизовать планету. Другими словами, у нас до сих пор есть множество поводов для беспокойства [11, 12, 13, 14]. Вместо этого наши границы относятся к внешним катастрофам (спонтанным или вызванным космическими лучами), частота которых не связанна с человече-ской активностью, при условии, что они вызывают необратимую стерилиза-цию.
Наши численные вычисления базируются на ряде предположений. Например, мы полагаем частоту экзогенных катастроф 1/T в качестве кон-станты, хотя нетрудно предположить, что она изменяется в пределах 10% в порядке соответствующей временной шкалы, поскольку сама наша граница T имеет порядок 10% от возраста Вселенной  .
Во-вторых, частота формирования обитаемых планет опирается на несколько предположений, детально обсуждаемых в [10], которые могут легко изменить результат в пределах  20%. В-третьих, риск событий, вызванных космическими лучами, будет слегка меняться от места к месту, если так же будут меняться сами космические лучи. В-четвёртых, из-за космологических флюктуаций массы, разброс масс будет отличаться на 10% от одного региона размером порядка 10**9 световых лет к другому, так что риск того, что космические лучи вызовут распад вакуума, может варьироваться в том же порядке.
В целом, хотя более детальные вычисления могут изменить количе-ственные границы на множитель порядка единицы, наш основной результат, состоящий в том, что вероятность внешнего уничтожения невелика на чело-веческой и даже геологической шкале, выглядит весьма надёжным.


III. ЗАКЛЮЧЕНИЕ


Мы показали, что жизнь на Земле очень вряд ли будет уничтожена внешней катастрофой в ближайшие 1 млрд. лет. Это численное ограничение получается из сценария, на который мы имеем наиболее слабые ограничения: распад вакуума, ограниченный только относительно поздним формированием Земли. Этот вывод переносится так же и на ограничения на гипотетические антропогенные катастрофы, вызванные высокоэнергетичными физическими экспериментами (риски 1-3). Это следует из того, что  частотность внешних катастроф, например, происходящих из столкновений космических лучей, устанавливает верхнюю границу на частоту своих антропогенных аналогов. В силу этого наш результат закрывает логическую брешь ошибки селективности наблюдения и даёт заверения, что риск глобальной катастрофы, вызванной опытами на ускорителях, чрезвычайно мал, до тех пор, пока события, эквивалентные тем, что происходят в экспериментах, случаются чаще в естественных условиях. А именно, Брукхавенский отчёт [2] предполагает, что глобальные катастрофы могут происходить гораздо более чем в 1000 раз чаще в естественных условиях, чем на ускорителях. Предполагая, что это так, наше ограничение в 1 млрд. лет переходит в консервативную верхнюю границу 10**(-12) годового риска от ускорителей, что обнадёживающе мало.


4. БЛАГОДАРНОСТИ:


Авторы благодарны Adrian Kent, Jordi Miralda-Escude и Frank Zimmermann за обнаружение брешей в первой версии этой статьи, авторам [10] за пользование их данными и Milan Circovic, Hunter Monroe, John Leslie, Rainer Plaga и Martin Rees за полезные комментарии и дискуссии. Спасибо Paul Davies, Charles Harper, Andrei Linde и Фонду John Templeton Foundation за организацию семинара, на котором это исследование было начато. Эта работа была поддержана NASA grant NAG5-11099, NSF CAREER grant AST-0134999, и стипендиями от David и Lucile Packard Foundation и Research Cor-poration.



Литература:

[1] M. Tegmark and N. Bostrom, Nature, 438, 754 (2005)
[2] R. L. Jaffe, W. Busza, Sandweiss J, and F. Wilczek,
Rev.Mod.Phys., 72, 1125 (2000)
[3] P. Frampton, Phys. Rev. Lett., 37, 1378 (1976)
[4] P. Hut and M. J. Rees 1983, “How Stable Is Our Vac-
uum?”, Nature, 302, 508 P. Hut 1984, Nucl.Phys. A,
418, 301C
[5] A. Dar, A. De Rujula, and U. Heinz, Phys.Lett. B, 470,
142 (1999)
[6] B. Carter 1974, in IAU Symposium 63, ed. M. S. Longair
(Reidel: Dordrecht)
[7] N. Bostrom, Anthropic Bias: Observation Selection Ef-
fects in Science and Philosophy (Routledge: New York,
2002)
[8] F. Pont, astro-ph/0510846, 2005
[9] B. M. S Hansen et al., ApJ, 574, L155 (2002)
[10] C. H. Lineweaver, Y. Fenner, and B. K. Gibson, Science,
203, 59 (2004)
[11] J. Leslie, The End of the World: The Science and Ethics
of Human Extinction (Routledge: London, 1996)
[12] N. Bostrom, Journal of Evolution and Technology, 9, 1
(2002)
[13] M. J. Rees, Our Final Hour: How Terror, Error, and
Environmental Disaster Threaten Humankind’s Future in
This Century — On Earth and Beyond (Perseus: New
York, 2003)
[14] R. Posner, Catastrophe: Risk and Response (Oxford
Univ. Press: Oxford, 2004)
;
Ник Бостром. Doomsday Argu-ment для начинающих

http://www.anthropic-principle.com/primer1.html

...A Primer on the Doomsday argument....

Философия редко даёт эмпирические предсказания. Рассуждение о Конце Света (Doomsday argument) является важным исключением. Исходя из кажущихся очевидными предположений, оно стремится показать, что риск вымирания человечества в ближайшем будущем систематически недооцени-вается. Первая реакция почти каждого человека: что-то должно быть не так с таким рассуждением. Но, несмотря на тщательное исследование всё боль-шим числом философов, ни одной простой ошибки в этом рассуждении не было обнаружено.
Это началось около пятнадцати лет назад, когда астрофизик Брэндон Картер (Brandon Carter) обнаружил прежде незамеченное следствие из одной из версий антропного принципа. Картер не опубликовал своё открытие, но идея была подхвачена философом Джоном Лесли (John Leslie), который был плодовитым авторам на эту тему и написал монографию «Конец мира» (The End of the World (Routledge, 1996).) Разные версии Рассуждения о конце света были независимо обнаружены другими авторами. В последние годы было опубликовано определённое количество статей, пытавшихся опровергнуть этот аргумент, и примерно равное количество статей, опровергающих эти опровержения.
Вот само Рассуждение о конце света. Я объясню его в три этапа.


Шаг 1

Представим себе Вселенную, которая состоит из 100 изолированных боксов. В каждом боксе один человек. 90 из боксов раскрашены синим сна-ружи, и оставшиеся 10 – красным. Каждого человека в боксах попросили высказать догадку, находится ли он в синем или красном боксе. (И каждый из них знает все условия задачи.)
Далее, предположим, вы находитесь в одном из боксов. Какого цвета он, по-вашему, должен быть? Поскольку 90% из всех людей находятся синих боксах, и поскольку вы не имеете никакой другой значимой информации, кажется, что вы должны думать, что с вероятностью в 90% вы находитесь в синем боксе. Договоримся называть идею о том, что вы должны размышлять, как если бы вы были случайным экземпляром (random sample) из набора всех наблюдателей – предположением о собственном расположении (self-sampling assumption).
Предположим, что все принимают предположение о собственном расположении и все должны сделать ставку на то, находятся ли они в синих или красных боксах. Тогда 90% из всех людей выиграют и 10% проиграют. Представим, с другой стороны, что предположение о собственном располо-жении отвергнуто, и люди полагают, что шансы находится в синей комнате ничем не больше, тогда они сделают ставку, бросив монету. Тогда, в сред-нем, 50% людей выиграют, и 50% проиграют. – Так что рациональной моде-лью поведения было бы принять предположение о собственном нахождении, во всяком случае, в данном случае.


Шаг 2

Теперь мы немного модифицируем этот мысленный эксперимент. У нас по-прежнему есть 100 боксов, но в этот раз они не выкрашены в синий или красный. Вместо этого они пронумерованы от 1 до 100. Номера написа-ны снаружи. Затем бросается монетка (может быть, Богом). Если выпадает орёл, один человек создаётся в каждом боксе. Если выпадает решка, люди создаются только в боксах с номерами с 1 по 10.
Вы обнаруживаете себя в одном из боксов, и вам предлагается дога-даться, находится ли в остальных боксах 10 или 100 человек. Поскольку это число определяется бросанием монетки, и поскольку вы не видели, как мо-нетка выпала, и вы не имеете никакой другой значимой информации, то ка-жется, что вам следует предполагать, что с 50% вероятностью выпал орёл (и в силу этого имеется 100 человек).
Более того, вы можете использовать предположение о собственном расположении, чтобы определить условную вероятность (conditional probability) того, что на вашем боксе написан номер от 1 до 10, в зависимости от того, как выпала монетка. Например, при условии орлов вероятность того, что номер вашего бокса лежит между 1 и 10 составляет 1/10, поскольку в них будет находиться одна десятая людей. При условии решек вероятность того, что ваш номер лежит от 1 до 10 равна 1; в этом случае вам известно, что все находятся в этих боксах.
Предположим, что вы открываете дверь, и обнаруживаете, что вы находитесь в боксе 7. Затем вас снова спрашивают, какой стороной выпала монета? Но теперь вероятность того, что выпала решка, больше 50%. По-скольку то, что вы наблюдаете, даёт большую вероятность этой гипотезе, чем гипотезе, что выпал орел. Точная новая вероятность выпадения решки может быть вычислена на основании теоремы Байса. Это примерно 91%. Таким образом, после обнаружения того, что вы находитесь в боксе номер 7, вам следует думать, что с вероятностью в 91% в остальных боксах находится только 10 людей.

;
Шаг 3

Последний шаг состоит в переносе этих результатов на нашу теку-щую ситуацию здесь, на Земле. Давайте сформулируем две конкурирующие гипотезы. Ранняя Гибель: человечество вымирает в следующем столетии и суммарное число людей, которое существовало за всё время, составляет, скажем, 200 миллиардов. Поздняя Гибель: человечество переживает сле-дующий век и отправляется колонизировать галактику; суммарное число людей составляет, скажем, 200 триллионов. Для упрощения изложения мы рассмотрим только эти две гипотезы. (Использование дробного деления про-странства гипотез не изменяет принцип, хотя даёт более точные численные значения.)
Ранняя гибель соответствует здесь тому, что есть только 10 человек в мысленном эксперименте Шага 2. Поздняя Гибель соответствует здесь то-му, что было 100 человек. Номерам боксов мы сопоставим «ранги рождения» (birth ranks) человеческих существ – их позицию в человеческой расе. Изна-чальной вероятности (50%) того, что монета упадёт орлом или решкой, мы сопоставим некоторую изначальную вероятность Ранней Гибели и Поздней Гибели. Эта оценка будет выполнена на основе наших обычных эмпириче-ских оценок потенциальных угроз человеческому выживанию, таких как ядерная или биологическая война, взрывающий завод метеорит, неограни-ченно растущий парниковый эффект, вышедшие из-под контроля самораз-множающиеся наномашины, распад метастабильного вакуума в результате высокоэнергетичных экспериментов с элементарными частицами и так далее (вероятно, есть много опасностей, о которых мы даже не думали). Скажем, что на основе таких размышлений, вы полагаете, что вероятность Ранней Гибели составляет 5%. Точное число не важно для структуры рассуждения.
Наконец, тому факту, что вы обнаруживаете себя в боксе 7, соответ-ствует тот факт, что вы обнаруживаете, что ваш ранг рождения составляет примерно 60 миллиардов (что примерно соответствует числу людей, которое жило до вас). И подобно тому, как обнаружение себя в боксе 7 увеличивает вероятность того, что монетка выпала решкой, обнаружение себя человеком номер 60 миллиардов даёт вам основания полагать, что Ранняя Гибель более вероятна, чем вы думали раньше. В данном случае апостериорная вероятность Ранней Гибели очень близка к 1. Вы почти наверняка можете исключить Позднюю Гибель.


***

Таково Рассуждение о Конце Света в двух словах. Услышав его, многие люди думают, что они знают, что неправильно в нём. Но эти возра-жения имеют тенденцию быть взаимно несовместимыми, и часто они дер-жатся на неких простых непониманиях. Обязательно прочтите имеющуюся литературу до того, как чувствовать себя достаточно уверенным в том, что у вас есть опровержение.
Если Рассуждение о Конце Света верно, что именно оно показывает? Оно не говорит, что нет смысла пытаться уменьшить угрозы человеческому выживанию, потому что «мы обречены в любом случае». Наоборот, Рассуждение о Конце Света может сделать такие усилия выглядящими даже более срочными. Работы по уменьшению риска того, что нанотехнологии будут употреблены во вред, чтобы уничтожить разумную жизнь, например, уменьшат начальную вероятность Ранней Гибели, и это уменьшит также её апостериорную вероятность после принятия в расчет Рассуждения о Конце Света; так что ожидаемая продолжительность жизни человечества вырастет.
Есть также определённое количество «брешей» или альтернативных интерпретаций того, что именно говорит Рассуждение о Конце Света. На-пример, оказывается, что если существует множество внеземных цивилиза-ций, и вы интерпретируете предположение о собственном местоположении как применимое в равное мере ко всем разумным существам, а не только к людям, то тогда происходит другой сдвиг вероятности, который точно урав-новешивает и отменяет сдвиг вероятности, следующий из Рассуждения о Конце Света. Другая возможная брешь – это если в будущем будет беско-нечно много людей; неясно, как применять предположения о собственном расположение в бесконечном случае. Далее, если люди разовьются в значи-тельно более продвинутый вид довольно скоро (за век или два), может быть, посредством использования продвинутых технологий, тогда не ясно, будут ли эти пост-люди в том же референетном классе, что и мы, так что тогда не понятно, как в этом случае должно применяться Рассуждение о Конце Света.
Другой возможностью является то, что если размер популяции зна-чительно уменьшится – то тогда потребуется гораздо больше времени, до того как достаточное людей родится, чтобы ваш ранг рождения начал казаться удивительно малым. И, наконец, может быть так, что референтные классы должны быть сделаны относительными, так что не все наблюдатели, даже не все люди, будут принадлежать к одному и тому же референетному классу.
Оправдание введения относительности референтных классов могло бы придти из общей теории эффектов избирательности наблюдения, в кото-рой предположение о собственном расположении будет только одним из элементов. Теория эффектов селективности наблюдения – теория о том, как корректировать систематические ошибки (bias), которые вводятся тем фак-том, что наши свидетельства отфильтрованы предусловием, что подходящим образом расположенный наблюдатель существует, «чтобы» получить эти свидетельства – будет иметь приложения во множестве областей науки, включая космологию и эволюционную биологию.
Так что хотя Рассуждение о Конце Света содержит интересную идею, оно должно быть соединено с дополнительными предположениями и принципами (некоторые из которых ещё предстоит выработать) до того, как она может быть применено к реальному миру. По всей вероятности, даже когда будут заполнены все детали, будет набор возможных вариантов отно-сительно нашего будущего. Тем не менее, лучшее понимание эффектов из-бирательности наблюдения исключит определённые типы гипотез и устано-вит неожиданные ограничения на любые самосогласованные теоретические построения о будущем нашего вида и о распределении наблюдателей во Вселенной.






 
Ник Бостром. Doomsday Argument жив и брыкается

Текст перевода:
http://www.proza.ru/2007/05/20-267


(c) Nick Bostrom
Dept. of Philosophy, Logic and Scientific method
London School of Economics; Houghton St.; WC2A AE; London; UK
Email: n.bostrom@lse.ac.uk
Homepage: http://www.hedweb.com/nickb
[Более поздняя версия этой статьи выходит в Mind.
Сноски опущены в HTML версии.]

The Doomsday Argument is Alive and Kicking
http://www.anthropic-principle.com/preprints/ali/alive.html

Перевод: А.В. Турчин.

Корб и Оливер (Korb and Oliver) в недавней статье в этом журнале пытаются опровергнуть Doomsday Argument (DA – Рассуждение о конце света) Картера-Лесли. Я объединил их замечания в 5 возражений, и показал, что все они ложны. Необходимы дальнейшие усилия, чтобы выяснить, что не так – если оно есть – с беспокоящими рассуждениями Картера и Лесли. Будучи в конечном счёте безуспешными, возражения Корба и Оливера за-ставляют нас, в некоторых случаях, прояснить свои позиции по поводу того, что DA означает, и что оно не означает.

 

ВОЗРАЖЕНИЕ ПЕРВОЕ

Корб и Оливер предложили минимальные ограничения, которым любой индуктивный метод должен соответствовать:
Принцип нацеленности на правду (Targeting Truth (TT) Principle): Ни один индуктивный метод не должен – во всяком случае, в этом мире – ука-зывать на правду в меньшей мере, чем бросание монеты. (Korb & Oliver, p. 404)
«DA, – утверждают они, – нарушают этот разумный принцип. В поддержку своего заявления они просят нас рассмотреть популяцию в 1000 человек (то есть популяцию, которая вымирает после 1000 индивидуумов) и ретроспективно применить наше Рассуждение к этой популяции, когда она была размером в 1,2,3 и так далее. Предполагая, что Рассуждение подразумевает заключение о том, что суммарная популяция ограничена размером, в два раза превосходящим любую заданную выборку… получаем, что в 499 случаях заключения, сделанные на основе Рассуждения о Конце Света, оказываются ложными, и в 501 случае они верные, что означает низкий исход для индуктивной схемы заключений».   (p. 405)
 Но в предлагаемом контрпримере к Рассуждению о Конце света TT принцип не нарушается – 501 верных и 499 неверных догадок определённо лучше, чем можно было ожидать от случайной процедуры, вроде бросания монетки. Причина того, что результат только немного больше случайного – просто в том, что в приведённом примере участники ставят на самую стро-гую гипотезу, на которую они могли бы ставить при прочих равных (а имен-но, на ту, что суммарная популяция разделена надвое данным объёмом) – это означает, конечно, что их ожидаемый выигрыш минимален. Не удивительно, что в этом случае человек, который делает ставку по DA, лишь ненамного более успешен, чем тот, кто не делает этого. Если бы ставка была не на предположение, что суммарная популяция делится на двое данным объёмом, а, скажем, на три, – то преимущество ставящего по DA было бы значительно большим. И рассуждающий мог бы быть даже ещё более уверен в том, что суммарный объём не превышает данный в 30 раз.
Вывод: Возражение 1 ни говорит о том, что DA нарушает ТТ прин-цип, ни показывает, что DA даёт лишь незначительный улучшение шансов быть правым.


ВОЗРАЖЕНИЕ ВТОРОЕ

Как впервые было замечено французским математиком Jean-Paul Delahaye (в неопубликованном тексте) основная форма DA, кажется, может быть применена не только к выживанию человеческой расы, но так же и к продолжительности вашей собственной жизни. Второе возражение Корба и Оливера ухватывается за эту идею.
«Если вы пронумеруете минуты вашей жизни, начиная с первой, ко-гда вы знали о применимости DA к вашей продолжительности жизни и до последней такой минуты, то тогда, согласно DA, вы должны ожидать смерти до того, как вы закончите читать эту статью.» (fn. 2, p. 405)
Однако, это заявление некорректно. Форма DA, применимая к вашей собственной продолжительности жизни, не означает, что вы должны умереть до того, как вы завершили чтение этой статьи. DA говорит, что в некоторых случаях вы можете рассуждать так, как если бы вы были случайным примером, выдернутым из определённого референтого класса. Принимая во внимание информацию, предоставленную этим случайным примером, вы должны изменить свои представления в соответствии с теоремой Байеса. Это может сместить вашу оценку вероятности в пользу гипотезы, которая говорит, что ваша позиция в человеческой популяции будет довольно типичной  – скажем, в средних 98 процентах, а не в первом или последнем проценте среди всех людей, которые когда-либо родились. Но как подчёркивает Джон Лесли, та вероятностная оценка, с которой вы заканчиваете после сделанной коррекции, зависит от вашей априорной оценки, то есть вероятностной оценки, которую вы имели до того, как приняли во внимание DA. В вопросе выживания человеческой расы ваша априорная оценка может быть обоснована на ваших оценках того, что мы будем истреблены ядерной войной, бактериологическим оружием, катастрофой с будущими самореплицирующимися нанороботами, столкновением с метеоритом и т. д. В случае вашей собственной продолжительности жизни, вы могли бы учесть такие факторы, как средняя человеческая продолжительность жизни, ваше состояние здоровья, и любое физическое состояние вашего окружения, которое может привести к вашей кончине до того, как вы закончите читать эту статью. На основе таких рассуждений вероятность того, что вы умрёте в течение ближайшего получаса, должна восприниматься как крайне малая. Но если так, то даже значительный сдвиг вероятности за счёт умозаключений в духе DA не должен приводить вас к заключению, что вы умрёте до того, как закончите читать статью. Так что, вопреки тому, что Корб и Оливер утверждают, использующий DA не придёт к абсурдному умозаключению, что он, скорее всего, исчезнет в ближайшие полчаса, даже если этот человек будет полагать, что DA применимо к его личной продолжительности жизни.
Хотя этого достаточно, чтобы отбросить Возражение Два, более фундаментальный вопрос здесь в том, возможно ли вообще (и если да, то как) применять DA к индивидуальной продолжительности жизни. Я думаю, мы упустим слишком многое, если мы допустим даже небольшой сдвиг ве-роятности в этом случае. У меня есть две причины для утверждения этого (которые я только очерчу здесь):
Во-первых, применение Корбом и Оливером DA к индивидуальной продолжительности жизни предполагает специфическое решение того, что обычно называется проблемой референтных классов. Кратко говоря, это вопрос о том, представителем какого класса объектов вы себя считаете? Это класс всех осознающих существ? Или всех существ, которые имеют идею о своём порядковом номере рождения (birth rank)? Или всех существ, которые в действительности знают DA? По моему мнению, проблема референтных классов до сих пор не решена, и это – основная проблема, стоящая перед тем, кто говорит о DA. Возражение Корба и Оливера предполагает, что проблема референтных классов решена в пользу последней альтернативы: что референтный класс состоит исключительно из тех существ, которые в курсе о DA. Это, вероятно, не самое убедительное решение.
Вторая причина, по которой сторонник DA не должен доверять сдвигу вероятности в приведённом выше примере, состоит в том, что требо-вание отсутствия внешнего наблюдателя  (no-outsider requirement) не выпол-нено. Ситуация с требованием об отсутствии внешнего наблюдателя являет-ся весьма непростой, но её стоит объяснить, потому что это интересно само по себе.
Рассмотрим сперва изначальное применение DA (а именно, к выжи-ванию всего человеческого рода). Предположим, вы уверены, что существует внеземная разумная жизнь. Предположим, что вы знаете, что существует миллион «малых» цивилизаций, каждая из которых содержит 200 миллиардов существ, и миллион «больших» цивилизаций, каждая из которых имеет 200 триллионов существ. И предположим, вы знаете, что человеческий вид – это одна из этих цивилизаций, но вы не знаете, большая или малая.
Чтобы вычислить вероятность того, что гибель настанет скоро (то есть что человеческий род – малая цивилизация), нам следует выполнить три шага:
Шаг 1. Оценим эмпирическую априорную вероятность Pr(small), то есть вероятность того, что биологическое оружие покончит с нашим видом до того, как он станет большим. В этом случае вы не принимаете в расчет никакую форму DA и рассуждений, основанных на антропном принципе.
Шаг 2. Затем примем в расчет то, что большинство людей обнару-живают себя в больших цивилизациях. Путь Н – предположение о том, что «я  -человек» и определим новую вероятностную функцию Pr*( . ) = Pr( . | H), получаемую под условием H.
По теореме Байеса:
 
(Подобное же выражение получатся и для не-малых цивилизаций.) предполагая, что вы можете считать себя  случайным экземпляром из числа всех людей, мы получаем:
 И

 


(Если мы посчитаем P*(Small), мы обнаружим, что она очень мала для любой разумной изначальной вероятности. Другими словами, на этой стадии вычислений, дело выглядит так, как если бы человеческий вид был бы скорее всего долгоживущим.
Шаг 3. теперь мы примем в расчет DA. Пусть Е – предположение о том, что вы обнаруживаете себя раньше, то есть вы среди первых 200 милли-ардов в своей цивилизации. При условии этого события, мы получаем посте-риорную вероятностную функцию Pr**( . ) = Pr*( . | E). Тогда

 


Отметьте, что Pr*(E | Small) = 1 и Pr*(E | ¬Small) = 1/1000. Подставляя в выражения выше, легко убедиться, что:
 
Таким образом, мы видим, что мы вернулись к эмпирическим оцен-кам вероятности, с которых мы начали. DA ( в шаге 3) служит только для того, чтобы отменить эффект, который мы приняли во внимание в шаге 2, а именно, что вы с больше вероятностью оказываетесь представителями чело-веческой цивилизации, при условии, что человеческая цивилизация – одна из больших, а не одна из малых цивилизаций. Это показывает, что если мы предполагаем, что существуют «большие» и «малые» внеземные цивилиза-ции (точные числа в вышеприведённых примерах значения не имеют), то тогда правильны вероятности – это те, которые даны наивной предваритель-ной эмпирической оценкой. Только если нет «внешних» (цивилизаций), то DA работает так, как это задумывалось.
Возвращаясь к случаю, когда вы применяете DA к вашей собствен-ной продолжительности жизни, мы видим, что в этом случае требование об отсутствии внешних субъектов не выполняется. И действительно, если вы рассмотрите период своей жизни, в течение которого вы знали о DA, и вы разобьёте этот период на временные отрезки (осознаваемые моменты), то тогда вы можете заключить, что если вы проживёте долго, то тогда данный момент будет являться исключительно ранним временным фрагментом из этих временных фрагментов. Это может вас склонить к мысли, что вы, скорее всего, умрёте вскоре (если игнорировать трудности, указанный выше). Но даже если DA применим здесь, это неправильный вывод. В этом случае вы знаете, что есть много внешних субъектов. Здесь внешними субъектами будут временные отрезки других людей. Подобно тому, как знание о том, что есть большие и малые цивилизации, аннулирует исходный DA, так и в этом случае знание о том, что есть другие коротко-живущие и долго-живущие люди аннулирует вероятность неминуемой гибели. Тот факт, что нынешний момент сознания принадлежит вам, должен означать, что вы – тот индивид, которые скорее будет иметь много моментов осознания, чем мало, то есть вы будете долгоживущим человеком. И может быть показано (как выше), что это уравновесит тот факт, что нынешний момент осознания является экстра-ординарно ранним среди всех ваших моментов осознания, в которых в буде-те долгоживущими.
Вывод: Возражение Два ошибочно в том, что не принимает в расчет априорные вероятности. Они являются крайне малыми для гипотезы, что вы умрёте в ближайшие 30 минут. Таким образом, вопреки тому, что заявляют Корб и Оливер, даже если сторонник DA полагает, что DA применим в этом случае, он не должен предсказывать, что вы умрёте в ближайшие 30 минут. Однако, сторонник DA не должен полагать, что DA применим в этом случае, по двум причинам. Во-первых, потому что он предполагает доказуемо бес-спорное решение проблемы референтных классов.
Во-вторых, даже если мы примем, что только те существа, которые знают о DA, должны быть в референтном классе, и если дозволено применять DA к временным сегментам наблюдателей, вывод всё равно не будет верен; потому что требование отсутствия внешних субъектов не учтено.

ВОЗРАЖЕНИЕ ТРЕТЬЕ

Третье возражение начинается с заявления, что (в рамках Байсовой логики) выборка в один элемент слишком мала, чтобы произвести значи-тельные изменения в чьих-то рациональных убеждениях.
«основная идея… весьма проста: выборка размером в единицу ката-строфически мала. То есть, каково бы свидетельство из этой выборки не бы-ло, априорное распределение размеров популяции будет доминировать в окончательном результате вычислений. Единственный путь избежать этой проблемы – это ввести узкие искусственный ограничения в пространство гипотез». (p. 406)
Затем они отмечают, что в пространстве гипотез, содержащем толь-ко две гипотезы,  всё-таки может произойти существенный сдвиг:
«Если мы рассмотрим случай с двумя вариантами, описанный Бост-ромом, мы легко можем убедиться, что он прав насчёт вероятностей». (p. 406)
(Вероятность в этом примере сдвинулась с 50% до 99.999%, что на-верняка «значительно», и подобный результат получается для широкого раз-броса изначальных вероятностей.) Но Корб и Оливер полагают, что такой значительный сдвиг может произойти только в том случае, если мы введём «узкие искусственный ограничения в пространство гипотез» путём рассмот-рения только двух соперничающих гипотез вместе много большего их числа.
Легко убедиться, в том, что это неверно. Пусть {h1, h2, …hN} – про-странство гипотез и путь Р – некая вероятностная функция, которая припи-сывает ненулевую вероятность всем этим гипотезам. Пусть hi будет наиме-нее вероятной из этих гипотез. Путь e = исход одного случайного наблюде-ния. Не трудно убедиться, просто путём анализа формулы Байеса, что постериорная вероятность P(hi | e) может быть сделана произвольно большой путём выбора соответствующего e:

 
выбирая e так, чтобы P(e | hj) было малым для всех i не равно j, мы имеем:


 
И действительно, мы получаем P(hi | e) = 1, если мы выбираем е та-ким P(e | hj) = 0, при i не равно j. (Это может соответствовать тому случаю, когда вы обнаруживаете, что ваш номер рождения 200 миллиардов, и тут же приписываете нулевую вероятность всем гипотезам, согласно которым лю-дей меньше, чем 200 миллиардов)
Вывод: Оливер и Корб неправы, когда они заявляют, что изначаль-ные данные всегда будут доминировать над любыми вычислениями, бази-рующимися на одном свидетельстве.


ВОЗРАЖЕНИЕ ЧЕТВЁРТОЕ

Увеличивая количество гипотез об окончательном размере человеческого рода, которые мы выбрали для рассмотрения, мы можем, согласно Корбу и Оливеру, сделать вероятностный сдвиг, который DA вызывает, произвольно малым.
«В любом случае, если ожидаемые размер популяции людей … вы-глядит неприятно малым, мы можем сдвинуть эту величину вверх, и таким образом отодвинуть дату нашего коллективного уничтожения, на произволь-ную величину, просто путём рассмотрения больших пространств гипотез. (p. 408)
Довод состоит в том, что если мы используем однородную первич-ную оценку (uniform prior) по отношению к выбранному пространству гипо-тез {h1, h2, ..., hn}, где hi – это гипотеза о том, что всего будет жить i людей, то тогда ожидаемое число людей, которые были живы, зависит от n: чем большую величину мы даём n, тем больше ожидаемая будущая популяция. Корб и Оливер вычислили ожидаемую величину человеческой популяции для разных значений n, и обнаружили, что результат действительно меняет-ся.
Отметьте, прежде всего, что нигде здесь нет отсылки к DA. Если бы это рассуждение было бы верно, оно бы работало одинаковым образом, независимо от любых способов предсказания того, как долго проживут люди.
Например, если бы в течение Кубинского кризиса вы бы боялись – основываясь на очевидных эмпирических факторах, что человечество вым-рет в течение года, вам бы на самом деле нечего было бы бояться. Вы могли бы просто рассмотреть более широкое пространство гипотез и таким образом вы бы достигли произвольно высокой степени уверенности, что гибель не нависает. Если бы только сделать мир лучше было бы так просто.
Какова же правильная изначальная оценка для использования с DA? Всё, что мы можем сказать с общефилософской точки зрения, что она та же самая, как  для тех людей, которые не верят в DA. Сторонник DA не видит здесь особой проблемы. Единственный законный путь создания предвари-тельной оценки состоит в эмпирической оценке потенциальных угроз чело-веческому роду. Вы должны сделать его на основе ваших лучших догадок-оценок (guesstimates) относительно опасности биологического оружия, ядер-ных вооружений, нано-оружия, астероидных и метеорных ударов по Земле, убегающего парникового эффекта, будущих высокоэнергетичных физиче-ских экспериментов (которые могут вызвать распад метастабильного вакуу-ма) и других опасностей, которые мы сейчас представить не можем. (Обзор этих и других рисков составляет значительную часть монографии Джона Лесли (1996) о DA. Он оценивает исходную вероятность, основанную на этих соображениях, что человечество вымрет в ближайшие 200 лет примерно в 5%)
Было бы актом благотворительности интерпретировать слова Корба и Оливера не в том смысле, что DA ложен, потому что изначальная вероятность произвольна, но скорее в смысле, что однородная априорная оценка (с некоторой большой, но граничной линией отреза), в той же мере разумна, как любая другая оценка, и что с такой априорной оценкой DA не будет показывать, что гибель наступит скоро. Если это всё, что они имели в виду, значит,  они не говорят ничего, с чем бы сторонник DA не согласился бы. Этот сторонник не привержен взгляду, что гибель наступит скоро, а только той идее, что риск быстрого наступления гибели больше, чем мы думали до того, как поняли определённые вероятностные последствия того, что наш ранг рождения относительно мал. DA (если он верен) показывает, что мы систематически недооценивали риск ранней гибели, но он не даёт никаких прямых указаний на абсолютную величину вероятности этой гипотезы. (Например, Джон Лесли, твёрдо убеждённый в DA, считает, что имеется шанс в 70%, что мы колонизируем Галактику.) Даже с однородной априорной вероятностью, всё равно будет сдвиг в сторону вероятностной функции в сторону более ранней гибели.
Но не означают ли вычисления Корба и Оливера, по крайней мере, что этот вероятностный сдвиг в пользу более ранней гибели в реальности является весьма малым, так что DA не является такой большой проблемой в результате? Нет, эти вычисления не показывают этого, по двум причинам.
Первая причина, уже упоминавшаяся, состоит в том, что их вычис-ления базируются на предположении об однородной априорной вероятности. Это предположение является не только произвольным (не предпринято никакой попытки его обосновать), но оно так же является сильно неправдоподобным даже на основании реальной эмпирической оценки.  Лично я думаю, что довольно очевидно, исходя из того, что я знаю, что вероятность того, что всего будет существовать людей от 100 до 200 миллиардов гораздо больше, чем вероятность того, что всего будет от 1020 до 1020+100=1120 миллиардов людей.
Во-вторых, даже в случае однородной априорной вероятности, ока-зывается, что вероятностный сдвиг в действительности довольно большой. Они предполагают равномерное распределение над пространством гипотез {h1, h2, …, h2,048}, где h(i) – это гипотеза, что всего будет i миллиардов лю-дей. Затем они предполагают, что размер человеческой популяции до осоз-нания DA составляет 994 миллиарда. И вычисления Корба и Оливера пока-зывают, что после применения DA ожидаемая популяция составляет 562 миллиарда. Ожидаемая человеческая популяция сократилась в их примере более, чем на 43%.
Вывод: Возражение Четыре неверно. Утверждение Корба и Оливера о том, что можно достичь произвольно большой ожидаемой популяции, за-дав равномерную изначальную вероятность и сделав пространство гипотез достаточно большим – неверно. Если бы оно было верно, это возражение бы работало бы и против гипотез, не использующих DA.
Сторонник и не сторонник DA используют одну и ту же априорную вероятность. Более того, сторонник DA вовсе не привержен тому взгляду, что гибель наступит скоро, а только тому, что риск систематически недооце-нивается. Корб и Оливер не показали, что риск только немного недооценива-ется. Наоборот, в собственном примере Корба и Оливера DA сокращает ожидаемую популяцию более, чем на половину.


ВОЗРАЖЕНИЕ ПЯТОЕ


В конце своей статьи Корб и Оливер намекают на пятое возражение: что мы не должны считать себя случайной выборкой из человеческого вида (или человеческого вида плюс наших интеллектуальных потомков-роботов) потому что имеется систематическая корреляция между нашей генетической конструкцией и нашей персональной идентичностью.
«… идея о том, что некто однородно-случайным образом выбран из всей популяции является уловкой. Тела, которыми мы являемся, и от которых произошли, имеют почти фиксированную позицию в эволюционном порядке; например, исходя из того, что мы знаем об эволюции, глупо предполагать, что чья-либо ДНК может предшествовать ДНК его или её предков». (p. 408)
Сторонник DA согласится со всем этим. Но даже если точный поря-док рождения всех людей может быть выведен из списка их геномов, един-ственная вещь, которую это покажет, это то, что мы нашли ещё один путь определения чьего-либо ранга рождения. В дополнение к обычному пути – наблюдению того, какой сейчас год и объединению этого знания с данными о числе людей в популяции в прошлом – мы получим ещё один метод вы-числения того же самого: путём анализирования чьего-либо ДНК и сверки с таблицей, связывающей ДНК с рангом рождения.
Тоже самое верно для других возможных корреляций. Например, тот факт, что я ношу контактные линзы, отражает тот факт, что я живу после 1900 A.D. Это даёт мне способ оценить мой ранг рождения – проверить, имею ли я контактные линзы, и, если я имею, придти к заключению, что год 1900-ый уже прошёл; сравнение этой информации с данными о популяции в прошлом даст мне мой ранг рождения. Но ни одна из таких корреляций не даёт вам ничего нового, если вы нашли по крайней мере один способ опреде-лить свой ранг рождения.
Отказ рассматривать себя в качестве случайного экземпляра из не-кой группы только потому, что ваши гены определяют, что вы имеете кон-кретный номер в этой группе, ведёт к неубедительным следствиям, как пока-зывает следующий мысленный эксперимент Джона Лесли:
«Был предложен твёрдый план: выращивать людей двумя группами: в первую группе будет три человека одного пола, во второй – пять тысяч другого пола. План подразумевал выращивание первой группы в течении одного столетия. Много столетий спустя могут быть выращены 5 тысяч лю-дей другого пола. Предположим, что вы узнали, что вы – один из людей в этом вопросе. Вы не знаете, сколько столетий подразумевал план, но вы знаете, что вы – женщина. Вы можете вполне разумно заключить, что боль-шая группа тоже состоит из женщин, почти наверняка. Если это рассуждение принято всеми участниками эксперимента, то стратегия делать ставку на то, что большая группа существ того же пола, что и вы, приведёт к пяти тысячам попаданий и только трём провалам. … Вы не должны говорить: «Мои гены – женские, следовательно, я должен обнаруживать себя женщиной, не зависимо от того, является ли группа женщин малой или большой. Поэтому у меня нет никаких определённых причин считать, что она большая».» (Leslie 1996, pp. 222-23)
Если бы каждые пришёл к выводу, что некто не должен считать себя в качестве случайного экземпляра по причине своих генов, мы бы закончили со средним (5000+3) / 2 = 2501,5 победителей и равным числом проиграв-ших. По методике сторонников DA было бы в среднем 5000 победителей и только 3 проигравших. Так что, по крайней мере, в этом случае методология DA является более эффективной.  Это показывает, что вопреки предположе-нию Возражения Пять, люди могут принадлежать к одному и тому же рефе-рентному классу, даже если они имеют разные гены – в действительности, даже если их гены настолько различны, как в случае людей разных полов.
(Как я уже упоминал раньше, я полагаю, что для сторонника DA яв-ляется проблемой то, как и в каком смысле вы можете считать себя случай-ной выборкой и из какого класса вы должны полагать себя выбранным. Мысленные эксперименты Лесли показывают, что правильно считать себя выбранным случайно из некого правильно выбранного референтного класса, который содержит людей с неидентичными геномами. Однако множество различных определений референтных классов – то есть всех людей в экспе-рименте, все людей вообще, всех мыслящих существ, всех возможных мыс-лящих существ – будут соответствовать этому конкретному мысленному эксперименту. Таким образом, общая проблема о том, как выбирать рефе-рентный класс – сохраняется.)
Вывод: Это верно, что есть систематическая корреляция между на-шей генетической конструкцией и нашим рангом рождения. Наличие такой корреляции даёт нам альтернативный (хотя и не практичный) способ установить свой ранг рождения, но оно не влияет на очевидные отношения между наличием определённого ранга рождения и гипотезами о человеческом будущем. Так что вы имеете законные основания считать себя в некотором смысле случайным образом выбранным из группы людей, даже в том случае, если у людей разные гены, что показано в мысленном эксперименте Джона Лесли (которое Корб и Оливер, к сожалению, не пытаются критиковать или обсуждать).  Таким образом, пятое возражение оказывается неспособным опровергнуть DA.

Литература:

Bartha, P. and Hitchcock C. 1998: "No One Knows the Date of the Hour: An Unorthodox Application of Rev. Bayes’ Theorem". Paper presented at the Sixteenth Biennial Meeting of the Philosophy of Science Association.
Bostrom, N. 1997: "Investigations into the Doomsday Argument". Manu-script at http://www.anthropic-principle.com/preprints.html.
Delahaye, J-P. 1996: "Reserche de mod;les pour l’argument de l’Apocalypse de Carter-Leslie". Unpublished manuscript.
Dieks, D. 1992: "Doomsday – Or: the Dangers of Statistics". Philosophical Quaterly, 42 (166), pp. 78-84.
Eckhardt, W. 1997: "A Shooting-Room view of Doomsday". Journal of Philosophy, Vol. XCIV, No. 5, pp. 244-259.
Kopf, T., Krtous, P, and Page, D. N. 1994: "Too Soon for Doom Gloom?". Physics Preprints Archive, gr-qc/9407002.
Korb, K. and Oliver, J. 1998: "A Refutation of the Doomsday Argument". Mind, Vol. 107, No. 426, pp. 403-410.
Leslie, J. 1996: The End of the World: The Ethics and Science of Human Extinction. London: Routledge.
 
Ник Бостром
Доказательство симуляции

Данный текст не следует путать с широко распространённым в сети переводом сокращённой его версии без формул под названием «А не живём ли мы в матрице?», который был издан в New Scientist и, на русском, в сбор-нике «Философия в матрице: прими красную таблетку».

ARE YOU LIVING IN A COMPUTER SIMULATION?
BY NICK BOSTROM
[Published in Philosophical Quarterly (2003) Vol. 53, No. 211,
pp. 243-255. (First version: 2001)]
http://www.simulation-argument.com/simulation.pdf

перевод с форматированием
http://www.scribd.com/doc/13107082/-
Перевод: А.В. Турчин
Avturchin @ mail.ru

В данной статье утверждается, что по крайней мере одно из трёх следующих предположений является истинным: (1) что весьма ве-роятно, что человечество вымрет до того, как достигнет «постчелове-ческой» фазы; (2) что каждая постчеловеческая цивилизация с крайне малой вероятностью будет запускать значительное число симуляций своей эволюционной истории (или ее вариантов) и (3) что мы почти оп-ределенно живём в компьютерной симуляции. Из этого следует, что ве-роятность нахождения в фазе постчеловеческой цивилизации, которая сможет запускать симуляции своих предшественниц, равна нулю, если только не принять как истину тот случай, что мы уже живём в симу-ляции. Обсуждаются также другие следствия этого результата.


1.ВВЕДЕНИЕ

Многие произведения научной фантастики, а также прогнозы серь-ёзных футурологов и исследователей технологий предсказывают, что в бу-дущем будут доступны колоссальные объёмы вычислительных мощностей.  Предположим, что эти предсказания верны. Например, последующие поко-ления со своими сверхмощными компьютерами смогут запускать детальные симуляции своих предшественников или людей, подобных своим предшест-венникам. Поскольку их компьютеры будут настолько сильны, они смогут запускать много подобных симуляций. Предположим, что эти симулирован-ные люди обладают сознанием (а они будут обладать им, если симуляция будет высокоточной и если определённая широко принятая в философии концепция сознания является верной). Из этого следует, что наибольшее число умов, подобных нашему, не принадлежат оригинальной расе, а, скорее, принадлежат людям, симулированным продвинутыми потомками оригинальной расы. Основываясь на этом, можно утверждать, что разумно  ожидать, что мы находимся среди симулированных, а не среди исходных, натуральных  биологических умов. Таким образом, если мы не считаем, что сейчас живём в компьютерной симуляции, то мы не должны считать, что наши потомки будут запускать много симуляций своих предков. В этом и есть основная идея. В оставшейся части работы мы рассмотрим ее более подробно.
Помимо интереса, который может представлять данный тезис для тех, кто вовлечён в футуристические дискуссии, здесь есть и сугубо теорети-ческий интерес. Данное доказательство является стимулом для формулиро-вания некоторой методологической  и метафизической  проблематики, и так же  предлагает некоторые естественные аналогии традиционным религиоз-ным концепциям, и эти аналогии могут показаться удивительным или же наводящими на размышления.
Структура этой статьи такова: в начале мы сформулируем некое предположение, которое нам надо импортировать из философии сознания для того, чтобы это доказательство заработало. Затем мы рассмотрим неко-торые эмпирические причины  для того чтобы  полагать, что запуск огромного множества симуляций человеческих умов будет доступен будущей цивилизации, которая разовьёт многие из тех технологий, относительно которых было прояснено, что они не противоречат известным физическим законам и инженерным ограничениям.
Эта часть не является необходимой с философской точки зрения, но однако побуждает обратить внимание на основную мысль статьи. Затем последует изложение доказательства по сути, с использованием некоторых простых приложений теории вероятности, и раздел, обосновывающий сла-бый принцип равнозначности, который данное доказательство использует. В итоге мы обсудим  некоторые интерпретации альтернативы, о которой гово-рится в начале, и это и будет заключением доказательства о проблеме симу-ляции.


2. ПРЕДПОЛОЖЕНИЕ О НЕЗАВИСИМОСТИ ОТ НОСИТЕЛЯ

Распространённым предположением в философии сознания является предположение о независимости от носителя. Идея состоит в том, что мен-тальные состояния могут возникать в любом носителе из широкого класса физических носителей. При том условии, что в системе воплощается пра-вильный набор вычислительных структур и процессов, в ней могут возни-кать осознанные переживания. Сущностным свойством не является вопло-щение в основанных на углероде биологических нервных сетях внутриче-репных процессов: основанные на силиконе процессоры внутри компьюте-ров могут проделывать  абсолютно тот же трюк. Аргументы в пользу этого тезиса выдвигались в существующей литературе, и, хотя он не является пол-ностью непротиворечивым, мы будем принимать его здесь как данность.
Доказательство, которое мы здесь предлагаем, однако, не зависит от какой-нибудь очень сильной версии функционализма или компьютализма. Например, мы не должны принимать то, что тезис о независимости от носителя является с необходимостью истинным (как в аналитическом, так и в метафизическом смысле) – а должны принимать только то, что, в действительности, компьютер под управлением соответствующей программы мог бы обладать сознанием. Более того, мы не должны предполагать, что для того, чтобы создать сознание в компьютере, нам пришлось бы запрограммировать его таким образом, чтобы он вёл себя во всех случаях как человек, проходил бы тест Тюринга и т. д. Нам нужно только более слабое допущение о том, что для создания субъективных переживаний достаточно того, чтобы вычислительные процессы в человеческом мозгу были бы структурно скопированы в соответствующих высокоточных деталях, например, на уровне индивидуальных синапсов. Эта уточненная версия независимости от носителя является весьма широко принятой.
Нейротрансмиттеры, факторы роста нервов и другие химические вещества, которые меньше синапсов, очевидным образом играют роль в че-ловеческом познании и обучении. Тезис о независимости от носителя состо-ит не в том, что эффект от этих химических веществ является малым или пренебрежимым, но в том, что они влияют на субъективный опыт только через прямое или непрямое воздействие на вычислительную активность. На-пример, если не существует субъективных различий без того, чтобы имела места также разница и в синаптических разрядах, то тогда требуемая детализация симуляции находится на синаптическом уровне (или выше).

3.ТЕХНОЛОГИЧЕСКИЕ ПРЕДЕЛЫ ВЫЧИСЛЕНИЙ

На нынешнем уровне технологического развития у нас нет ни доста-точно эффективного мощного оборудования, ни соответствующего про-граммного обеспечения, чтобы создавать сознательные умы на компьютере. Однако были выдвинуты серьёзные аргументы в пользу того, что если техно-логический прогресс будет продолжаться без остановок, то тогда эти огра-ничения будут в конечном счёте преодолены . Некоторые авторы утвер-ждают, что эта фаза наступит всего через несколько десятилетий. Однако для целей нашей дискуссии не требуется никаких предположений о временной шкале. Доказательство симуляции работает столь же хорошо и для тех, кто полагает, что потребуются сотни тысяч лет, чтобы достичь «постчеловеческой» фазы развития, когда человечество обретёт большую часть тех технологических способностей, которые, как сейчас можно показать, согласуются с физическими законами и с материальными и энергетическими ограничениями.
Эта зрелая фаза технологического развития сделает возможным пре-вращать планеты и другие астрономические ресурсы в компьютеры колос-сальной силы. В настоящий момент трудно быть уверенным относительно каких-либо предельных границ компьютерной мощности, которая будет дос-тупна постчеловеческим цивилизациям. Поскольку у нас до сих пор нет «теории всего», мы не можем исключить возможности того, что новые физи-ческие феномены, запрещённые современными физическими теориями, могут быть использованы для преодоления ограничений , которые, согласно нашему нынешнему представлению, накладывают теоретические пределы на обработку информации внутри данного куска материи. С гораздо большей степенью надёжности мы можем установить нижние границы постчеловеческих вычислений, предполагаю реализацию только тех механизмов, которые уже понятны. Например, Эрик Дрекслер дал набросок устройства системы, размером с кубик сахара (за исключением системы охлаждения и питания), которая могла бы выполнять 1021 операций в секунду . Другой автор дал грубую оценку в 1042 операций в секунду для компьютера размером с планету . (Если мы научимся создавать квантовые компьютеры, или научимся строить компьютеры из ядерной материи или плазмы, мы сможем приблизиться ещё ближе к теоретическим пределам. Сет Ллойд вычислил верхний предел для компьютера весом в 1 кг в 5•1050 логических операций в секунду, выполняемых над 1031 бит . Однако, для наших целей достаточно использовать более консервативные оценки, которые подразумевают только известные сейчас принципы работы.)
Количество компьютерной мощности, необходимое для того, чтобы эмулировать человеческий мозг, поддаётся точно такой же грубой оценке. Одна оценка, основанная на том, насколько затратно в вычислительном смысле было бы скопировать функционирование кусочка нервной ткани, который мы уже поняли и чья функциональность была уже скопирована в кремнии (а именно, была скопирована система усиления контрастности в сетчатке глаза), даёт оценку в примерно 1014 операций в секунду . Альтер-нативная оценка, основанная на числе синапсов в мозге и частоте их сраба-тывания, даёт величину в 1016 -1017 операций в секунду . Соответственно, и даже ещё больше вычислительных мощностей может потребоваться, если бы нам захотелось симулировать в деталях внутреннюю работу синапсов и вет-вей дендритов. Однако, весьма вероятно, что центральная нервная система человека имеет определённую меру избыточности на микроуровне, чтобы компенсировать ненадёжность и шум своих нейронных компонентов.
Следовательно, можно было бы ожидать значительного прироста эффективности при использовании более надёжных и гибких небиологиче-ских процессоров. Память является не более значительным ограничением, чем процессорная мощность . Более того, поскольку максимальный поток сенсорных данных человека имеет порядок в 108 бит в секунду, то симули-рование всех сенсорных событий потребовало бы пренебрежимо малой стоимости в сравнении с симулированием кортикальной активности. Таким образом, мы можем использовать процессорную мощность, необходимую для симулирования центральной нервной системы, как оценку общей вычис-лительной стоимости симуляции человеческого ума. Если окружающая среда входит в симуляцию, это потребует дополнительной компьютерной мощности – количество которой зависит от размеров и подробности симуляции. Симуляция всей вселенной с точностью до квантового уровня, очевидно, невозможна, за исключением того случая, если будет открыта некая новая физика. Но для того, чтобы получить реалистическую симуляцию человеческого опыта, требуется гораздо меньше – только столько, сколько нужно, чтобы убедиться, что симулированные люди, взаимодействующие обычным человеческим образом с симулированной окружающей средой, не заметят никаких различий. Микроскопическая структура внутренних областей Земли может быть легко опущена. Удалённые астрономические объекты могут подвергнуты очень высокому уровню сжатия: точное сходство должно быть только в узком диапазоне свойств, которые мы можем наблюдать с нашей планеты или с космического аппарата внутри Солнечной системы. На поверхности Земли макроскопические объекты в необитаемых местах должны быть непрерывно симулированы, но микроскопические феномены могут заполняться ad hoc, то есть по мере необходимости. То, что вы видите через электронный микроскоп должно выглядеть неподозрительным, но у вас обычно нет никаких способов проверить его согласованность с ненаблюдаемыми частями микромира. Исключения возникают, когда мы нарочно проектируем системы, чтобы запрячь ненаблюдаемые микроскопические феномены, которые действуют в соответствии с известными принципами, чтобы получить результаты, которые мы можем независимым образом проверить. Классическим примером этого является компьютер. Симуляция, таким обра-зом, должна включать в себя непрерывные имитации компьютеров вплоть до уровня индивидуальных логических элементов. Это не представляет про-блем, так как наша нынешняя вычислительная мощность является пренебре-жимо малой по постчеловеческим стандартам. Более того, посчеловеческий творец симуляции будет иметь достаточно вычислительной мощности, что-бы отслеживать в деталях состояние мыслей во всех человеческих мозгах всё время. Таким образом, когда он обнаружит, что какой-то человек готов сделать некое наблюдение о микромире, он может заполнить симуляцию с достаточным уровнем детализации настолько, насколько это нужно. Если какая-то ошибка случится, режиссер симуляции может легко отредактировать состояния любого мозга, который узнал об аномалии до того, как он разрушит симуляцию. Либо режиссер может отмотать симуляцию на несколько секунд назад и перезапустить ее таким образом, чтобы избежать проблемы.
Из этого следует, что наиболее дорогостоящим при создании симу-ляции, которая неотличима от физической реальности для находящихся в ней человеческих сознаний, будет создание симуляций органических мозгов вплоть до нейронного или субнейронного уровня . Хотя невозможно дать очень точную оценку цены реалистической симуляции человеческой исто-рии, мы можем использовать оценку в 1033 -1036 операций в качестве грубой оценки .
По мере того, как мы будем иметь больше опыта в создании вирту-альной реальности, мы достигнем лучшего понимания вычислительных тре-бований, которые необходимы для того, чтобы такие миры выглядели реали-стичными для их посетителей. Но даже если наша оценка неверна на не-сколько порядков величины, это не имеет большого значения для нашего доказательства. Мы отметили, что грубая оценка вычислительной мощности компьютера массой с планету составляет 1042 операций в секунду, и это только принимая во внимание уже известные нанотехнологические конст-рукции, которые, вероятно, далеки от оптимальных. Один такой компьютер может симулировать всю ментальную историю человечества (назовём это симуляцией предков) используя только одну миллионную своих ресурсов за 1 секунду. Постчеловеческая цивилизация может в конечном счёте построить астрономическое количество таких компьютеров. Мы можем заключить, что постчеловеческая цивилизация может запустить колоссальное количество симуляций предков, даже если она потратит на это только малую долю своих ресурсов. Мы можем придти к этому заключению, даже допуская значительную погрешность во всех наших оценках. Постчеловеческие цивилизации будут иметь достаточно вычислительных ресурсов, чтобы запустить огромное множество симуляций-предков, даже используя очень малую долю своих ресурсов для этих целей.


4. ЯДРО ДОКАЗАТЕЛЬСТВА О СИМУЛЯЦИИ

Основная идея этой статьи может быть выражена в следующем: если есть существенный шанс, что наша цивилизация когда-нибудь достигнет постчеловеческой стадии и запустит множество симуляций-предков, то как мы можем доказать, что мы не живём в одной такой симуляции? Мы разо-вьём эту мысль в виде строгого доказательства. Давайте введём следующие обозначения:
  – доля от всех цивилизаций человеческого уровня, которые до-живают до постчеловеческой стадии;
N – среднее число симуляций предков, которые запускает постчело-веческая цивилизация;
H – среднее число людей, которые жили в цивилизации до того, как она достигла постчеловеческой стадии.
Тогда реальная доля всех наблюдателей с человеческим опытом, ко-торые живут в симуляции:

 

Обозначим как  долю постчеловеческих цивилизаций, которые заинтересованы в запуске симуляций-предков (или которые содержат по крайней мере некоторое количество отдельных существ, которые заинтере-сованы в этом и имеют значительные ресурсы, чтобы запускать значительное число симуляций) и как  среднее число симуляций-предков, запускаемых такими заинтересованными цивилизациями, мы получаем:

 

И следовательно:

               (*)

По причине колоссальной вычислительной силы постчеловеческих цивилизаций  является крайне большой величиной, как мы видели в пре-дыдущем разделе. Рассматривая формулу (*) мы можем видеть, что по край-ней мере одно из трёх следующих предположений является истинным:

 (1)  ;0
(2)  ;0
(3)  ;1

5. МЯГКИЙ ПРИНЦИП РАВНОЗНАЧНОСТИ

Мы можем сделать шаг дальше и заключить, что при условии истин-ности пункта (3) можно быть почти наверняка уверенным, что вы находитесь в симуляции. Говоря в общем, если мы знаем, что доля x всех наблюдателей с опытом человеческого типа живёт в симуляции, и мы не имеем никакой дополнительной информации, которая показывает, что наш собственный частный опыт является с большей или меньшей степенью вероятности во-площённым in machine, а не in vivo, чем другие виды человеческого опыта, и тогда наша уверенность, что мы находимся в симуляции, должна быть равна x:
 

Cr(SIM|fsim=х)=х

Этот шаг оправдан очень слабым принципом равнозначности. Да-вайте разделим два случая. В первом случае, который является более про-стым, все исследуемые умы подобны вашему, в том смысле, что они в точно-сти качественно соответствуют вашему уму: у них есть та же самая инфор-мация и те же самые переживания, что у вас. Во втором случае умы только подобны друг другу лишь в широком смысле, будучи тем сортом умов, кото-рые типичны для человеческих существ, но качественно отличаются друг от друга и каждый имеет различный набор опыта. Я утверждаю, что даже в том случае, когда умы качественно различны, доказательство симуляции по-прежнему работает, при условии, что у вас нет никакой информации, которая отвечает на вопрос о том, какие из различных умов симулированы и какие реализованы биологически.
Детальное обоснование более строго принципа, которое включает оба наших частных примера как тривиальные частные случаи, была дана в литературе . Недостаток места не даёт возможности привести здесь обоснование целиком, но мы можем привести здесь одно из интуитивных обоснований. Представим, что x% популяции имеют определённую генетическую последовательность S внутри определённой части своего ДНК, которая обычно называется «мусорной ДНК». Предположим, далее, что нет никаких проявлений S (за исключением тех, которые могут проявиться при генетическом тестировании) и нет никаких корреляций между обладанием S и какими-либо внешними проявлениями. Тогда вполне очевидно, что до того, как ваша ДНК будет секвенсирована, является рациональным приписать уверенность в x% гипотезе, что у вас есть фрагмент S. И это является вполне независимым от того факта, что люди, у которых есть S, имеют умы и переживания качественно отличающиеся от тех, что имеют люди, у которых нет S. (Они различны просто потому что у всех людей есть различный опыт, а не потому что есть какая-то прямая связь между S и тем видом опыта, который переживает человек.)
Те же самые рассуждения применимы, если S не является свойством обладания определённой генетической последовательностью, а вместо этого фактом нахождения в симуляции, в предположении, что у нас нет информа-ции, которая позволяет нам предсказать какие-либо различия между пережи-ваниями симулированных умов и между переживаниями исходных биологи-ческих умов.
Следует подчеркнуть, что мягкий принцип равнозначности подчёр-кивает только равнозначность между гипотезами, каким именно из наблюда-телей вы являетесь, когда вы не имеете информации о том, которым из на-блюдателей вы являетесь. Он в общем случае не приписывает равнознач-ность между гипотезами, когда у вас нет конкретной информации о том, ка-кая из гипотез является истинной. В отличие от Лапласова и других более сильных принципов равнозначности, он, таким образом, не подвержен пара-доксу Бертрана и другим подобным затруднениям, которые осложняют неог-раниченное применение принципов равнозначности. Читатели, знакомые с доказательством Конца света (Doomsday argument, DA) , могут испытывать беспокойство, что принцип равнозначности, применяемый здесь, опирается на те же предположения, что ответственны за выбивание почвы из-под DA, и что контринуитивность некоторых выводов последнего бросает тень на дос-товерность рассуждения о симуляции. Это не так. DA опирается на гораздо более строгую и противоречивую предпосылку о том, что человек должен рассуждать так, как если бы он был случайной выборкой из всего множества людей, которые когда-либо жили и будут жить (в прошлом, настоящем и будущем), несмотря на то, что мы знаем, что мы живём в начале XXI века, а не в какой-то точке в далёком будущем. Мягкий принцип неопределённости обращается только к тем случаям, когда у нас нет дополнительной ин-формации о том, к какой группе людей мы принадлежим.
Если делание ставок является неким основанием для рациональной веры, то тогда, если все сделают ставку на то, находятся ли они в симуляции или нет, то, если люди будут использовать мягкий принцип неопределённо-сти и будут делать ставку на то, что они в симуляции, опираясь на знание о том, что большая часть людей в ней находится, то тогда почти все выиграют свои ставки. Если они будут ставить на то, что они не в симуляции, то почти все проиграют. Кажется более полезным следовать принципу мягкой равно-значности. Далее, можно представить себе последовательность возможных ситуаций, в которых всё большая часть людей живёт в симуляциях: 98%, 99%, 99,9%, 99,9999%, и так далее.  По мере приближения к верхнему преде-лу, когда все живут в симуляции (откуда можно дедуктивно вывести, что каждый находится в симуляции), кажется разумным требование, чтобы дос-товерность, которую некто приписывает тому, что он находится в симуля-ции, плавно непрерывно приближалось к лимитирующему пределу полной уверенности.


6. ИНТЕПРЕТАЦИЯ

Возможность, указанная в пункте (1), вполне понятна. Если (1) вер-но, то человечество почти наверняка не сможет достичь постчеловеческого уровня; ни один вид на нашем уровне развития не становится постчеловече-ским, и трудно обнаружить какие-либо оправдания для мысли, что наш соб-ственный вид обладает какими-либо преимуществами или особой защитой от будущих катастроф. При условии (1), таким образом, мы должны приписать высокую достоверность Гибели (DOOM), то есть гипотезе о том, что человечество исчезнет до того, как достигнет постчеловеческого уровня:

CR(Doom|fp ; 1) ; 1



Можно представить гипотетическую ситуацию, в которой мы имеем такие данные, которые перекрывают наши знания о fp. Например, если мы обнаружим, что в нас вот-вот врежется гигантский астероид, мы можем предположить, что мы оказались исключительно невезучими. Мы можем в этом случае приписать гипотезе о Гибели большую достоверность, чем наше ожидание доли цивилизаций человеческого уровня, которые не смогут дос-тичь  постчеловечества. В нашем случае, однако, у нас, судя по всему, нет никаких оснований думать, что мы являемся особенными в этом отношении, в лучшую или худшую стороны.
Предположение (1) не означает само по себе, что мы, скорее всего, вымрем. Оно говорит о том, что мы вряд ли достигнем постчеловеческой фазы. Эта возможность может означать, например, что мы останемся на ны-нешнем или немного превосходящем его уровне в течение длительного вре-мени до того, как вымрем. Другая возможная причина истинности (1) – это то, что, скорее всего, технологическая цивилизация рухнет. При этом прими-тивные человеческие общества сохранятся на Земле.
Есть много способов, которыми человечество может вымереть до то-го, как достигнет постчеловеческой фазы развития. Наиболее естественным объяснением (1) является то, что мы вымрем в результате развития некой мощной, но опасной технологии . Одним из кандидатов является молеку-лярная нанотехнология, зрелая стадия которой позволит создавать способ-ных к саморепликации нанороботов, могущих питаться грязью и органиче-ской материей – нечто вроде механической бактерии. Такие нанороботы, будучи спроектированными со злокозненными целями, могут привести к гибели всей жизни на планете .
Вторая альтернатива вывода рассуждения о симуляции состоит в том, что доля постчеловеческих цивилизаций, которые заинтересованы в запуске симуляций-предков, является пренебрежимо малой. Для того, чтобы (2) было истинным, должна быть строгая конвергенция между путями разви-тия продвинутых цивилизаций. Если количество симуляций предков, созда-ваемых заинтересованными цивилизациями, является исключительно боль-шим, то тогда редкость таких цивилизаций должна быть соответственно экс-тремальной. Практически ни одна из постчеловеческих цивилизации не ре-шает использовать свои ресурсы для создания большого количества симуля-ций-предков. Более того, почти во всех постчеловеческих цивилизациях от-сутствуют индивиды, у которых есть соответствующие ресурсы и интерес, чтобы запускать симуляции-предков; или же у них есть подкреплённые си-лой законы, предотвращающие поведение индивидов согласно их желаниям.
Какая сила может привести к такой конвергенции? Кто-то может ут-верждать, что продвинутые цивилизации все как одна развиваются по траек-тории, которая приводит к признанию этического запрета запуска симуля-ций-предков по причине страданий, которые испытывают обитатели симуля-ции. Однако с нашей нынешней точки зрения не кажется очевидным, что создание человеческой расы является аморальным. Наоборот, мы склонны воспринимать существование нашей расы как имеющее большую этическую ценность. Более того, конвергенции только этических взглядов на амораль-ность запуска симуляций предков – недостаточно: она должна объединяться с конвергенцией цивилизационной социальной структуры, которая приводит к тому, что виды деятельности, считающиеся аморальными, эффективным образом запрещаются.
Другая возможность конвергенции состоит в том, что почти все ин-дивидуальные постлюди в почти всех постчеловеческих цивилизациях раз-виваются в направлении, в котором они теряют стремление к запуску симу-ляций-предков. Это потребует значительных изменений в мотивациях, дви-жущих их постчеловеческими предками, поскольку наверняка есть много людей, которые хотели бы запускать симуляции предков, будь у них такая возможность. Но, возможно, многие из наших человеческих желаний будут казаться глупыми любому, кто станет постчеловеком. Может быть, научное значение симуляций-предков для постчеловеческих цивилизаций является пренебрежимо малым (что не выглядит слишком невероятным с учётом их невероятного интеллектуального превосходства) и, может быть, постлюди считают рекреационную активность за очень неэффективный способ получе-ния удовольствий – которое может быть получено гораздо более дешево за счёт прямой стимуляции центров удовольствия мозга. Один вывод, который следует из (2) – это то, что постчеловеческие общества будут крайне отли-чаться от человеческих обществ: в них не будет относительно богатых неза-висимых агентов, у которых есть полный диапазон желаний, подобных чело-веческим, и которые свободны действовать в соответствии с ними.
Возможность, описываемая выводом (3), является наиболее интри-гующей с концептуальной точки зрения. Если мы живём в симуляции, то наблюдаемый нами космос является только маленьким кусочком в тотально-сти физического существования. Физика вселенной, где находится компью-тер, может напоминать, а может и не напоминать физику наблюдаемого нами мира. В то время, как наблюдаемый нами мир является в некоторой степени «реальным», он не расположен на некотором фундаментальном уровне реальности. Для симулированных цивилизаций может быть возможно стать постчеловеческими. Они могут запускать в свою очередь симуляции-предков на мощных компьютерах, которые они построили в симулированной вселенной. Такие компьютеры будут «виртуальными машинами», – весьма распространённая концепция в компьютерной науке. (Веб-приложения, написанные на Java script, например, работает на виртуальной машине – симулированном компьютере – на вашем ноутбуке.) Виртуальные машины могут вкладываться одна в другую: возможно симулировать виртуальную машину, симулирующую другую машину, и так далее, с произвольно большим числом шагов. Если мы сможем создать наши собственные симуляции предков, это будет сильным свидетельством против пунктов (1) и (2), и мы в силу этого должны будем заключить, что мы живём в симуляции. Более того, мы должны будем подозревать, что постлюди, которые запустили нашу симуляцию, сами по себе тоже являются симулированными существами, и их создатели, в свою очередь, тоже могут быть симулированными существами.
Реальность, таким образом, может содержать несколько уровней. Если даже иерархия должна закончится на каком-то уровне – метафизиче-ский статус этого заявления весьма неясен – может быть достаточно про-странства для большого количества уровней реальности, и это количество может увеличиваться с течением времени. (Одно из соображений, которое говорит против такой многоуровневой гипотезы, состоит в том, что вычис-лительная цена для симуляторов базового уровня будет очень большой. Си-мулирование даже одной постчеловеческой цивилизации может быть запре-щающее дорого. Если так, то мы должны ожидать, что наша симуляция бу-дет выключена, когда мы приблизимся к постчеловеческому уровню.)
Хотя все элементы данной системы являются натуралистическими, даже физическими, возможно нарисовать некоторые свободные аналогии с религиозными концепциями мира. В некотором смысле постлюди, которые запустили симуляцию, подобны богам по отношению к людям в симуляции: постлюди создают тот мир, который мы видим; они обладают превосходя-щим нас интеллектом; они всемогущи в том смысле, что они могут вмеши-ваться в работу нашего мира способами, нарушающими физические законы, и они являются всезнающими в том смысле, что они могут мониторить всё, что происходит. Однако все полубоги, за исключением тех, которые живут на фундаментальном уровне реальности, подвержены действиям более силь-ных богов, обитающих на более высоких уровнях реальности.
Дальнейшее пережёвывание этих тем может закончится натурали-стической теогонией, которая будет изучать структуру этой иерархии и ограничения, накладываемые на обитателей той возможностью, что их действия на их уровне могут повлиять на отношение к ним обитателей более глубокого уровня реальности. Например, если никто не может быть уверен, что он находится на базовом уровне, то каждый должен рассматривать вероятность того, что его действия будут вознаграждаться или наказываться, возможно, на основании неких моральных критериев, хозяевами симуляции. Жизнь после смерти будет реальной возможностью. Из-за этой фундаментальной неопределённости даже цивилизация на базовом уровне будет иметь побуждение вести себя этично. Тот факт, что они имеют причину вести себя морально, будет разумеется веским доводом для кого-то другого вести себя морально, и так далее, образуя добродетельный круг. Таким образом можно получить нечто вроде универсального этического императива, соблюдать который будет в личных интересах каждого, и который происходит из «ниоткуда».
В дополнение к симуляциям предков, можно представить возмож-ность и более избирательных симуляций, которые включают в себя только небольшую группу людей или одного индивида. Остальные люди будут то-гда «зомби» или «люди-тени» – люди, симулированные только на уровне, достаточном, чтобы полностью симулированные люди не замечали ничего подозрительного.
Не ясно, насколько дешевле будет симулировать людей-теней, чем реальных людей. Не является даже очевидным, что для некого объекта воз-можно вести себя неотличимо от реального человека и при это не иметь осознанных переживаний. Даже если такие селективные симуляции сущест-вуют, вы не должны быть уверены, что вы в ней, до того, как вы будете уве-рены, что такие симуляции гораздо более многочисленны, чем полные симу-ляции. Мир должен иметь примерно в 100 миллиардов больше я-симлуяций (симуляций жизни только одного сознания), чем имеется полных симуляций предков – для того, чтобы большинство симулируемых людей были бы в я-симуляциях.
Также есть возможность, что симуляторы перепрыгивают опреде-лённую часть ментальной жизни симулируемых существ и дают им фальши-вые воспоминания о том типе опыта, который они могли бы иметь во время пропущенных периодов. Если так, можно представить себе следующее (на-тянутое) решение проблемы зла: что в действительности в мире нет страда-ний и что все воспоминания о страданиях являются иллюзией. Разумеется, эту гипотезу можно рассматривать всерьёз только в те моменты, когда сам не страдаешь.
Предполагая, что мы живём в симуляции, каковы последствия этого для нас, людей? Вопреки тому, что было сказано до того, последствия для людей не особенно радикальны. Нашим наилучшим гидом в том, как наши постчеловеческие создатели выбрали устроить наш мир, является стандарт-ное эмпирическое исследование вселенной, которой мы видим. Изменения большей части нашей системы верований будут скорее небольшими и мяг-кими – пропорциональными нашему отсутствию уверенности в нашей спо-собности понять систему мышления постлюдей.
Правильное понимание истинности тезиса (3) не должно делать нас «безумными» или заставлять нас бросить свой бизнес и перестать делать планы и предсказания на завтра. Главная эмпирическая важность (3) в на-стоящий момент, судя по всему, лежит в ее роли тройственном выводе, при-ведённом выше .
Нам следует надеется, что (3) является истинным, поскольку это уменьшает вероятность (1), однако если вычислительные ограничения дела-ют вероятным то, что симуляторы выключат симуляцию до того, как она достигнет постчеловеческого уровня, то тогда нашей наилучшей надеждой является истинность (2).
Если мы узнаем больше о постчеловеческой мотивации и ограниче-ниях ресурсов, может быть, в результате нашего развития в сторону постче-ловечества, то тогда гипотеза о том, что мы симулированы, получит гораздо более богатый набор эмпирических приложений.


7. ЗАКЛЮЧЕНИЕ

Технологически зрелая постчеловеческая цивилизация располагала бы огромной вычислительной мощностью. Основываясь на этом, рассужде-ние о симуляции показывает, что, по крайней мере один из следующих тези-сов истинен: (1) доля цивилизаций человеческого уровня, которые достигают постчеловеческого уровня, очень близка к нулю. (2) Доля постчеловеческих цивилизаций, которые заинтернесованы в запуске симуляций предшествен-ников, очень близка к нулю. (3) Доля всех людей с нашим типом пережива-ний, которые живут в симуляции, близка к единице.
Если (1) верно, то мы почти наверняка умрём до того, как достигнем постчеловеческого уровня. Если (2) верно, то тогда должна быть строго со-гласованная конвергенция путей развития всех продвинутых цивилизаций, так чтобы ни в одной из них не было относительно богатых индивидов, ко-торые хотели бы запускать симуляции предков и были бы свободны делать это. Если (3) верно, то мы почти наверняка живём в симуляции. Тёмный лес нашего неведения делает разумным распределить нашу уверенность почти равномерно между пунктами (1), (2) и (3).
За исключением того случая, что мы уже живём в симуляции, наши потомки почти наверняка никогда не будут запускать симуляции-предков.

Благодарности:
Я благодарен многим людям за их комментарии, и особенно Amara Angelica, Robert Bradbury, Milan Cirkovic, Robin Hanson, Hal Finney, Robert A. Freitas Jr., John Leslie, Mitch Porter, Keith DeRose, Mike Treder, Mark Walker, Eliezer Yudkowsky, и анонимным референтам.

Комментарии переводчика:
1) Выводы (1) и (2) – нелокальны. Они говорят, что либо все ци-вилизации погибают, либо все не хотят создавать симуляции. Это утвержде-ние распространяется не только на всю видимую вселенную, не только на всю бесконечность вселенной за пределами горизонта видимости, но и на всё множество 10500  степени вселенных с разными свойствами, которые воз-можны, согласно теории струн. В отличие от них, тезис о том, что мы живём в симуляции,  – локален. Всеобщие утверждения гораздо реже бывают ис-тинными, чем частные утверждения. ( Сравни: «Все люди блондины» и «Иванов блондин» или «все планеты имеют атмосферу» и «Венера имеет атмосферу».) Чтобы опровергнуть общее утверждение, достаточно одного исключения. Таким образом, утверждение о том, что мы живём в симуляции, гораздо вероятнее первых двух альтернатив.
2) Не обязательно развитие компьютеров – достаточно, например, снов. Которые будут видеть генетически модифицированные и специально заточенные под это мозги.
3) Рассуждение о симуляции работает в обычной жизни.  Большая часть изображений, которые поступают в наши мозги, являются симуляция-ми – это кино, телевизор, интернет, фотографии, реклама – и last but not least – сны.
4) Чем необычнее видимый нами объект, тем больше шансов, что он находится в симуляции. Например, если я вижу страшную аварию, то скорее всего я вижу ее во сне, по телевизору или в кино.
5) Симуляции могут быть двух типов: симуляции всей цивилиза-ции и симуляции личной истории или даже какого-то одного эпизода из жиз-ни одного человека.
6) Важно отличать симуляцию от имитации – возможна симуля-ция того человека или цивилизации, которых никогда не существовало в природе.
7) Сверхцивилизации должны быть заинтересованы в создании симуляций, чтобы изучить разные варианты своего прошлого и таким обра-зом разные альтернативы своего развития. А также, чтобы, например, изу-чить среднюю частоту других сверхцивилизаций в космосе и их ожидаемые свойства.
8) Проблема симуляции сталкивается с проблемой философского зомби (то есть существами, лишёнными квалиа, как тени на экране телевизо-ра). Симулируемые существа не должны быть философскими зомби. Если в большинстве симуляций находятся философские зомби, то рассуждение не работает (так как я не философский зомби.)
9) Если есть несколько уровней симуляции, то одна и та же симу-ляция2 уровня может использоваться в нескольких разных симуляциях 1 уровня теми, кто живёт в симуляции 0 уровня. С целью экономии вычисли-тельных ресурсов. Это подобно тому, как много разных людей смотрят один и тот же кинофильм. То есть допустим я создал три симуляции. И каждая из них создала 1000 подсимуляций. Тогда мне бы пришлось стимулировать 3003 симуляции на своём суперкомпьютере. Но если симуляции создали в принципе одинаковые подсимуляции, то мне достаточно смоделировать только 1000 симуляций, предъявляя результат работы каждой из них три раза. То есть всего я запущу 1003 симуляции. Иначе говоря, одна симуляция может иметь несколько хозяев.
10) То, живёте ли вы в симуляции или нет, можно определить по тому, насколько ваша жизнь отличается от среднестатистической в сторону уникальной, интересной или важной. Здесь предполагается, что делать симуляции интересных людей, живущих в интересное время важных перемен – более привлекательно для авторов симуляции, не зависимо от их целей – развлекательных или исследовательских.70 % людей, когда-либо живших на Земле, были неграмотными крестьянами. Однако здесь нужно учитывать эффект наблюдательной селекции: неграмотные крестьяне не могли задаться вопросом о том, в симуляции они или нет, а следовательно, тот факт, что вы не неграмотный крестьянин, ещё не доказывает, что вы в симуляции. Веро-ятно, наибольший интерес для авторов симуляции будет иметь эпоха в рай-оне Сингулярности, так как в районе неё возможна необратимая бифуркация путей развития цивилизации, на которую могут повлиять малые факторы, в том числе особенности одной личности. Например, я, Алексей Турчин, пола-гаю, что моя жизнь настолько интересна, что скорее является симулирован-ной, чем реальной.
11) То, что мы находимся в симуляции, увеличивает наши риски – а) симуляцию могут выключить б) авторы симуляции могут ставить над ней эксперименты, создавая заведомо маловероятные ситуации – падение асте-роида и т. д.
12) В 2010 году Бостром опубликовал поправки к своему рассуж-дению, где устранил некоторые ошибки, но не изменил главного вывода.
13) Важно отметить слова Бострома о том, что по крайней мере од-но из трёх верно. То есть возможны ситуации, когда некоторые из пунктов верны одновременно. Например, то, что мы погибнем, не исключает того, что мы живём в симуляции, и то, что большинство цивилизаций не создаёт симуляции.
14) Симулированные люди и мир вокруг них могут быть вообще не похожи ни на каких реальных людей и реальный мир, важно, чтобы они ду-мали, что они в реальном мире. Они не способны заметить отличия, потому что вообще никогда никакого реального мира не видели. Или их способность замечать отличия притуплена. Как это бывает во сне.
15) Есть соблазн обнаружить в нашем мире признаки симуляции, проявляемые как чудеса. Но чудеса могут происходить и без симуляции.
16) Есть модель мироустройства, которая снимает предлагаемую дилемму. (но не лишена своих противоречий). А именно, это кастанедовска-будийская модель, где наблюдатель порождает весь мир.
17) Идея симуляции подразумевает упрощение. Если симуляция будет с точностью до атома, то она будет той же самой реальностью. В этом смысле можно представить себе ситуацию, когда некая цивилизация научи-лась создавать параллельные миры с заданными свойствами. В этих мирах она может ставить натурные эксперименты, создавая разные цивилизации. То есть это нечто вроде гипотезы космического зоопарка. Эти созданные миры не будут симуляциями, так как они будут вполне реальны, но они бу-дут под властью тех, кто их создал и может включить и выключить. И их тоже будет количественно больше, так что здесь применимо похожее стати-стическое рассуждение, как и в рассуждении о симуляции.
 
Данила Медведев.  Живем ли мы в спекуляции Ника Бострома?

Быстрое развитие компьютерных технологий может сделать воз-можным создание реалистичных компьютерных симуляций, населенных ра-зумными людьми. «Аргумент о симуляции», предложенный Ником Бостро-мом  в статье «Живем ли мы в компьютерной симуляции», утверждает, что если подобные симуляции будут созданы нами или нашими потомками, то мы практически наверняка живем в компьютерной симуляции. В на-стоящей работе рассматриваются серьезные математические и логические ошибки, допущенные в аргументе о симуляции. По результатам прове-денного анализа можно заключить, что аргумент о симуляции является ошибочным, а вопрос о природе нашего мира остается предметом индиви-дуальных убеждений.

Ключевые слова: реальность, симуляция, постчеловеческие цивили-зации, исторические симуляции, аргумент о симуляции, сознание, чело-век.Введение
Мысль о том, что наш мир — это на самом деле компьютерная си-муляция, сравнительно нова. Идеи о возможности полной симуляции реаль-ности получили распространение лишь немногим более двадцати лет назад. В 1989 году Джарон Ланье (Jaron Lanier) впервые использовал термин «вир-туальная реальность», но лишь в 1990-е годы идеи о симуляции целого мира стали относительно популярными. Компьютерные игры, в особенности трехмерные, такие как Doom, Quake и множество более новых игр, проде-монстрировали как целый мир (или, по крайней мере, значительная его часть) может быть воссоздан на экране компьютера. Несколько фантастиче-ских фильмов, снятых в конце 1990-х и в начале 21-го века, также использо-вали эти идеи, попытавшись найти ответы на некоторые философские вопро-сы, которые ставят перед нами симуляции. Но более важно то, что благодаря кино эти идеи впервые были донесены до широкой публики.
• «Раскрой глаза» (Abre los ojos, 1997) [2] — Главный герой этого фильма заключил контракт с крионической компанией. После смерти его тело было заморожено в жидком азоте, а сознание заключено в компьютер-ную симуляцию. В этом фильме личности всех остальных людей в симуля-ции воссозданы лишь с такой точностью, которая необходима для реали-стичного взаимодействия с главным героем. Например, у одного из второ-степенных персонажей, психиатра, есть две дочери, но он не знает их имен.
• «Темный город» (Dark City, 1998) [13] — Этот фильм можно также отнести к жанру мистического триллера, поэтому научной стороне описания уделяется меньше внимания. Фильм рисует мистическую картину и не раскрывает механизм симуляции. Тем не менее, он стал важной вехой в развитии идеи симуляции в кинематографе, которая была позднее разработана намного более детально в фильмах «Матрица» и «Тринадцатый этаж».
• «Матрица» (The Matrix, 1999 ) [8] — В этом фильме большая часть человечества подключена к гигантской компьютерной симуляции (Матрице) с момента рождения. Но люди не знают об этом до тех пор, пока кто-то извне не сообщает им правду. Машины, контролирующие симуляцию, способны в реальном времени вносить практически любые изменения в код симуляции. Люди, живущие в реальном мире, могут входить в симуляцию, создавая в Матрице свое alter ego и перенося в него свое сознание. Матрица стала первым фильмом о симуляции, добившимся широкой известности. Многие впервые познакомились с идеями симуляции реальности, благодаря этому фильму.
• «Тринадцатый этаж» (The Thirteenth Floor, 1999) [13] — Этот фильм ввел идеи вложенных симуляций и возможности перемещаться с од-ного уровня на другой. Компьютерная компания в конце 20-го века разрабо-тала симуляцию небольшого американского города начала 20-го века. Позд-нее выяснилось, что реальный мир на самом деле тоже является симуляцией, созданной в другой реальности, напоминающей будущее нашего мира (21-й или 22-й век). Герои фильма могут входить в симуляцию (или выходить из нее, поднимаясь на один уровень выше) только помещая сознание в тело уже существующего человека.
• «Ванильное небо» (Vanilla Sky, 2001) [15] — Это американский ремейк фильма «Раскрой глаза». Сюжет практически не был изменен, и ос-новные научные и философские предпосылки остались такими же.
В фильмах «Тринадцатый этаж», «Матрица» и «Темный город» при-сутствует идея ограниченности симулируемого мира и возможности оказать-ся в буквальном смысле на краю света (похожее происходит в фильме «Шоу Трумена» (1998)) и осознать конечность своего мира.
Эти идеи не только представлены в популярных фильмах и книгах, но и рассматриваются профессиональными философами. К примеру, фило-софские идеи, стоящие за фильмом «Матрица», разрабатываются более де-тально в разделе «Философия Матрицы» сайта фильма [12]. Но наиболее полное развитие эти идеи получили в противоречивой теории, известной как «Аргумент о симуляции» (Simulation Argument).
Главная идея аргумента о симуляции, впервые высказанная Ником Бостромом [1] состоит в том, что «если мы не считаем, что мы сейчас живем в компьютерной симуляции, то у нас нет оснований верить, что наши потом-ки станут запускать множество исторических симуляций».
Эта идея получила свое дальнейшее развитие в статьях Робина Хан-сона (Robin Hanson) и Барри Дайнтона (Barry Dainton). В своей работе «Как жить в симуляции» [7] Хансон дает несколько советов относительно опти-мального поведения для людей, считающих, что они, возможно, живут в си-муляции. К сожалению, его идеи основаны на неправильных предпосылках (как будет показано в данной работе), а его предложения часто иррациональны и малоэффективны. К примеру, Хансон делает предположение о том, что «возможно, симуляции обычно завершаются после того, как достаточное число людей в них становится уверенным в том, что они живут в симуляции», а значит, «вам следует предотвратить широкое распространение подобных идей» [7]. Подобное высказывание — это не более чем пустые догадки с его стороны, демонстрирующие невнимание к внутренней непротиворечивости и рациональности гипотез. Вполне возможен противоположный исход: когда достаточное число людей осознает, что они живут в симуляции, они будут перенесены в реальный мир, а симуляция остановлена. Далее Хансон делает предположение, что поиск людей, которые на самом деле являются посетителями симуляции, и близкое общение с ними могут иметь благоприятный эффект. При этом он полностью игнорирует обратную возможность, например то, что наш мир может оказаться GTA-подобной  игрой. Такие предположения не имеют никакой ценности кроме развлекательной.
В статье «Потеря невинности: симуляционные сценарии: перспекти-вы и следствия» [2] Барри Дайнтон вводит несколько новых идей, таких как классификация форм виртуального существования (modes of virtual life). За-тем он формулирует аргумент о симуляции, используя рассуждения, схожие с теми, что предложены Бостромом, делая при этом такие же ошибки. В кон-це статьи он рассматривает несколько возможных этических возражений против создания симуляций:
1. Возражение меньшей ценности (The Objection from Lesser Value) — симуляции не должны создаваться, поскольку жизнь в симуляции хуже жизни в реальности.
2. Возражение против обмана (The Deception Objection) — симуля-ции не должны создаваться, поскольку они неизбежно связаны с массовым обманом.
3. Эгоистическое соображение (The Self-Interest Consideration) — симуляции должны быть запрещены цивилизацией, чтобы гарантировать, что она сама не находится в симуляции.
Первые два аргумента достаточно разумны и стоят внимания, но по-следний явно неправилен и страдает от тех же логических ошибок (проблема «логического круга») и проблем с причинностью.
Аргумент о симуляции тесно связан с основным вопросом филосо-фии. Особенность аргумента о симуляции заключается в том, что одни его аспекты имеют материалистическую природу, а другие соответствуют объ-ективному идеализму. В частности идеалистическая концепция "первого толчка" довольно точно отражает природу запуска симуляции ее создателя-ми, а концепции "идей" или "идеальных чисел" точно соответствуют природе симуляции как компьютерной программы. Материалистическое убеждение о познаваемости мира и адекватности отражения действительности в челове-ческом сознании оказывается ложным. Симуляция — "это мир, который был выстроен перед… глазами [человека], чтобы скрыть от [него] правду" [8].
В целом можно сказать, что философская природа симуляции, буду-чи наблюдаемой ее обитателями, скорее является идеалистической. В то же время, с позиций ее создателей, природа симуляции может быть материали-стична. Сознание (или разум) симулированного человека — это свойство высокоорганизованной материи, компьютерных компонент, организованных посредством сложных программ. Сама базовая реальность (а следовательно и метавселенная) может иметь материалистичную природу.
К сожалению, все перечисленные выше работы, посвященные аргу-менту о симуляции, содержат ряд стандартных ошибок, таких как «логиче-ский круг», авто-референция, игнорирование неслучайной позиции наблюда-телей, нарушение причинности и пренебрежение контролем симуляции со стороны создателей. Существующая критика аргумента о симуляции, как правило, игнорирует наиболее серьезные ошибки и сосредотачивается на частностях. Уровень логической аргументации обычно невысок. Мне не уда-лось обнаружить ни одной статьи, в которой был бы подробно разобран аргумент о симуляции.
В этой работе я представил первый детальный анализ «аргумента о симуляции», продемонстрировал обнаруженные логические ошибки в аргу-ментации и предложил некоторые альтернативы идеям симуляции. Кроме того, я рассмотрел проблему этических принципов постчеловеческих циви-лизаций и предложил несколько гипотез, не зависящих от особенностей на-шей цивилизации.
По результатам проведенного анализа можно заключить, что аргу-мент о симуляции является ошибочным. Избежать логических ошибок, сде-ланных Бостромом, в аргументе о симуляции не представляется возможным. Следует признать, что вопрос о реальности нашего мира все еще остается предметом индивидуальных убеждений. В то же время, реальность нашего мира не накладывает никаких ограничений на перспективы технического прогресса, возможность достижения постчеловеческого этапа развития и создания исторических симуляций.
В первой части работы дан краткий обзор исходной статьи Бострома и перечислены неявно сделанные им допущения.
Во второй части подробно рассмотрена основная формула расчета вероятности проживания в симуляции и продемонстрированы ошибки, до-пущенные Бостромом в расчетах.
Третья часть посвящена разбору логических ошибок в аргументе о симуляции. В ней также показано несоответствие доказательства Бострома принципам научного подхода.
В четвертой части даны аргументы против симуляции, не связанные с ошибками оригинального доказательства Бострома.
Последняя часть содержит комментарии к интерпретации аргумента о симуляции, сделанные в исходной статье. Приводится аргумент о полном контроле симуляций со стороны создателей.

Определения

В данной работе используются некоторые специальные термины, относящиеся к проблеме симуляции реальных миров. Термины, предложен-ные другими авторами, используются в их исходных значениях.
Постчеловеческая цивилизация — цивилизация потомков человека, изменившихся до такой степени, что они уже не могут считаться людьми. Постчеловеческая цивилизация, вероятно будет обладать высокоразвитыми вычислительными технологиями, нанотехнологиями, технологиями искусст-венного интеллекта и многими другими.
Симуляция — компьютерная программа, моделирующая в какой-либо форме разум и/или сознание одного или нескольких людей, а также физическое окружение, с которым они могут взаимодействовать. Реалистич-ные симуляции моделируют окружение, схожее с реальным миром.
Историческая симуляция — симуляция, в которой смоделировано человеческое общество прошлого.
Базовая цивилизация — цивилизация, существующая в реальном мире, а не в симуляции.
Симуляция первого уровня — симуляция, запущенная базовой циви-лизацией.
Вышестоящая цивилизация (по отношению к какой-либо симуляции) — цивилизация, запустившая данную симуляцию.
Метавселенная — гипотетическое множество всех существующих вселенных. Это множество включает все базовые реальности, а также все симуляции, запущенные внутри вселенных из данного множества (как ре-альных, так и симулированных).
;
Обзор статьи «Are we living in a computer simulation?»

В первой части статьи (Предположение о независимости от носите-ля) Бостром рассматривает предпосылки для идеи симуляции. Вначале он делает предположение о независимости от носителя, означающее, что «соз-нание может существовать не только в органических в своей основе биоло-гических нейронных сетях внутри черепной коробки», но «психические и интеллектуальные состояния могут быть реализованы на множестве различ-ных физических носителей» [1]. Хотя Бостром лишь кратко затрагивает этот вопрос и не дает ссылок на обсуждение этой возможности в существующей литературе, подобная идея не противоречит современным знаниям в биоло-гии и теории вычислительных систем. Роджер Пенроуз [7] и несколько дру-гих авторов являются противниками этой теории, предполагая, что сознание имеет в своей основе квантовую природу и не может быть воспроизведено на носителях иных, чем человеческий мозг, но эти идеи не получили широкого распространения в научной среде.
В следующей части (Технологические ограничения вычислительной мощности) Бостром подробно анализирует вычислительные мощности, не-обходимые для симуляции человеческого сознания или целых цивилизаций. Наиболее важные описанные им показатели перечислены ниже:
• Вычислительная сложность человеческого мозга: ~1016—1017 операций в секунду.
• Максимальный объем чувственной информации: ~108 бит в се-кунду.
• Объем вычислений, необходимый для реалистичной симуляции всей истории человечества: ~1033—1036 операций.
• Вычислительная мощность компьютеров на базе нанотехнологий: 1021 операций в секунду на куб. см.
• Теоретический предел вычислительной мощности на 1 кг веще-ства: 5•1050 операций в секунду.
Приведенные оценки представляются достаточно обоснованными.
При этом стоит отметить, что проведенный Бостромом анализ не имеет значения для аргумента о симуляции. Как будет показано ниже, значе-ние имеют только возможности базовой цивилизации. Если мы допускаем возможность нашего существования в компьютерной симуляции (то есть, что мы не являемся базовой цивилизацией), то лишь потенциал вышестоящей цивилизации играет существенную роль, но мы не можем определить его.
В главном разделе (Суть аргумента о симуляции) Бостром предлага-ет формулу для расчета вероятности произвольным образом выбранному человеку оказаться в симуляции. Бостром приходит к выводу, что по крайней мере одно из приведенных ниже утверждений верно :
• Доля цивилизаций, достигающих в своем развитии постчеловече-ского этапа, близка к нулю.
• Доля постчеловеческих цивилизаций, заинтересованных в созда-нии исторических симуляций, близка к нулю.
• Большинство людей живет в одной из симуляций.
Этот раздел содержит большое число серьезных математических ошибок. Кроме того, Бостром делает несколько некорректных допущений относительно используемых переменных. Подробный анализ этих ошибок будет дан в разделе 3 настоящей работы.
В следующем разделе (Слабый принцип безразличия) Бостром объ-ясняет логику своих расчетов и делает попытку показать, что выбор произ-вольного человека в нашем мире может считаться случайным для целей ар-гумента о симуляции. Именно в этом разделе он делает наиболее серьезные ошибки, включая использование ложной аналогии в своем примере с ДНК. В разделе 4 настоящей работы описаны логические проблемы в аргументе о симуляции, раскрыто использование «доказательства по замкнутому кругу» и другие ошибки. Кроме того, в разделе 5 приведены несколько возражений против возможности симуляции миров, схожих с нашим.
Наконец, в последней части (Интерпретация) Бостром приводит не-сколько объяснений формул, полученных в главном разделе. Основные ошибки, сделанные им здесь, сводятся к игнорированию фундаментального отличия симуляции — того, что она в первую очередь управляется симуля-торами, и лишь после этого различными законами и правилами, заложенны-ми при создании симуляции. Раздел 6 содержит описание ошибок интерпре-тации.

Необходимые допущения
В рассматриваемой статье были описаны базовые идеи о независи-мости от носителя и вычислительных возможностях, но не было уделено внимания необходимым философским и мировоззренческим допущениям, важным для аргумента о симуляции. Ниже я попытался привести наиболее важные гипотезы, без которых невозможно обеспечить логическую состоя-тельность аргумента о симуляции.
1) Существует базовая реальность. Без этого, вся дискуссия о ре-альности и симуляциях теряет всякий смысл. Необходимо также отметить, что предположение о существовании реальности находится примерно на том же уровне, что и рассуждения о том, является ли наш мир реальным или лишь симуляцией.
2) Существует возможность запуска симуляции мира внутри ре-альности. В исходной работе эта гипотеза принимается без доказательства и даже не упоминается. Однако на данный момент у нас нет достаточного опыта создания симуляций, чтобы быть полностью уверенными в том, что симуляция, неотличимая от реальности, вообще может быть создана. Лучшие образцы симуляций сегодня — это компьютерные игры и фильмы, но даже самые совершенные из них лишь частично реалистичны. Бостром ссылается на работы Дрекслера и Курцвейла, но в них обсуждаются лишь технические аспекты симуляций реальности и игнорируются философские аспекты таких возможностей.
3) Не существует циклов симуляций, где какая-то последова-тельность вложенных симуляций заканчивается на изначальной реаль-ности или ее части. Если бы циклы были возможны, то не существовало бы реальных критериев для признания мира симуляцией. Более того, в этом слу-чае наши представления о реальности пошатнулись бы настолько, что аргу-мент о симуляции потерял бы смысл.
4) Сложность симуляции ниже сложности мира, в котором она запущена. Это следует из теории информации и математических принципов кодирования. Важность этого допущения в том, что оно ведет к объективным различиям между симуляциями разного уровня вложенности и между симу-ляциями и реальностью.
5) Законы логики и математики абсолютны. Если это не так, то приходится допустить, что закон исключенного третьего и другие логиче-ские законы не верны в нашей вселенной и аргумент о симуляции (как и лю-бой другой аргумент) в принципе не имеет смысла. Надо отметить, что су-ществование симуляции, где логика не действует, запущенной из вселенной с действующей логикой, вполне возможно.
6) Число симуляций конечно. Аргумент о симуляции зависит от расчета вероятностей и средних показателей для всех вселенных. Если симу-ляций бесконечно много (или вселенных бесконечно много), то средние зна-чения показателей теряют смысл.
Кроме того, использование аргумента о симуляции требует сделать несколько менее общих предположений о метавселенной.
1. В базовой реальности существует хотя бы одна человеческая ци-вилизация.
2. Человеческая цивилизация имеет ненулевую вероятность пре-вращения в постчеловеческую цивилизацию. (Аргумент о симуляции не рас-крывает каких-либо различий между цивилизациями, могущими стать по-стчеловеческими и всеми остальными)
3. Постчеловеческая цивилизация имеет ненулевую вероятность за-пустить хотя бы одну симуляцию.
Ошибки в расчетах в оригинальной работе

В дополнение к ошибкам, допущенным в рассуждениях, Бостром использует формулы для расчета вероятности оказаться в симуляции, кото-рые содержат различные ошибки и неточности. Некоторые из этих ошибок непринципиальны и мало влияют на результат, тогда как другие намного более серьезны.

Бесконечное число вселенных

Одним из незначительных недостатков формул является неучтенная возможность существования бесконечного числа цивилизаций. Франк Тип-лер [10] показал, что вблизи точки Омега (гипотетический момент во времени перед коллапсом Вселенной) возможно достижение бесконечной вычис-лительной мощности. Другие ученые [16] распространили подобные аргу-менты на случай тепловой смерти Вселенной (вторая альтернатива — неог-раниченное расширение). Если неограниченная вычислительная мощность возможна, использование всех переменных из основной формулы ( fP,   и  ) является некорректным. Это не опровергает аргумент о симуляции, по-скольку формула может быть легко расширена на случай бесконечного числа симуляций, но этот недочет может повлиять на некоторые следствия. Более серьезным возражением является возможность реального существования множественных вселенных (не симуляций) или множества человеческих цивилизаций в базовой физической вселенной. Это делает теоретически возможным широкий спектр исходов, таких как следующие:
• Постчеловеческий этап развития наступит только после того, как большинство человеческих цивилизаций на разных планетах встретятся вме-сте (см. далее рассуждения о том, что постчеловеческий этап может далеко отстоять от сегодняшнего дня, и следствиях из этого). Это увеличивает коли-чество реальных людей по сравнению со случаем единственной реальной цивилизации и такого же количества симуляций.
• В зависимости от природы множественных вселенных, разница между цивилизациями, симулируемыми в различных реальных вселенных, может быть незначительной (см. далее рассуждения об идентичных лично-стях в симуляциях), в то время как различия между реальными цивилизация-ми в различных вселенных будут значительными. Если считать несколько идентичных симуляций лишь копиями, то число симулированных личностей значительно снизится. Реальные же люди в разных вселенных останутся раз-личными.
Другой важный аспект использования средних величин, игнорируе-мый Бостромом, заключается в том, что разные цивилизации находятся в разных условиях. Если дополнительные предположения, перечисленные в предыдущем разделе, верны (особенно предположение о снижающейся сложности симулированных вселенных), то «глубоко симулированные» ци-вилизации (симулированные внутри симуляции, симулированной внутри симуляции и т. д.) имеют меньше шансов достичь постчеловеческого уровня (а значит и запустить собственные симуляции). В таком случае использова-ние средней величины fP обманчиво, так как возможно существование на-блюдаемых признаков «глубины симуляции». Возможно, что наша способ-ность думать о создании симуляций — это показатель того, что мы находим-ся сравнительно близко к базовой реальности (насколько близко, и в реаль-ности или нет, разумеется, точно сказать нельзя). Это важный (хотя и не единственный) аргумент против принципа безразличия.

Число личностей

Особое внимание следует уделить расчетам числа личностей с чело-веческим опытом ( ). Возможно, что несмотря на, казалось бы, большое количество симулируемых людей, реальное число уникальных симулируе-мых личностей намного меньше. Также существует возможность того, что значительная часть симулируемых личностей принципиально отличается от нас отсутствием самосознания.Идентичные индивиды
В своей работе Бостром не описывает причины для создания исторических симуляций, считая желание их создавать само собой разумеющимся. Отсутствие конкретных причин для запуска исторических симуляций означает, что не известно никаких требований, предъявляемых к симуляциям их создателями. Таким образом, нельзя исключить возможность того, что постчеловеческая цивилизация, создавшая множество симуляций, будет использовать в них идентичных индивидов.
Возможность использования идентичных индивидов в различных симуляциях ставит множество вопросов. Это серьезная проблема, поскольку природа индивидуальности недостаточно хорошо изучена даже сама по себе. Можно привести убедительные аргументы как в пользу того, чтобы считать таких индивидов одной личностью, так и за то, чтобы считать их разными.
Такие люди могут обладать похожими, неотличимыми или даже полностью идентичными личностями. То же самое может быть сказано и относительно их опыта. Правила симуляций, определяющие накопление и распространение изменений во времени, могут быть разработаны для удоб-ства людей, создавших симуляцию. Нет никаких причин для того, чтобы, например, в симуляции, посвященной средневековой Японии, люди в ос-тальных частях света и в другие эпохи отличались от людей в других симу-ляциях.
Подобная возможность приводит к нескольким неочевидным по-следствиям для аргумента о симуляции. Неясно, должны ли такие люди счи-таться отдельными индивидами или всего лишь копиями одного индивида. В последнем случае общее число симулированных людей вполне может ока-заться сравнимым с числом реальных людей в базовой реальности. Это, в свою очередь, означает, что fsim вполне может принять большое значение, например, 0,5.

Люди без сознания

Другое обстоятельство, серьезно влияющее на справедливость аргу-мента о симуляции, это возможность симулирования людей без самосозна-ния. Такое симулирование может быть осуществлено из этических сообра-жений, так как симулирование реального мира (предположительно схожего с нашей человеческой историей) неизбежно влечет за собой боль и страдания для симулируемых людей. Есть основания полагать, что постчеловеческие цивилизации неизбежно проявляют глубокое уважение к сознающим существам в любой форме и вряд ли решат причинить им страдания, если этого можно избежать.
Люди без самосознания могут, тем не менее, быть разумными. Они могут также контролироваться центральной программой симуляции и вооб-ще не обладать индивидуальностью. Бостром затрагивает такую возмож-ность, отмечая, что «остальная часть человечества может состоять из зомби или “людей-теней” — людей, симулируемых на уровне, достаточном лишь для того, чтобы полностью симулируемые люди не заметили ничего подоз-рительного». Но он рассуждает об этом только применительно к «я-симуляциям», где лишь незначительное число людей полностью симулиру-ется, а остальные представляют собой «людей-теней». Бостром далее заявляет, что эту возможность можно полностью игнорировать, поскольку число людей в исторических симуляциях неизбежно будет намного больше, так как каждая из них будет включать в себя миллиарды людей.
Бостром называет только одну возможную причину для создания «людей-теней» — то, что их симуляция может оказаться дешевле, чем симу-ляция реальных людей. Он полностью игнорирует этический аспект, кото-рый наверняка будет намного важнее для постчеловеческой цивилизации, чем вопросы ресурсов. Существует реальная возможность того, что симуля-ции с «людьми-тенями» окажутся полностью достаточными для всех прак-тических целей и что постчеловеческие цивилизации не захотят полностью симулировать реальных сознающих людей. Главным критерием, опреде-ляющим, можно ли запускать симуляцию, будет способность симулируемых существ испытывать субъективные переживания, включая способность ис-пытывать боль и страдания. Если это так, то тот факт, что мы способны соз-навать себя, доказывает, что мы, скорее всего, не живем в симуляции.

Ошибки в формуле

Прежде всего, следует отметить, что описанные ниже исправления не помогают избежать «логического круга» и других логических ошибок. По этой причине, будут приведены только наиболее важные комментарии к формулам, использованным в исходной статье.
Бостром дает следующую формулу для расчета доли людей, живу-щих в симуляциях:
  (1)
Здесь fP — это доля человеческих цивилизаций, достигающих по-стчеловеческого этапа развития,   — это среднее число исторических си-муляций, запускаемых постчеловеческой цивилизацией, а   — это среднее число людей, живущих в цивилизации до достижения ею постчеловеческого этапа.
Бостром утверждает, что fsim — это «доля всех наблюдателей с чело-веческим опытом, живущих в симуляциях» [1], но он явно заблуждается. Данная формула, в том виде, в котором она записана, не несет практически никакого смысла. Числитель формулы равен среднему числу людей, симули-рованных одной цивилизацией, а не общему числу симулированных людей (всеми цивилизациями в метавселенной). Наиболее близкий к величине зна-менателя параметр — это среднее число людей, живущих в цивилизации и симуляциях следующего уровня, запущенных из этой цивилизации. Очевид-но, что значение fP  будет в большинстве случаев очень близко к 1, по-скольку
  и 
CPH — число постчеловеческих цивилизаций, Csim — число симуля-ций.
Таким образом, значение fsim, рассчитанное по формуле (1), будет практически всегда очень близко к 0,5, что явно противоречит выводам Бо-строма.
Первое исправление, которое необходимо сделать, это ввести в фор-мулу общее число цивилизаций C:
  (2)
Следующая проблема заключается в том, что   в знаменателе формулы (1) не может быть правильным значением числа людей, живших в базовой цивилизации до достижения ею постчеловеческого этапа развития. Эта переменная имеет вполне конкретное значение, не имеющее абсолютно ничего общего со средним значением этого показателя для всех цивилизаций метавселенной. Поэтому следующее исправление — это замена   перемен-ной Hbase, представляющей собой число людей, живших в базовой цивилиза-ции до достижения ею постчеловеческого этапа развития:
  (3)
Еще одна ошибка (похожая на предыдущую) состоит в том, что чис-ло симуляций, запущенных в базовой цивилизации, вероятно, тоже сильно отличается от средней величины. Обозначим это число Nbase. Сделав допуще-ние о том, что число людей в симуляциях первого уровня близко к среднему значению для всех симуляций, мы приходим к следующему варианту фор-мулы:
  (4)
Такая формула является более правильной, чем вариант, который был предложен Бостромом. Тем не менее, даже все эти изменения не снима-ют некоторой фундаментальной проблемы. Дело в том, что fP не имеет ника-кого смысла применительно к базовой цивилизации. Как будет показано ни-же, развитие базовой цивилизации подчиняется совершенно иным законам, чем развитие симулируемых цивилизаций. Поскольку достижение постчело-веческого этапа развития базовой цивилизацией — это неповторяющееся событие, исход которого уже определен (хотя обычно и не может быть полу-чен в рамках симуляции), и которое напрямую связано с природой реально-сти (существование метавселенной). Применительно к базовой цивилизации, вместо вероятности fP должна быть использована величина, принимающая значения 0 (базовая цивилизация достигла постчеловеческого этапа, и, если Nbase>0, то метавселенная существует) или 1 (базовая цивилизация не достиг-ла постчеловеческого этапа, метавселенной не существует, а мы живем в реальном мире).

Использование термина «вероятность»

На протяжении всей статьи Бостром использует термин «вероят-ность», что может ввести читателя в заблуждение. Как мне кажется, пра-вильно было бы использовать термин «степень уверенности» (определенно-сти). Это более корректно, поскольку обсуждается не будущий исход вос-производимого случайного события, а определение истинности утверждения об уже свершившемся факте. Степени уверенности могут тоже быть рассчи-таны с применением теории вероятностей (если они удовлетворяют аксио-мам Колмогорова), но переход от вероятностей к степеням уверенности, ко-торый сделал Бостром (переход от расчета вероятностей для метавселенной к применению полученного результата к нашему существованию), мне кажется не вполне корректным.
Спорным является и то, в какой степени вероятности могут быть ис-пользованы для полностью детерминистского мира, такого как компьютер-ная симуляция, в которую не вводятся дополнительные данные после ее за-пуска.
Еще одна проблема заключается в том, что использование термина «вероятность» неявно подразумевает, что, если математические расчеты верны, то исход определяется этими вероятностями. С другой стороны, использование термина «степень уверенности» лучше демонстрирует то, что окончательный ответ в значительной степени зависит от дополнительной информации, которой мы пока не обладаем (как и в случае с любыми философскими рассуждениями о природе нашего мира). Использование теории вероятностей не позволяет получить принципиально новую информацию, которая не была изначально доступна (можно лишь изменить представление существующей информации), поэтому окончательный ответ сильно зависит от предположений о природе метавселенной, которые мы делаем (как будет показано в следующем разделе).

Запрет на вложенные симуляции

Бостром пишет: «Симулируемые цивилизации могут быть способны достичь постчеловеческого этапа развития. Тогда они смогут запустить свои собственные исторические симуляции на мощных компьютерах, которые они построят в своей симулируемой вселенной» [1, с. 9]. До этого Бостром не говорит о такой возможности явно, но все его предыдущие рассуждения и расчеты, на самом деле, прямо зависят от этого предположения.
Бостром заявляет: «Таким образом, если мы не считаем, что мы сей-час живем в компьютерной симуляции, у нас нет оснований полагать, что наши потомки запустят множество таких симуляций своих предков [т. е. ис-торических симуляций]» [1]. Но если допустить, что не существует вложен-ных симуляций, то симуляции можно запускать только в базовой реальности. Это означает, что если мы полагаем, что наши потомки (или мы сами) запустим симуляции, то мы сейчас живем в реальном мире.
Принимая во внимание значение такого результата, имеет смысл внимательно изучить вероятные причины, по которым симулируемые циви-лизации могут оказаться неспособными запускать свои собственные симуля-ции или достигать постчеловеческого уровня. Можно привести несколько подобных причин.
1. Создание вложенных симуляций может оказаться слишком доро-гим (запуск вложенных симуляций способен очень быстро увеличивать вы-числительные затраты на работу симуляции первого уровня).
2. Это может быть технически невозможным в силу законов приро-ды в симуляции.
3. Вышестоящая цивилизация может ненавязчиво запретить созда-ние вложенных симуляций или даже мысли о них. Поскольку базовая циви-лизация будет иметь полный контроль над симуляциями, она легко может это сделать. Базовая цивилизация может быть не заинтересована во вложен-ных симуляциях. Поскольку причины, по которым создаются симуляции, в той или иной степени эгоистичные, если создание вложенных симуляций не будет отвечать целям базовой цивилизации, она вполне может запретить такие симуляции.
В дополнение к возражениям против вложенных симуляций сущест-вуют и серьезные аргументы против симулирования постчеловеческих циви-лизаций. Эти аргументы будут рассмотрены ниже.

Ошибки в рассуждениях в оригинальной работе

Основные ошибки в статье Бострома связаны с доказательством по замкнутому кругу, авто-референцией, неслучайной позицией наблюдателя (observational bias) и нарушением причинности. Коротко эти проблемы мож-но выразить так: если мы живем в симуляции, делать любые выводы из на-шего существования некорректно.

Доказательство по замкнутому кругу
Если мы не живем в симуляции, то все рассуждения относительно fI или fP являются некорректными, поскольку fsim равно нулю. Мы точно знаем, что мы не запускаем симуляций, поэтому аргумент о симуляции не действу-ет. Это пример часто встречающейся логической ошибки, известной как «ло-гический круг» . Известный в философии пример ее использования — это доказательство существования Бога, предложенное Рене Декартом (также известное как Cartesian Circle) [3].
На это можно возразить, что хотя мы и не запускаем симуляций се-годня, но мы можем начать делать это в будущем, и эти будущие симуляции необходимо учесть. Однако подобный аргумент не выдерживает критики. Учет будущих симуляций не только противоречит здравому смыслу (если мы предположим, что мы живем в реальном мире, то аргумент о симуляции бесполезен и бессмыслен), но и нарушает несколько важных философских и физических принципов. Во-первых, он нарушает принципы причинности, допуская влияние будущих событий на сегодняшний мир. Во-вторых, он иг-норирует то, что из-за принципа неопределенности в квантовой механике будущее является недетерминистским, и предсказания относительно буду-щих симуляций невозможны ни на практике, ни в теории.
Таким образом, все значения вероятностей, используемые (открыто или неявно) в аргументе о симуляции, включая вероятность того, что наша жизнь «реализована in vivo, а не in machina» [1], зависят от природы базовой цивилизации, а значит и того, являемся ли мы сами базовой цивилизацией или нет.

Неслучайная позиция наблюдателя
При попытках определить природу метавселенной, неизбежны зна-чительные искажения, вносимые неслучайной позицией наблюдателя, кото-рые необходимо учитывать. Проблема с аргументом о симуляции заключается в том, что множество допущений, которые делаются относительно метавселенной и всех симуляций в ней, основаны на нашем опыте и характеристиках нашей цивилизации.
Не существует никакого способа надежно предсказать характер ис-торических симуляций, которые мы можем создать в нашем постчеловече-ском будущем. Вполне возможно, например, что наш переход к постчелове-честву произойдет лишь через сотни тысяч лет и что большинство симуля-ций будет затрагивать период после тысячного века. Также возможно, что инопланетяне высадятся на Земле и передадут нам все необходимое для пре-вращения в постчеловеческую цивилизацию, но мы при этом трансформиру-емся в инопланетный аналог постчеловечества (поскольку полученные зна-ния и технологии будут иметь инопланетную, а не человеческую природу). В таком случае у нас не будет причин создавать исторические симуляции по-хожие на 20-й или 21-й век. Вместо этого мы будем создавать симуляции инопланетной истории. Кроме этих двух, возможно огромное количество других вариантов.
Еще сложнее узнать что-то определенное относительно базовой ци-вилизации, если мы не являемся таковой. Шансов определить что-то пра-вильно у нас не больше, чем у монстра из Quake есть шансов догадаться, на что похож мир, где был запрограммирован Quake.
Бостром неявно предполагает существование метавселенной, а затем делает выводы относительно вероятностей, но главная предпосылка существования метавселенной не доказана. Главная проблема аргумента о симуляции состоит в том, что нам необходимо знать, живем мы в симуляции или нет, для того, чтобы определить природу метавселенной. Это, в свою очередь, используется для расчета вероятности того, что мы живем в симуляции. Но рассуждение, в котором начальные условия зависят от результата, никак не может быть правильным.
Если мы живем в симуляции, то не мы определяем правила метавсе-ленной. Тогда любые аргументы вроде «бесспорно, множество людей захо-чет запустить историческую симуляцию, если у них будет такая возмож-ность» [1] порочны. Мораль, законы природы, природа сознания, все опреде-ляется изначальной цивилизацией. И если мы не являемся ей, то нет никакой возможности быть хоть в чем-то уверенными относительно метавселенной.
Эффект неслучайной позиции наблюдателя не обсуждается в исход-ной статье. Бостром полностью игнорирует невозможность определения природы метавселенной, находясь в симуляции.

Ненаучный подход
Помимо описанных выше логических ошибок, аргумент о симуляции содержит некоторую неясность относительно того, что собственно он доказывает. Как было показано выше, для него необходимо предположение о существовании метавселенной. Поэтому можно сказать, что аргумент о симуляции может помочь определить, где (в симуляции или реальном мире) находится случайно выбранный человек, если его мир часть метавселенной. Но аргумент о симуляции не отвечает на вопрос о существовании метавсе-ленной, поэтому он не может быть использован для ответа на вопрос, живем мы в симуляции или нет.
Даже если наша цивилизация будет способна создавать симуляции в будущем и захочет это делать, это абсолютно ничего не говорит о нашем собственном происхождении. Существует множество гипотез о возникнове-нии нашего мира: создание его одним из множества богов, Большой Взрыв, жизнь в симуляции и т. п., и аргумент о симуляции нисколько не помогает сделать выбор между этими гипотезами.
При том, что существуют доказательства, свидетельствующие в пользу некоторых из этих гипотез (в первую очередь, в пользу Большого Взрыва), нет абсолютно никаких свидетельств, подтверждающих или опро-вергающих гипотезу о симуляции. Единственное доступное нам сейчас сви-детельство — наше субъективное переживание существования в этом мире — может быть объяснено одинаково хорошо как гипотезой, что мы живем в симуляции, так и гипотезой, что мы живем в реальном мире. Философия и наука в целом, как правило, не позволяют делать необоснованные допуще-ния о природе мира, поэтому проверить эти гипотезы мы можем только по-лучив дополнительные свидетельства, а не используя предвзятые мнения о мире.
Возможно, существуют способы определить природу метавселенной или узнать, что мы находимся в симуляции, используя только информацию, доступную внутри нашего мира. Но также возможно и то, что ответ на эти вопросы можно получить только извне нашего мира (либо вообще нельзя получить в том случае, если мы живем в реальном мире). Такая ситуация тесно связана с идеями авто-референции, или способности независимо и ясно воспринимать самого себя. Эти вопросы подробно рассматриваются в книге «Гёдель, Эшер, Бах. Эта бесконечная гирлянда» Дугласа Хофштадера [5].
Важной характеристикой научного подхода является игнорирование непроверяемых гипотез. Новелла [13] задает вопрос «Что может ученый-скептик сказать о таких утверждениях? Лишь то, что они за пределами применимости науки, и что позиция науки применительно к непроверяемым гипотезам может быть только агностической». По этой причине, до тех пор, пока не получены дополнительные свидетельства, ответ на вопрос, живем ли мы в симуляции, может быть исключительно предметом личной веры, а не научного знания.

Аргументы против гипотезы о нашем существовании
в симуляции

Помимо выявления логических ошибок в аргументе о симуляции, представляется оправданным отметить несколько важных факторов, могу-щих указать на то, живем ли мы в симуляции. Общее между ними то, что в каждом случае допускается, что наша цивилизация может обладать какими-то уникальными качествами, вероятность наличия которых у симулируемой цивилизации невелика.
Нет оснований быть уверенными в том, что приведенные ниже предположения верны. Тем не менее, они могут представлять определенный интерес, в той степени, в какой они независимы от нашей реальности и опре-деляются лишь универсальными свойствами постчеловеческой цивилизации, способной запускать симуляции.
Возможно, что наша цивилизация и наше время не являются инте-ресными для симулирования по одной из следующих причин:
• глобальное общество менее интересно, чем национальные и ме-стные общества
• технологическое общество 20-го и 21-го веков слишком прими-тивно, чтобы представлять интерес
• симулирование большого населения не предоставляет дополни-тельных преимуществ по сравнению с небольшими популяциями
• цивилизации, объединяющие множество культур, слишком бес-порядочные, и их симуляция не имеет никакой практической пользы
Если какая-либо из перечисленных причин верна, то тот факт, что мы живем в начале 21-го века, означает, что наш мир, скорее всего, реален.
Другая вероятная возможность состоит в том, что постчеловеческие цивилизации не запускают симуляции с сознающими индивидами (как обсу-ждалось выше), заменяя их разумными, но не сознающими существами. В этом случае тот неоспоримый факт, что мы сознаем свое существование, доказывает, что мы не находимся в симуляции. Как уже говорилось ранее, Бостром обсуждает возможность «людей-теней» только применительно к «я-симуляциям» и игнорирует тот факт, что они могут оказаться наиболее прак-тичными и для исторических симуляций.
В связи с этим интересно отметить «эгоистическое соображение», предложенное Барри Дайнтоном. Он делает нелепое предположение, что цивилизации могут отказаться от создания симуляций, как будто это изменит природу их собственного мира, но при этом он игнорирует вполне реальную возможность того, что всем возможным (но не обязательно существующим) постчеловеческим цивилизациям присуща определенная мотивация, которая может предотвратить создание симуляций с сознающими личностями.
Возможно также, что симуляция постчеловеческих цивилизаций (или отдельных постлюдей) не представляет интереса. Постлюди едва ли будут находиться под влиянием общества, и могут вообще не иметь общест-ва как такового. В таком случае перестает действовать один из важных фак-торов, мотивирующих создание симуляции цивилизации — наблюдение и анализ группового поведения. Многие постлюди в реальности могут жить в собственных симуляциях и нет оснований полагать, что симулируемые по-стлюди будут сильно отличаться от реальных постлюдей. Постлюди также будут способны перемещаться между уровнями метавселенной, переходя из симуляции в вышестоящую цивилизацию и наоборот.
Такая возможность значительно снижает общее число симулируе-мых людей из-за отсутствия вложенных симуляций (как было показано вы-ше). Дополнительные этические и прочие соображения могут привести к нежеланию симулировать цивилизации, способные к достижению постчело-веческого этапа развития (поскольку в этом случае возникает необходимость активного вмешательства или прекращения симуляции). В этом случае тот факт, что мы способны думать о превращении в постлюдей и определенно движемся в этом направлении, указывает на то, что мы не живем в симуляции.

Медленное движение к постчеловеческому этапу

Бостром заявляет, что «аргумент о симуляции действует не менее эффективно для тех, кто полагает, что достижение постчеловеческого этапа развития потребует сотен тысяч лет». Но это не так. Развитие постчеловече-ской цивилизации в базовой реальности может занимать намного больше времени, чем в симуляциях, например, из-за того, что научный и технический прогресс в симуляциях специально ускорен для удобства наблюдателей. Если это так, то HBASE (число людей, живших в базовой цивилизации до мо-мента достижения ею постчеловеческого этапа развития) может быть значи-тельно больше, чем  . Это может сильно понизить значение fsim, что, в свою очередь, повысит вероятность жить в реальном мире.

Ошибки в интерпретации аргумента о симуляции

Законы, управляющие симуляциями
В своей статье Бостром постоянно игнорирует отличительную осо-бенность симуляций. Можно предположить, что практически всегда создате-ли симуляции будут полностью контролировать происходящее в ней. Это означает, что любые исторические закономерности, этические соображения и даже законы природы в симуляции имеют второстепенное значение. Собы-тия в симуляции всегда в первую очередь зависят от воли наблюдателей, контролирующих симуляцию.
Тем не менее, Бостром упускает этот момент и часто делает оши-бочные допущения о том, что симуляция будет действовать по определен-ным законам. К примеру, он замечает, что для того, чтобы значение fI (доля постчеловеческих цивилизаций, заинтересованных в создании симуляций) было мало, «необходима сильная конвергенция направлений развития циви-лизаций высокого уровня» [1]. Далее Бостром описывает две возможности — что постчеловеческие цивилизации не станут запускать симуляции из этиче-ских соображений или что у них просто исчезнет желание это делать. Бост-ром ничего не говорит о возможности того, что вышестоящая цивилизация может запретить создание вложенных симуляций.
Для постчеловеческой цивилизации контроль над всеми симуляция-ми первого уровня будет очень простым делом. Совсем не сложно будет за-претить создание в них вложенных симуляций. Возможно также, что компь-ютеры в симуляциях не будут симулироваться, а программы будут выпол-няться напрямую на компьютерах вышестоящей цивилизации (для повыше-ния эффективности или из иных соображений). Это означает, что симули-руемые цивилизации первого уровня могут создавать вложенные симуляции, но они не будут содержать реальных (сознающих или реальных согласно любому другому определению) людей. В то же время, у постлюдей из симу-ляции первого уровня сложится впечатление, что они на самом деле запусти-ли симуляцию.

Угасание
Похожую ошибку Бостром делает, описывая угасание симулируе-мых цивилизаций как естественный процесс. Если симулируемые цивилиза-ции существуют, тогда очень вероятно, что большинство из них прекратят свое существование не естественным образом, но в результате действий соз-дателей симуляции. Очевидно, что механизмы прекращения существования в этом случае сильно отличаются, поскольку создатели симуляции не ограни-чены в своих действиях естественными явлениями. Существует множество возможных альтернатив. К примеру, симулируемые цивилизации могут быть замедлены (или даже остановлены с сохранением состояния симуляции) в момент приближения к постчеловеческому этапу развития. Следует отме-тить, что остановка цивилизации (постановка на паузу с возможностью по-следующего запуска), вероятно, лучшая альтернатива, чем вымирание.
Наиболее приятной является следующая альтернатива. При остановке симуляции все люди из нее могут быть перенесены в вышестоящую цивилизацию. Менее приятная возможность — это искусственная ликвидация. Симуляция может быть просто остановлена и стерта, вне зависимости от ситуации в симулируемой вселенной и без видимых причин (с точки зрения симулируемых, которые, впрочем, даже и не заметят такой ликвидации). Кроме того, симулируемая цивилизация может быть уничтожена любым мыслимым способом до того, как сама симуляция будет остановлена. Для симулируемых людей это будет выглядеть как апокалипсис, Армагеддон, Судный день или Рагнарек. Но в любом случае, подобные события будут вызваны внешними причинами, а не процессами внутри симуляции.

Награды, наказания и загробная жизнь
В рассматриваемой статье в наивной попытке «провести несколько свободных аналогий с религиозными представлениями о мире» [1, с. 10], Бостром предлагает возможные механизмы для реализации некоторые рели-гиозных представлений. Опираясь на моральный абсолютизм, он предлагает метавселенную, где вышестоящие цивилизации награждают или наказывают симулируемых людей и даже обеспечивают им загробную жизнь, соответст-вующую их поведению в симулируемом мире.
Как уже обсуждалось ранее, у нас нет никаких оснований делать ка-кие-либо предположения о базовой цивилизации, если мы не являемся ею. Любые идеи о морали вышестоящих цивилизаций являются исключительно умозрительными. Кроме того, причины существования симуляций могут сильно различаться. Простым примером является разница между приемле-мым (определяемым создателями симуляции) поведением для монстров в Quake и «симов» в игре Sims.
Но есть и более серьезные возражения против подобных псевдо-религиозных идей.
1. Награждать или наказывать свои собственные создания (особен-но, если они по сути являются компьютерными программами) — это в край-ней степени иррациональное и просто нелепое занятие. Возможным исклю-чением являются эксперименты с искусственным отбором или тренировкой, но это не имеет никакого отношения к этике и морали, а критерии могут быть совершенно произвольными.
2. Идея загробной жизни не лишена логики, как было отмечено вы-ше, но нет оснований полагать, что в загробной жизни люди будут в какой-то форме награждены или наказаны. Маловероятно, что постлюди, способные создавать симуляции, будут иметь столь иррациональное и варварское мышление, необходимое для таких действий.
Заключение
Формула Бострома для расчета вероятности проживания в симуля-ции содержит серьезные математические ошибки. Теория вероятностей ис-пользуется в оригинальной статье некорректно и без учета философской специфики предмета. Рассуждения, основанные на математических расчетах, содержат дополнительные логические ошибки, например, такую как «логический круг», и пренебрегают неслучайной позицией наблюдателя.
По результатам проведенного анализа можно заключить, что аргу-мент о симуляции является ошибочным. Избежать логических ошибок, сде-ланных Бостромом, в аргументе о симуляции не представляется возможным. Кроме того, есть определенные основания полагать, что некоторые характе-ристики нашей цивилизации указывают на наше существование в реально-сти.
Следует заключить, что вопрос о реальности нашего мира все еще остается предметом индивидуальных убеждений. В то же время, реальность нашего мира не накладывает никаких ограничений на перспективы техниче-ского прогресса, возможность достижения постчеловеческого этапа развития и создания исторических симуляций.

Библиография

1. Are You Living In a Computer Simulation? Nick Bostrom. Philosoph-ical Quarterly, 2003, Vol. 53, No. 211, pp. 243-255.
http://www.simulation-argument.com/simulation.html
2. Abre los ojos (Open Your Eyes). Alejandro Amen;bar, 1997
http://www.imdb.com/Title?0125659
3. The Cartesian Circle. Philosophy Circle
http://www.philosophycircle.com/features/features39.html
4. Dark City. Alex Proyas, 1998
http://www.imdb.com/Title?0118929
5. G;del, Escher, Bach: an Eternal Golden Braid. Douglas R. Hofstadter. Basic Books, 1979
Гедель, Эшер, Бах: эта бесконечная гирлянда. Хофштадтер Д. Бахрах, 2001
6. Innocence Lost: Simulation Scenarios: Prospects and Consequences. Barry Dainton, 2002, Draft.
http://www.simulation-argument.com/dainton.pdf
7. How to Live in a Simulation. Robin Hanson, 2001, Journal of Evolu-tion and Technology, Vol. 7. http://www.transhumanist.com/volume7/simulation.html
8. The Matrix. Andy Wachowski, Larry Wachowski, 1999
http://www.imdb.com/Title?0133093
http://www.whatisthematrix.com
9. Philosophy & The Matrix. John Partridge, Christopher Grau, Colin McGinn, Kevin Warwick et al.
http://whatisthematrix.warnerbros.com/rl_cmp/phi.html
10. The Physics of Immortality. Frank Tipler. Doubleday, 1994
Summary of the Omega Point theory: http://www.math.tulane.edu/~tipler/summary.html
11. Shadows of the Mind: A Search for the Missing Science of Con-sciousness. Roger Penrose, Oxford University Press, 1994.
12. The Simulation Argument
http://www.simulation-argument.com/
13. Skepticism and Religion Revisited. Steven Novella. The New England Journal of Skepticism Vol. 1 Issue 3 (Summer 98)
14. The Thirteenth Floor. Josef Rusnak, Daniel F. Galouye (novel), 1999
http://www.imdb.com/Title?0139809
15. Vanilla Sky, Cameron Crowe, Alejandro Amen;bar, 2001
http://www.imdb.com/Title?0259711
16. Источник неизвестен. Сообщение группы британских ученых в 2001 году.



;

М.Чиркович, А.Сандберг,
Н.Бостром. Антропная тень:
эффектнаблюдательной селекции
и риски вымирания человечества

«Risk Analysis», forthcoming
Milan M. ;irkovi;
Astronomical Observatory of Belgrade, Volgina 7,
11160 Belgrade-74, Serbia
E-mail:  mcirkovic@aob.rs
Anders Sandberg
Future of Humanity Institute, Faculty of Philosophy
& James Martin 21st Century School, Oxford University, Oxford, UK
E-mail:  anders.sandberg@philosophy.ox.ac.uk
Nick Bostrom
Future of Humanity Institute Faculty of Philosophy & James Martin
21st Century School, Oxford University, UK
E-mail:  nick.bostrom@philosophy.ox.ac.uk

Перевод: Д.Э.Борисоглебский
dmitry.borisoglebsky@gmail.com
Редакция: А.В.Турчин

Оригинал:
http://www.nickbostrom.com/papers/anthropicshadow.pdf
перевод:
http://www.scribd.com/doc/48444529/anthropicshadow2

Мы описываем значительные практические последствия от принятия в расчет антропного искажения (antropic bias – этот термин происходит от термина «антропный принцип» и описывает систематическую ошибку, воз-никающую в результате неучёта изменения числа наблюдателей в результате некоторых событий – прим.пер.) при выводе предсказаний относительно редких случайных катастрофических событий. Оценки вероятности рисков, связанных с такими катастрофическими событиями как астероидные/кометные удары, супервулканические извержения и взрывы сверхновых/гамма-всплески, основаны на наблюдении частоты, с которой они происходят. В результате систематически недооцениваются частоты катастроф, которые уничтожают наблюдателей или другим образом несовместимы с их существованием. Мы описываем последствия антропного искажения при оценке катастрофических рисков и называем некоторые темы для дальнейших исследований.
Ключевые слова: глобальные катастрофы, угрозы существованию, природные опасности, астробиология, эффекты селекции, антропный прин-цип, управление рисками, угрозы космических столкновений, фазовый пере-ход вакуума.
Введение: угрозы существованию и эффекты
наблюдательной селекции
Человечество стоит перед рядом глобальных угроз, расположенных как в близком, так и далёком будущем. Для любого человека, заинтересован-ного в будущем нашего биологического вида, эти угрозы представляют тео-ретический интерес; они также напрямую связаны с принимаемыми сейчас прикладными и стратегическими решениями. Общее понимание возможных глобальных катастроф возросло благодаря последним открытиям в геохимии, эволюции человека, астрофизики и молекулярной биологии [1-6]. Это исследование рассматривает подмножество катастроф, называемых угрозами существованию (existential risks -УС), которые могут привести либо к уничтожению разумной жизни на Земле, либо навсегда и значительно ограничат её потенциал [7]. В качестве примеров УС можно взять тотальную ядерную войну, столкновении 10-км (или большего) астероида или кометы с Землёй, международное или случайное злоупотребление био- или нано технологий, или неограниченно растущее глобальное потепление.
Существует множество таксономий УС [7]. Таксономия, основанная на причинных факторах, нам подходит больше всего. Мы различаем: (1) естественные УС (столкновения с астероидами и кометами, супервулканизм, неантропогенные изменения климата, взрывы сверхновых звёзд, гамма-всплески, случайный фазовый переход вакуума); (2) антропогенные УС (ядерная война, биологические катастрофы, искусственный интеллект, нано-технологические риски); (3) промежуточные УС, вызываемые взаимодейст-вием человечества и природы (новые болезни, неограниченно растущее гло-бальное потепление). Далее, мы в основном рассматриваем естественные УС [8].
Целью данной статьи является исследование эффектов наблюда-тельной селекции, влияющих на оценку вероятности некоторых УС и спо-собных привнести антропное искажение в анализ рисков . Антропное ис-кажение может быть объяснена через форму искажение в выборке примеров, при которой выбирается подмножество примеров, локально связанных с на-блюдателем, вместо множества событий, полностью охватывающего пред-метную область. Мы показываем, что эффект наблюдательной селекции де-лает ненадёжными оценки вероятности некоторых прошлых УС. Мы утвер-ждаем, что антропное искажение может привести к недооценке вероятностей ряда глобальных катастроф.
Мы расписываем простую «карманную» модель этих эффектов во второй части статьи, тогда как её обобщение находится в третьей части. Ар-гументация развивается в четвёртой части, а в пятой мы рассматриваем актуальность антропного искажения для ряда УС. В последней, шестой части мы рассматриваем вопросы применения теории эффектов наблюдательной селекции к глобальным катастрофам.
«Карманная» модель антропного искажения
Основой нашего подхода является Байесова формула расчета условной вероятности:
 ,
(1)
где   является априорной вероятностью истинности гипотезы  , и   – условной вероятностью истинности гипотезы   при свиде-тельстве  . В качестве свидетельства мы будем рассматривать сам факт нашего существования. Факт нашего существования требует для себя множество биологических, химических и физических предпосылок. В частности, наше существование подразумевает, что цепочка земной эволюции не была прервана глобальной катастрофой. С этим условием связаны некоторые неопределённости, часть из которых мы должны обсудить далее. Гипотезы B1, B2, …, Bn обозначают произошедшие или не произошедшие катастрофы определённого типа, случившиеся за определённый промежуток времени; примерами подобных гипотез являются: «Произошло не менее пяти случаев столкновений Земли с астероидами или кометами величиной от 10 до 20 км за последние   лет», или: «За промежуток от   до   до настоящего момента и не ближе чем 10 парсек до Солнца, не происходило ни одного взрыва сверхновой звезды».
Рассмотрим простейший пример: исключительно разрушительную и единичную глобальную катастрофу, – под эти условия подходит извержение супервулкана Тоба [9]. Свидетельство, которое мы хотим учесть с помощью Байесового подхода, – это факт нашего существования в настоящую эпоху. На Рис. 1 мы схематично отобразили эту ситуацию: P – априорная вероят-ность некой глобальной катастрофы, Q – вероятность выживания человече-ства после этой катастрофы. Мы должны предположить, что эти две вероят-ности: (1) являются константами, (2) должным образом нормализованы и (3) относятся к определённому интервалу в прошлом. Событие   обозначает, что катастрофа происходит, а событие   – что катастрофа не происходит, под E мы обозначаем  информацию о нашем собственном существовании.
 
Рис. 1. Схематичное изображение нашей карманной модели единич-ного катастрофического события. P – это априорная вероятность гло-бальной катастрофы, Q – вероятность выживания человечества, E – факт нашего существования в настоящий момент.

Для этого примера Байесова формула принимает вид:
 ,
(2)
Что даёт значение постериорной вероятности:
 .
(3)
Мы можем определить коэффициент самоуверенности:
 ,
(4)

что в данном случае приводит к:
    .
(5)

Чем больше становится ; (начиная с единицы), тем наши умозаклю-чения о прошлом становятся всё более ненадежными, и мы недооцениваем вероятность будущих катастроф. Например, возьмём Q=0.1 и P=0.5 (или произойдёт, или не произойдёт с равной вероятностью), для событий, срав-нимых по размеру с извержением Тоба; также примем, что во время челове-ческой эволюции эти события случаются один раз в миллион   лет   с вероятностью выживания человечества при каждом из них равной 0.1. С этими условиями коэффициент самоуверенности  , что означает – реальная вероятность превышает нашу первоначальную оценку в 5.5 раз. Значения коэффициента самоуверенности, в виде функции тяжести послед-ствий (при вероятности вымирания 1–Q), показаны на Рис. 2.
Также учтите,
                .
(6)
 
Рис. 2. Коэффициент самоуверенности в качестве функции от ве-роятности вымирания 1–Q  в нашей карманной модели единичного события. К различным значениям вероятности P применено цветовое кодирование (цвета различимы в электронной версии). Мы заметили, что искажение от самоуверенности выше всего для маловероятных событий.
Коэффициент самоуверенности становится очень большим для чрезвычайно разрушительных событий. В результате, мы не должны быть уверены в исторических оценках вероятности событий, приводящих к безус-ловному вымиранию человечества (Q=0). Пусть этот вывод и выглядит оче-видным, широкого признания он не получил. Например, широко известная аргументация Хата и Риса (Hut and Rees), работающих с гипотетическим риском квантовой неустойчивости вакуума в экспериментах физики высоких энергий, не учитывает влияния антропного искажения, из-за чего частично вводит в заблуждение [10].
Эти рассуждения также применимы к исключительно редким, но, тем не менее, возможным событиям, примером которых являются странные астрономические инциденты, способные сорвать Землю с орбиты и превра-тить в межзвёздную планету (см. Лаглин и Адамс (Laughlin and Adams), оце-нивающих вероятность подобного события на оставшееся время существо-вания Солнечной системы [11]). Выводы о чрезвычайной малой вероятности прохождения Солнечной системы неподалёку от другой звёздной системы, нейтронной звезды или чёрной дыры, а значит и чрезвычайно малых рисков этого события, не могут быть получены только из прошлого нашей плане-тарной системы. Принятие дополнительной информации, основанной на по-нимании окружения Солнечной системы в пространстве Млечного Пути и характеристиках масс звёздных объектов, позволяет нам заключить, что по отношению к этим рискам мы находимся в безопасности, а не непредвзяты и убедительны. С другой стороны, не для всех возможных угроз собрано дос-таточное количество дополнительной информации.
Обобщение модели
Как можно обобщить эту карманную модель единичного события для серии катастроф? Мы должны начерно описать один из возможных под-ходов. Допустим, мы столкнулись в ситуацией из Рис. 3.
 
Рис. 3. Ряд потенциально летальных бедствий из прошлого наблю-дателей – обобщение показанной в Рис. 1. ситуации.
Обозначим ; априорную вероятность катастрофы, а ; – вероятность того, что она приведёт к окончательному вымиранию жизни на Земле (в де-талях это рассмотрено в пятой части статьи), и N – количество возможных катастроф. Пусть O  обозначает факт существование наблюдателя (то есть что катастрофа не привела к окончательному вымиранию) и k – количество наблюдаемых катастроф. Пока N и ; невелики , вероятность того, что на-блюдатель обнаружит k катастроф в своём прошлом, рассчитывается по формуле:
 .
(7)
Допуская равномерное априорное распределение этих параметров,  , можно вычислить  :
 ,
(8)
Что даёт общую формулу:
 ,
(9)
Следовательно, вероятность существования наблюдателя для значе-ний ;, ; рассчитывается так:
 ,
(10)
Если рассматривать ансамбль возможных миров это означает плот-ность наблюдателей. Мы можем предположить, что существуют ряд земле-подобных планет со следующими характеристиками: точно определённый возраст, наличие биосферы, но подверженных различным количественными и качественными угрозами [12]. Например, при N=4, уравнение (10) вычис-ляет вероятность выживания, далее показанную на Рис. 4. При k=0 у нас нет информации об опасности бедствия, таким образом, распределение вероят-ностей постоянно по отношению к оси ;. Для больших значений k уменьша-ется вероятностная мера высоких ;, так как  катастрофы становятся доста-точно обычными и потому не могут быть слишком тяжёлыми. Для частного случая, N=4, k=2, на Рис. 5. мы показали распределение вероятностей для значений (;, ;). Похоже выглядят случаи и с большими значениями N.
 
Рис. 4. Вероятность наблюдателей P(O|;,;) для N=4 карманной мо-дели в качестве функции априорной вероятности глобальной катастрофы ; и вероятности вымирания ;. Для ;=;=0 мир безопасен и плотность макси-мальна; количество наблюдателей уменьшается при повышении значений любого из этих параметров.
 
Рис. 5. Вероятность P(;, ; | O, k) при N=4, k=2.
Следующим шагом по этому направлению будет разработка имита-ционной модели, генерирующей большое количество планет для каждого ;, ; и запуск N экспериментов, где с каждым миром может случиться катастро-фа. Подобное имитационное моделирование было проведено и количествен-ные данные будут показаны в следующей статье. Уже понятно, что распре-деления параметров между выжившими будут сильно предвзятыми. Учиты-вая, что нами уже накоплены знания эмпирических и частично-эмпирических вероятностей об определённых классах угроз и огромную прикладную важность поиска любого типа искажения в анализе угроз [13], как только мы определим, какие именно разделы знания подвержены ан-тропному искажению, потребуется провести значительное количество иссле-дований этой сферы.
Антропное искажение: недооценка естественных угроз
             
Учёные, анализирующие естественные угрозы, традиционно конст-руируют функции эмпирического распределения, используя свидетельства о событиях прошлого: геологические свидетельства о столкновениях с внезем-ными объектами, взрывах сверхновых и гамма-всплесков, или извержениях супервулканов. В Байесовом подходе мы можем использовать эти данные о распределении рисков в качестве функции апостериорного распределения.
Прогнозируя будущие события, мы заинтересованы в «реальных» распределениях шансов наступления событий (или их последствий), которые «предложены Природой» и не обязательно связаны с их апостериорными распределениями, зафиксированными или подразумеваемыми в архивных записях. Функция априорного распределения является основной объективной характеристикой системы. Так как априорное распределение не искажается эффектами выборочной селекции, оно играет ключевую роль в прогнозировании будущих событий. В Таблице I показана взаимосвязь между функциями априорного и апостериорного распределения для некоторых естественных катастроф. Только априорное распределение истинно описывает природу и может быть использовано для прогнозирования будущих событий. Последовательность умозаключений из прошлого в будущее для этих двух распределений показана в Рис. 6.
Тип события Априорное распределение Эмпирическое (апостери-орное) распределение
Столкновение Распределение околозем-ных объектов и пересе-кающих орбиту Земли ко-мет Распределение кратеров от столкновений, импактитов, и т.п.
Супервулкан Распределение геофизиче-ских «горячих точек», про-изводящих сверхизверже-ния Распределение кальдер, вулканической пыли, кер-нов льда и т.п.
Взрыв сверх-новой или гам-ма-всплеск (см. Приложение) Распределение исходных частиц и их движения в околосолнечном простран-стве Следы геомагнитных ано-малий, распределение звёздных остатков
Таблица I. Примеры естественных угроз, могущих привести к гло-бальной катастрофе, и два типа функций распределения; только априорное распределение может служить истинным описанием природы и, соответ-ственно, источником для предсказания будущих событий.
 
Рис. 6. Набросок общепринятой процедуры для предсказания буду-щих событий, исходя из информации о прошлом. Процедура может исполь-зоваться как для неопасных событий, так и угроз существования, но только для последних мы должны применять коррекцию, выделенную штрихованной линией. Данные выделенные шаги обычно не выполняются при стандартном анализе рисков; тем не менее, они необходимы для непредвзятых предсказа-ний величин естественных УС.

Катастрофы, превышающие некий порог тяжести последствий, уничтожают всех наблюдателей и все условия экологические условия для повторного возникновения наблюдателей, и таким образом, ненаблюдаемы. Некоторые типы катастроф могут уничтожить планетарные условия сущест-вования наблюдателей на временной интервал, длина которого может коре-лировать с силой катастрофы . Это означает, что архивные записи содержат только часть событий, лежащих внутри «границ антропной совместимости» (см. Рис. 7) и не отображают всё пространство событий. Часть пространства параметров вовне этих границ, лежит в так называемой антропной тени: скрытый эффект наблюдательной селекции не позволяет нам распознавать величину близких нам экстремальных угроз (по временным и эволюционным причинам). Эта тень является источником ошибки, которая должна быть скорректирована, когда мы стремимся вывести объективное распределение шансов на основании эмпирического распределения прошлых событий.
 
Рис. 7. Схема антропного искажения: мы не показали всю плоскость  графика время-тяжесть последствий, а только регион, совместимый с нашим существованием в данную конкретную эпоху (все остальное находится в «антропной тени» – теневом регионе, см. в тексте). Нынешняя эпоха отмечена t0, и мы отсчитываем время с момента формирования нашей планеты.
Антропная тень складывается с «классическим» эффектом селекции, применимым к любым типам событий (исчезновение следов старых событий из-за их эрозии или других видов увеличения естественной энтропии). Даже после коррекции классических эффектов селекции путём конструирования эмпирических (апостериорных) распределений, для получения правильной функции априорного распределения, необходима дополнительная коррекция, исправляющая антропное искажение.
Безусловно, схема на Рис. 7. значительно упрощена. Граница ан-тропной совместимости не должна быть прямой линией, но мы сохранили обобщённую диагональную границу на диаграмме времени-тяжести послед-ствий. На Рис.8. мы наблюдаем возможную иллюстрацию этого эффекта в эмпирических данных об образовании импактных кратеров на Земле. В качестве данных о последствиях столкновений, мы используем базу данных земных столкновений 2010 (Earth Impact Database) [14]. Несмотря на недостаточную информацию о возрасте многих кратеров, видно сходство по тренду с Рис. 7. Например, очевидным является то, что мы не сможем обнаружить следы 100 км астероида или кометы за последний миллион лет (или, несомненно, в течении всего Фанерозойского эона, см. Приложение). Означает ли это, что подобные события обладают вероятностью, стремящейся к нулю? Нет, это означает то, что подобные события находятся в запретной зоне, эмпирические данные из которой не могут быть наблюдаемы. Любое прямолинейное расширение функции эмпирического распределения в этот регион будет занижено при сравнении с объективным распределением вероятностей импакторов по размеру. Другими словами, гигантские астероиды могут существовать и представлять угрозу для будущего, но они не оставляют следов в прошлом наблюдателей . Симметрия прошлого-будущего сломана антропными тенями.
            
Рис. 8. Эта диаграмма показывает размер известных кратеров как функцию от их возраста, используются данных база данных земных столк-новений. Заметно отсутствие точек на верхней правой части диаграммы; единственных чётким следом, отражающем кратер Чиксулуб 65 млн.лет назад – подтверждённый случай глобальной катастрофы.
Какие угрозы существованию подвержены антропной тени?
Искажениеь от антропных теней влияет на оценку вероятности угроз (по нисходящей): (1) которые могут уничтожить наш вид или их предков, (2) которые в достаточной мере неопределенны и (3) для которых вычисление частоты большей частью основано на наземных данных. Этим критериям удовлетворяют множество угроз, включая:
(i) Столкновения с астероидами или кометами (калибрация тя-жести последствий проведена по Туринской шкале астероидной опасности или по размеру оставшегося после столкновения кратера).
(ii) Извержения супервулканов (калибрация тяжести последст-вий произведена по шкале вулканических извержений или схожим методом).
(iii) Взрыв сверхновой звезды или гамма-всплеск (калибрация тяжести последствий произведена по расстоянию до источника и мощности этого события).
(iv) Сверхмощные солнечные вспышки (калибрация тяжести последствий произведена по мощности электромагнитной и корпускулярной эмиссии).
Множество угроз может обнаружено на основании этих критериев. Например, теоретически, историю столкновений с астероидами и кометами в Солнечной системе проще всего изучить на примере Луны, где эрозия на несколько порядков слабее земной . В действительности, точные данные о столкновениях пока нельзя получить, в основном потому что: (1) получение точных данных о большом количестве лунных кратеров пока находятся за пределами наших возможностей  и (2) множество известных больших лун-ных кратеров относится к очень специфичной эпохе, называемой поздней тяжёлой бомбардировкой [15, 16], длившейся примерно 4.0 – 3.8 миллиардов лет назад, что сильно мешает любым попыткам графически отобразить функцию эмпирического распределения для «нормального» времени. В дей-ствительности, в нынешних дебатах о частоте столкновений с кометами или астероидами, обычно приводят распределение кратеров на Земле в качества аргументов «за» или «против» существования скрытых импакторов [17-21], и таким образом являются хорошим примером, на котором, по крайней мере потенциально, может быть проверена модель антропной искажениеи . В принципе, мера искажения информации о кратерах может быть уменьшена через экстраполяцию числа кратеров меньших размеров и сравнения резуль-татов экстраполяции с распределением размера-частоты на других телах Солнечной системы, которые могут быть получены без технически невыпол-нимых анализов возраста кратеров. В реальности, начальная точка экстраполяции не только не определена – так как мало известно о случайных событиях биологической эволюции, которые привели к появлению наблюдателей, – но эти распределения размера-частоты отражают только временные усреднения важных взаимосвязей (между частотами, углами, размерами, плотностью агентов столкновений и сравнивая с размером кратера). Потеря информации при усреднении является важной, если астероидная популяция может значительно изменяться с течением времени.
Распределение частоты больших космических взрывов (сверхновые звёзды или гамма-всплески), хотя и с меньшей степенью достоверности, бе-рутся из наблюдений за отдалёнными регионами: похожими на Млечный Путь галактиками. Эта внешняя проверка уменьшает антропное искажение, которое влияет на вычисление вероятностей значительных, способных при-вести к вымиранию, взрывов сверхновых звёзд и гамма-всплесков. Степень важности этих взрывов для процессов зарождения и эволюции жизни была предметом значительного количества исследований последних десятилетий [22-32]. Фрагментарные геохимические следы прошлых событий могут быть найдены в наземных записях, особенно кернах льда [33]. Это же, пусть и в меньшей степени, применимо к гигантским солнечным вспышкам [34].
Возможно, извержения сверхвулканов являются наилучшими при-мерами земных глобальных катастроф. Они интересны по двум недавно об-наруженным причинам: (1) сверхвулканизм, предположительно, вызвал мас-совое Пермское вымирание (251.4 ± 0.7 Myr назад), убившее 96% от всех земных видов многоклеточных [35, 36]. (2) Супервулканизм, пожалуй, един-ственная катастрофа, практически приведшая к вымиранию человечества: суперизвержение Тоба (Суматра, Индонезия, 74000 лет назад), предположи-тельно уменьшила человеческую популяцию до ~1000 индивидов [9, 37]. В свете чего мы должны серьёзно подойти к исследованию этой угрозы, кото-рая, несмотря на широко известные катастрофы, наподобие извержений в Санторини, Помпеи и Тамбора, только недавно стала объектом интереса [38, 39, 3].
Ещё одна редкая катастрофа может быть вызвана прохождением не-подалёку от Земли обычных звёзд [11] или экзотических объектов, наподо-бие нейтронных звёзд или чёрных дыр. Даже если бы мы обладали всей пол-нотой знаний о земной истории, но ничего бы не знали об астрономии, мы бы не смогли точно рассчитать вероятность уничтожения Земли при столк-новении с чёрной дырой. Но из-за того, что мы обладаем некоторыми зна-ниями об окружении Солнечной системы в Млечном Пути и знаем распреде-ление масс звёзд, и поскольку это знание не основано на земной истории, наши предсказания этих рисков не будет искажены антропным искажением.
В отличие от некоторых естественных угроз, информацию об антро-погенных угрозах трудно получить с помощью статистического анализа доисторических событий. Единственным исключением является возможность катастрофических процессов в квантовом поле, которая может (спекулятив-но) произойти по естественным причинам, но гораздо вероятней произойдёт из-за экспериментов в области физики высоких энергий, наподобие прово-димых в ускорителях частиц. Эта угроза рассмотрена ниже.
Антропные тени и риски физических экспериментов
Примерами par excellence событий Q=0 являются фазовый переход вакуума или распад квантового поля. Подобные события приведут не только к исчезновению человечества, но также полностью и навсегда уничтожат земную биосферу. Колман и Де Лусиа (Coleman and De Luccia) впервые упо-мянули возможность того, что ускорители элементарных частиц, используе-мых в физических экспериментах, могут привести к такой катастрофе. [40]. Эта возможность была широко рассмотрена [10, 41-46] и инициировала про-тест против использования ускорителей частиц, включая недавний Большой Адронный Коллайдер [46, 47].
Важны три конкретные угрозы: (1) запуск фазового перехода вакуу-ма через создание расширяющегося пузыря «нового» вакуумного состояния, (2) случайное создание страпельки, способной трансформировать всю зем-ную массу в странную материю и (3) случайное создание мини-чёрной дыры, которая, просочившись в центр Земли, постепенно уничтожит нашу планету. Несмотря на научную фантастику, истрепавшую эти идеи, они были серьёзно восприняты даже высшей администрацией современных лабораторий ускорителей частиц [48]. Это является не только эсхатологической проблемой человечества: фазовый переход вакуума также уничтожит условия для существования всех возможных наблюдателей в будущем нашего светового конуса. Даже если шанс этого события невелик, его катастрофическое влияние будет настолько велико, что оно достойно близкого рассмотрения.
Хат и Рис (Hut and Rees) провели важное новаторское исследование проблемы угроз физики высоких энергий, предложив, что нет рациональных причин к беспокойству насчёт ускорителей частиц: столкновения высоко-энергетических частиц встречаются в естественной среде, например, столк-новения космических лучей и атмосферы Земли или твёрдой массы Луны, более того, энергия этих столкновений на порядки превышает те, что можно получить в лабораторных условиях в ближайшем будущем [10]. Принимая правдоподобные предположения об оценке поперечного сечения важных реакций, Хат и Рис заключили, что факт выживания Земли (и Луны) после бомбардировки космическими лучами в течении 4.5 млрд. лет подразумева-ет, что в предвидимом будущем мы находимся в безопасности. Например, если вероятность катастрофы из-за экспериментов физики высоких энергий равна 10-50, то удвоение или даже удесятирение риска, из-за активизации человеческих действий, весьма ничтожно.
Аргументация Хата-Риса не должна нас успокаивать, ибо в ней не-скорректировано антропное искажение. Фазовый переход вакуума является событием, при котором Q=0. Таким образом, оценки, основанные на сущест-вовании Земли или Луны, полностью недостоверны. Более того, недостовер-ность этих предсказаний основана на естественных и вызванных человеком фазовых переходах вакуума (Хат и Рис также справедливо заключают, что количество потенциально опасных событий в любых доступных человечест-ву ускорителях, гораздо меньше, чем в естественных космических лучах). К сожалению, схожая ошибка повторяется в исследовании безопасности Боль-шого Адронного Коллайдера, при котором, в качестве аргументации безо-пасности ускорителя, было использовано существование Солнечной системы [46].
Тегмарк и Бостром (Tegmark and Bostrom) смогли перехитрить эф-фект наблюдательной селекции использованием данных о распределении планетарного возраста и относительно недавней датой образования Земли [12], для того, чтобы вывести априорное распределение вероятности собы-тий, которые могут уничтожить или полностью стерилизовать планету [49]. На основании их результатов, вероятность фазового перехода вакуума для всего Млечного Пути меньше 10-9 в год. Это показывает, что осведомлён-ность об эффектах антропной тени может привести к более достоверной оценке рисков катастроф.
Заключение
Ли Смолин, в числе других, заявил, что антропному принципу не хватает предсказательной силы и прикладной важности [50]. Но наши ре-зультаты позволяют предположить, что коррекция искажения от антропной тени может значительно изменить оценку вероятности катастроф, например, извержения супервулкана или столкновения с астероидом. Более того, опре-деление этой искажениеи может нам помочь избегать ловушек и ошибок анализа угроз, подобных аргументам Хата-Риса или Группы оценки безопасности Большого Адронного Коллайдера (Large Hadron Collider Safety Assessment Group) при оценке риска столкновений частиц. По этой причине, главный урок лежит в направлении большей осмотрительности, которую мы должны принять при работе со спектром глобальных катастроф и УС. Количество исследований искажениеи в УС прискорбно, особенно учитывая рассматриваемые здесь естественные и возможные антропогенные угрозы, возникающие при появлении мощных технологий. Вряд ли нужно подчёркивать, что улучшение методов численной оценки рисков наверняка приведут к улучшению практик снижения и управления угрозами [6].
Необходимы дальнейшие исследования форм антропных теней и ве-личин влияния антропного искажения, особенно по отношению к изменению вероятности выживания со временем, к смешению различных механизмов УС и к вековой эволюции функций априорных распределений. За исключением событий с Q=0, наподобие фазовых переходов вакуума, необходимы более сложные и реалистичные модели коррекции антропного искажения. Различные по величине катастрофы могут повлиять на эволюционную це-почку и во многих случаях могут привести к нашему исчезновению в качест-ве наблюдателей. Вычерчивание графиков подобных влияний является сложной задачей, особенно учитывая, что эволюционное воздействие даже единичных событий, например падения астероида в Чиксулуб, привело к вездесущим и непредвиденным биологическим обстоятельствам [5-54]. Для различных этапов эволюционного развития, отделённых друг от друга слу-чайными катастрофами, может быть необходимо использование весьма сложного формализма моделирования, например, вероятностных клеточных автоматов, чтобы учесть все факторы, которые могут приводить к антропно-му искажению. [55].
Приложение: словарь
УС – угрозы существованию, подмножество глобальных катастроф, вред от которых может либо уничтожить разумную жизнь на Земле, либо полностью и радикально сократить её потенциал [7].
ГВ – гамма-всплески, вспышки гамма-лучей, длящиеся несколько секунд и ассоциирующиеся с высоко-энергетическим космическим излуче-нием. Все замеченные гамма-всплески пришли извне Млечного Пути, но тем не менее, связанный класс феноменов, мягкие повторяющиеся гамма-всплески, относятся к магнетарам из нашей галактики. Было предположено, что гамма-всплески внутри Млечного Пути могут вызвать на Земле массовое вымирание [30].
БАК – Большой Адронный Коллайдер, крупнейший ускоритель час-тиц, расположенный в 27 км туннеле на 175 метров ниже уровня земли на границы между Францией и Швейцарией, неподалёку от Женевы, Швейца-рия. БАК был построен по заказу Европейского совета ядерных исследова-ний и начал свою работу в конце 2009 года.
Myr – миллион (106) лет, главнейшая единица измерения геологиче-ской и эволюционной преистории.
ОЗО – околоземной объект, объект Солнечной системы, обычно ас-тероид или комета, орбита которого проводит его недалеко от Земли, таким образом создавая возможную угрозу. (Очень маленькие объекты, размером до 50 метров, обычно называются метеорными телами и могут быть объек-тами антропогенного происхождения, наподобие космического аппарата, расположенного на солнечной орбите).
пс – парсек (от «параллакса угловой секунды»), главная единица из-мерения, используемая в астрономии и связанных областях. 1 пс = 3.085668 ; 1016 метров = 3.262 световых года. Близлежащая к Солнечной системе звезда находится на расстоянии ~1 пс.
СН – сверхновая звезда, взрыв либо крупной звезды (более девяти Солнечных масс), либо белого карлика в бинарной системе.
Фанерозой (эон) – продолжающийся в наше время эон, характеризу-ется обилием растительной и животной жизни. Считается, что кембрийский период является началом этого эона (порядка 545 Myr назад).
Благодарности
Мы благодарим трёх анонимных рецензентов журнала Risk Analysis за вдумчивые комментарии и уместную критику предыдущей версии статьи. Выражаем особую благодарность Gaverick Jason Matheny и Rebecca Roache за их внимательное прочтение это статьи, приведшее к значительному улуч-шению. За беседы над тематикой статьи мы также признательны Jelena Andreji;, Fred C. Adams, Bill Napier, and Zoran Kne;evi;. We thank Richard B. Cathcart, Aleksandar Zorki;, Maja Bulatovi;, Du;an In;i;, Srdjan Samurovi;, Branislav K. Nikoli;, Samir Salim, Nikola Milutinovi;, а также консорциуму библиотек KoBSON за их внимательную техническую помощь. Один из ав-торов (M.M.;) получил частичную поддержку от Ministry of Science and Technological Development of the Republic of Serbia, грант ON146012, и бла-годарит Future of Humanity Institute at Oxford University за их гостеприимство при работе над проектом.
Ссылки
1. Leslie J. The End of the World: The Ethics and Science of Human Ex-tinction. London: Routledge, 1996.
2. Huggett R. Catastrophism. London: Verso, 1997.
3. McGuire B. A Guide to the End of the World: Everything You Never Wanted to Know. Oxford: Oxford University Press, 2002.
4. Rees MJ. Our Final Hour. New York: Basic Books, 2003.
5. Palmer T. Perilous Planet Earth: Catastrophes and Catastrophism Through the Ages. Cambridge: Cambridge University Press, 2003.
6. Bostrom N, C; irkovic; MM (eds). Global Catastrophic Risks. Oxford: Oxford University Press, 2008.
7. Bostrom N. Existential risks. Journal of Evolution and Technology, 9, 2002 (http://www.jetpress.org/volume9/risks.html).
8. Bostrom N. Unpublished data, 2010.
9. Rampino MR, Self S. Volcanic winter and accelerated glaciation fol-lowing the Toba super-eruption. Nature, 1992; 359:50–52.
10. Hut P, Rees MJ. How stable is our vacuum? Nature, 1983; 302:508–509.
11. Laughlin G, Adams FC. The frozen earth: Binary scattering events and the fate of the solar system. Icarus, 2000; 145: 614–627.
12. Lineweaver CH. An estimate of the age distribution of terrestrial pla-nets in the universe: Quantifying metallicity as a selection effect. Icarus, 2001; 151: 307–313.
13. Woo G. The Mathematics of Natural Catastrophes. London: Imperial College Press, 1999.
14. Earth Impact Database, 2010. Available at: http://www.unb.ca/passc/ImpactDatabase/.
15. Kring DA, Cohen BA. Cataclysmic bombardment throughout the in-ner solar system 3.9–4.0 Ga. Journal of Geophysical Research—Planets, 2002; 107: 4–10.
16. Gomes R, Levison HF, Tsiganis K, Morbidelli A. Origin of the cata-clysmic late heavy bombardment period of the terrestrial planets. Nature, 2005; 435, 466–469.
17. Nurmi P, ValtonenMJ, Zheng JQ. Periodic variation of Oort Cloud flux and cometary impacts on the Earth and Jupiter. Monthly Notices of the Royal Astronomical Society, 2001; 327: 1367–1376.
18. Napier WM, Wickramasinghe JT, Wickramasinghe NC. Extreme al-bedo comets and the impact hazard. Monthly Notices of the Royal Astronomical Society, 2004; 355:191–195.
19. Napier WM. Evidence for cometary bombardment episodes. Monthly Notices of the Royal Astronomical Society, 2006; 366: 977–982.
20. Fern;andez JA, Morbidelli A. The population of faint Jupiter family comets near the Earth. Icarus, 2006; 185: 211–222.
21. Baillie M. The case for significant numbers of extraterrestrial impacts through the late Holocene. Journal of Quaternary Science, 2007; 22:101–109.
22. Schindewolf O. Neokatastrophismus? Deutsch Geologische Gesell-schaft Zeitschrift Jahrgang, 1962; 114: 430–445.
23. Ruderman MA. Possible consequences of nearby supernova explo-sions for atmospheric ozone and terrestrial life. Science, 1974; 184: 1079–1081.
24. Hunt GE. Possible climatic and biological impact of nearby superno-vae. Nature, 1978; 271: 430–431.
25. Brakenridge GR. Terrestrial paleoenvironmental effects of a late qua-ternary-age supernova. Icarus, 1981; 46: 81–93.
26. Thorsett SE. Terrestrial implications of cosmological gamma-ray burst models. Astrophysical Journal, 1995; 444: L53–L55.
27. Annis J. An astrophysical explanation for the great silence. Journal of the British Interplanetary Society, 1999; 52:19–22 (preprint astro-ph/9901322).
28. Dar A, De R; ujula A. The threat to life from Eta Carinae and gamma-ray bursts. Pp. 513–523 in Morselli A, Picozza P (eds). Astrophysics andGamma Ray Physics in Space. Rome: Frascati Physics Series Vol. XXIV, 2002.
29. Scalo J,Wheeler JC. Astrophysical and astrobiological implications of gamma-ray burst properties. Astrophysical Journal, 2002; 566: 723–737.
30. Melott AL, Lieberman BS, Laird CM, Martin LD, Medvedev MV, Thomas BC et al.Did a gamma-ray burst initiate the late Ordovician mass extinc-tion? International Journal of Astrobiology, 2004; 3: 55–61.
31. Vukotic; B, C; irkovic; MM. Neocatastrophism and the Milky Way astrobiological landscape. Serbian Astronomical Journal, 2008; 176: 71–79.
32. C; irkovic; MM, Vukotic; B. Astrobiological phase transition: To-wards resolution of Fermi’s paradox. Origin of Life and Evolution of the Bios-phere, 2008; 38: 535–547.
33. Dreschhoff GAM, Laird CM. Evidence for a stratigraphic record of supernovae in polar ice. Advances in Space Research, 2006; 38: 1307–1311.
34. Stothers R. Giant solar flares in Antarctic ice. Nature, 1980; 287: 365.
35. White RV. Earth’s biggest “whodunnit”: Unravelling the clues in the case of the end-Permian mass extinction. Philosophical Transactions of the Royal Society A, 2002; 360: 2963–2985.
36. Benton MJ. When Life Nearly Died: The Greatest Mass Extinction of All Time. London: Thames and Hudson, 2003.
37. Ambrose SH. Late Pleistocene human population bottlenecks, volcanic winter, and differentiation of modern humans. Journal of Human Evolution, 1998; 34: 623–651.
38. Roscoe HK. The risk of large volcanic eruptions and the impact of this risk on future ozone depletion. Natural Hazards, 2001; 23: 231–246.
39. Rampino MR. Supereruptions as a threat to civilizations on Earth-like planets. Icarus, 2002; 156: 562–569.
40. Coleman S, De Luccia F. Gravitational effects on and of vacuum de-cay. Physical Review D, 1980; 21: 3305–3315.
41. Turner MS, Wilczek F. Is our vacuum metastable? Nature, 1982; 298: 633–634.
42. Sher M, Zaglauer HW. Cosmic-ray induced vacuum decay in the standard model. Physics Letters B, 1988; 206: 527–532.
43. Crone MM, Sher M. The environmental impact of vacuum decay. American Journal of Physics, 1991; 59: 25–32.
44. Dar A, De R; ujula A, Heinz U. Will relativistic heavy-ion colliders destroy our planet? Physics Letters B, 1999; 470: 142–148.
45. Kent A. A critical look at risk assessments for global catastrophes. Risk Analysis, 2004; 24:157–168.
46. Ellis J., Giudice G, Mangano M, Tkachev I, Wiedemann U. Review of the Safety of LHC Collisions, 2008. Available at: http://lsag.web.cern.ch/lsag/LSAG-Report.pdf (LHC Safety Assessment Group).
47. Ord T, Hillerbrand R, Sandberg A. Probing the improbable: Methodo-logical challenges for risks with low probabilities and high stakes. Journal of Risk Research, 2010; 13:191– 205.
48. Jaffe L, Busza W, Wilczek F, Sandweiss J. Review of speculative “disaster scenarios” at RHIC. Reviews of Modern Physics, 2000; 72: 1125–1140.
49. Tegmark M, Bostrom N. Is a doomsday catastrophe likely? Nature, 2005; 438: 754.
50. Smolin L. Scientific alternatives to the anthropic principle. Pp. 323–366 in Carr B (ed). Universe or Multiverse. Cambridge: Cambridge University Press, 2005.
51. Gould SJ. The paradox of the first tier: An agenda for paleobiology. Paleobiology, 1985; 11: 2–12.
52. Gould SJ. Wonderful Life. New York: W. W. Norton, 1989.
53. Gould SJ. Full House: The Spread of Excellence from Plato to Darwin. New York: Three Rivers Press, 1996.
54. McShea DW. Possible largest-scale trends in organismal evolution: Eight “live hypotheses.” Annual Review of Ecology and Systematics, 1998; 29: 293–318.
55. Kaneko K, Akutsu Y. Phase transitions in two-dimensional stochastic cellular automata. Journal of Physics A, 1986; 19: L69–L75.
56. Barrow JD, Tipler FJ. The Anthropic Cosmological Principle. New York: Oxford University Press, 1986.
57. Balashov YV. Resource letter: AP-1: The anthropic principle. Ameri-can Journal of Physics, 1991; 59: 1069–1076.
58. Bostrom N. Anthropic Bias: Observation Selection Effects in Science and Philosophy. New York: Routledge, 2002.
59. C; irkovic; MM. Evolutionary catastrophes and the Goldilocks prob-lem. International Journal ofAstrobiology, 2007; 6: 325–329.
60. McKay CP. Time for intelligence on other planets. Pp. 405–419 in Doyle LR (ed). Circumstellar Habitable Zones, Proceedings of the First Interna-tional Conference. Menlo Park, CA: Travis House Publications, 1996.
61. Russell DA. Speculations on the evolution of intelligence in multicel-lular organisms. Pp. 259–275 in Billingham J (ed). Life in the Universe. Cam-bridge: MIT Press, 1981.
62. Sahney S, Benton MJ. Recovery from the most profound mass extinction of all time. Procedings of the Royal Society B, 2008; 275: 759–765.
63. Bowring SA, Erwin DH, Isozaki Y. The tempo of mass extinction and recovery: The end-Permian example. Proceedings of the National Academy of Sciences USA, 1999; 96: 8827–8828.
64. Binzel RP, Rivkin AS, Stuart JS, Harris AW, Bus SJ, Burbine TH. Observed spectral properties of near-Earth objects: Results for population distribu-tion, source regions, and space weathering processes. Icarus, 2004; 170: 259–294.
65. Stuart JS, Binzel RP. Bias-corrected population, size distribution, and impact hazard for the near-Earth objects. Icarus, 2004; 170: 295–311.
66. Szab ;o GyM, Cs;ak B, S;arneczky K, Kiss LL. Photometric observa-tions of 9 near-Earth objects. Astronomy and Astrophysics, 2001; 375: 285–292.
67. Emel’Yanenko VV, Bailey ME. Capture of Halley-type comets from the near-parabolic flux. Monthly Notices of the Royal Astronomical Society, 1998; 298: 212–222.
68. Schultz PH, Z;arate M, Hames B, Koeberl C, Bunch T, Storzer D et al. The quaternary impact record from the Pampas, Argentina. Earth and Planetary Science Letters, 2004; 219: 221–238.
 
Алексей Турчин. Природные катастрофы и антропный
принцип


Предыдущая версия этой статьи опубликована в «Проблемы управ-ления рисками и безопасностью»», Труды Института системного анализа РАН, т. 31., 2007, стр. 306-332.
Адрес документа: http://www.scribd.com/doc/8553049/-


Краткое содержание
Основная идея этой статьи состоит не только в том, что наблюда-тельная селекция приводит к недооценке частоты природных катастроф в будущем, но в том, что наш мир может быть гораздо более хрупок, чем это кажется, по отношению к антропогенным воздействиям (подобно сверхнаду-тому воздушному шарику), что особенно важно в отношении таких процес-сов, как глобальное потепление или глубокое бурение земной коры.
Антропный принцип утверждает, что наша Вселенная устроена так, чтобы в ней могли существовать наблюдатели. Это, в частности, означает, что на Земле ранее не происходило природных катастроф, которые  привели бы к уничтожению на ней разумной жизни. Однако из это вовсе не следует что такого рода катастрофы не могут произойти в будущем. Поэтому данные о частоте глобальных природных катастроф в прошлом не могут быть использованы в качестве надежной основы для экстраполяции при построении прогнозов на будущее, кроме ряда случаев, когда у нас есть дополнительная информация о том, что разумная жизнь могла возникнуть и раньше, как это делают Бостром и Тегмарк [Bostrom, Tegmark, 2005].  Это, в свою очередь, означает, что вероятность природных глобальных катастроф в будущем значительно выше, чем в прошлом. Для наблюдателя это может выглядеть как одновременное, быстрое и необъяснимое ухудшение всех жизненно важных параметров и, возможно, этот процесс уже начался. Более того, поскольку возникновение разумной жизни есть, видимо, событие крайне редкое во вселенском масштабе, то оно требует стечения целого ряда маловероятных в своей последовательности обстоятельств, что, в частности, может означать, что некоторые критические параметры, являющиеся условием возникновения жизни, могут находиться около границ своей области устойчивости, и малые антропогенные воздействия могут привести к запуску катастрофических процессов уже в этом столетии.
Кроме того, разум как универсальное средство адаптации быстрее развивается в периоды высокого катастрофизма.
Введение

Эта статья возникла на основе идеи, высказанной в следующем параграфе из статьи Бострома и Тегмарка: «Можно подумать, что раз жизнь здесь, на Земле, выжила в течение примерно 4 Гигалет, такие катастрофиче-ские события должны быть исключительно редкими. К сожалению, этот ар-гумент несовершенен, и создаваемое им чувство безопасности – фальшиво. Он не принимает во внимание эффект наблюдательной селекции (observation selection effect), который не позволяет любому наблюдателю наблюдать что-нибудь ещё, кроме того, что его вид дожил до момента, когда он сделал на-блюдение. Даже если бы частота космических катастроф была очень велика, мы по-прежнему должны обнаруживать себя на планете, которая ещё не уничтожена. Тот факт, что мы всё ещё живы, не может даже исключить ги-потезу, что в среднем космическое пространство вокруг стерилизуется рас-падом вакуума, скажем, каждые 10 000 лет, и что наша собственная планета просто была чрезвычайно удачливой до сих пор. Если бы эта гипотеза была верна, перспективы будущего были бы унылы».  [Bostrom, Tegmark, 2005]

1. Антропный принцип. Эффект наблюдательной
селекции.  Результаты Бострома и Тегмарка

Нет более спорного пункта в современной космологии, чем антроп-ный принцип. Одни считают его пустой тавтологией, другие – ключом к раз-гадке тайн Вселенной. Есть разные формулировки антропного принципа, например:
«Наше положение во Вселенной с необходимостью является приви-легированным в том смысле, что оно должно быть совместимо с нашим су-ществованием как наблюдателей».  [Казютинский,  Балашов, 1989].
«Мы являемся свидетелями процессов определенного рода потому, что другие процессы протекают без свидетелей». [Зельманов, 1970].
Физическим проявлением антропного принципа является тонкое со-ответствие разных физических констант. Например, если бы масса электрона была бы немногим больше или немногим меньше, то стабильных атомов бы не было, и жизнь была бы невозможна. Причина этого точного соответствия часто определяется в том, что существует очень много разных Вселенных, но мы можем наблюдать только ту из них, которая позволяет сформироваться наблюдателям.
Однако ход рассуждений антропного принципа применим не только к космологии, но и к астрофизике – понятно, что Земля не могла бы сформи-роваться ни около звезды голубого гиганта, ибо они живут очень недолго, ни у вспыхивающего красного карлика, ни у большинства других звёзд, – а только у такой стабильной и долгоживущей звезды, как Солнце.
В самой общей форме это можно выразить так: если некое событие случилось, то из этого однозначно следует, что не было никаких событий, которые сделали бы его невозможным. Например, если самолёт прилетел в пункт назначения, это означает, что в пути с ним не случилось никакой не-обратимой катастрофы. Если мы видим человека живым, то это означает, что он не умер до настоящего момента.
Хотя такие высказывания тривиальны, важно отметить следующий факт: условия, сформулированные в них, относятся только к прошлому. И ничего не говорят о том, что будет в будущем.
Иначе говоря, из того, что человечество существует, следует, что Солнце должно было быть спокойной звездой в первый 5 миллиардов лет своего существования, до настоящего момента. Но из этого никак не следует, сколько ещё оно будет спокойно в будущем.
Ник Бостром и Макс Тегмарк [Bostrom, Tegmark, 2005] применяют антропный принцип для анализа вероятной частоты космологических ката-строф, вроде распада метастабильного вакуума.
По одной из теорий, Большой Взрыв, из которого возникла наша Вселенная, произошёл в виде процесса, называемого «космологической ин-фляцией», который состоял в том, что выскоэнергетичное состояние первич-ного вакуума – называемого также ложным вакуумом – распалось, и пере-шло в наш низкоэнергетичный вакуум. Однако неизвестно, является ли наш вакуум состоянием с самой низшей энергией, и если нет, то он может распа-сться в свою очередь. Для нашей Вселенной это будет означать прекращение существования. Вакуум, который может распасться ещё раз, называется метастабильным.
Бостром и Тегмарк отмечают, что если бы вероятная частота такого рода события была бы достаточно велика – скажем, раз в 1 млрд. лет, – то вряд ли бы современная Земля сформировалась так поздно, то есть через 13,7 млрд. лет от Большого Взрыва, поскольку теоретически условия для её формирования сложились достаточно рано, чтобы она могла возникнуть на несколько миллиардов лет раньше. Поэтому относительно позднее формирование Земли говорит о том, что космологические катастрофы, приводящие к гибели вселенных, случаются достаточно редко. Бостром и Тегмарк выводят вероятностные оценки для такого рода событий. «Мы можем исключить гипотезы, что T (период между катастрофами уничтожающими вселенные) < 2,5 гигалет с 95% уверенностью, и соответствующие 99% и 99,9% интервалы уверенности составляют T> 1,6 и T> 1,1 Гигалет соответственно» [Bostrom, Tegmark, 2005].
Рис. 1 см на стр. 202.
На этом графике из статьи Бострома представлены графики вероят-ности возникновения Земли при разных частотах глобальных катастроф. Видно, что чем чаще катастрофы (то есть чем меньше их характерное время, указанное в гигагодах, то есть миллиардах лет), тем сильнее график прижи-мается к оси ординат слева. И тем менее вероятно то, что Земля попадает на эту кривую с учётом её позднего формирования около 10 млрд. лет назад. В правой части графика показано распределение вероятностей для разных кривых с разными характерными частотами. По оси абсцисс отложено характерное время катастроф, а по оси ординат – вероятность для интервала. Видно, что для небольших интервалов она крайне мала. Однако для интервалов более 10 млрд. лет она близка к 0,5.
Бостром в других своих статьях [Bostrom, 2002] дает более общее наименование антропному принципу – observers selection effect, что на рус-ский язык можно перевести, как «эффект наблюдательной селекции». Этот эффект возникает во всех экспериментах, в которых число экспериментато-ров меняется. Например, в статье [Redelmeier, Tibshirani, 1999] показывается, что: «Автомобили в соседней полосе действительно едут быстрее».  Авторы доказывают это по началу кажущееся абсурдным утверждение, обращая внимание читателей на то, что число водителей, обнаруживающих себя в медленной полосе, больше числа водителей в быстрой полосе, поскольку вторые заканчивают движение быстрее.
Эффект наблюдательной селекции относится к числу  неочевидных факторов, связанных с глобальными рисками. Он состоит в том, что в ходе некого процесса число наблюдателей изменяется, что может приводить к определённому сдвигу в оценке вероятностей событий. Если некий наблюда-тель не учитывает этот сдвиг, то эффект наблюдательной селекции вносит систематическую ошибку в его результаты.
Предположим, в рулетку играет тысяча человек, и у одного из них два раза подряд выпадет нужное число из 36, и он выигрывает значительную сумму денег. Выигравший человек может прийти к выводу, что обладает некими особыми способностями по предвидению выпадения чисел в рулетку, и что в дальнейшем он будет также выигрывать. Исходя из этого предположения, он в очередной раз может поставить всю выигранную сумму снова на одно число, и, скорее всего, проиграет. Его проигрыш будет связан с тем, что он поддался эффекту ощущения собственной избранности, который заставил его завысить свою субъективную «везучесть». Однако, если бы игрок имел полную информацию о числе играющих и больше доверял теории вероятности, а не своим субъективным ощущениям, он бы мог вычислить, что вероятность того что у одного из тысячи игроков выпадет два раза подряд нужное число, достаточно велика, но она ничтожна для трех и более выигрышей подряд.
Иначе говоря, для получения достоверного прогноза этот игрок дол-жен учитывать не только свои результаты, но и число других игроков, кото-рые не дошли до финишной прямой.
Есть два класса гипотез о частоте обитаемых планет с разумной жизнью во Вселенной. Согласно первой, это достаточно частое явление, по крайней мере в нынешний этап развития вселенной (Эта точка зрения отра-жена, например, в работе M. Cirkovic, ‘On the Importance of SETI for Transhumanism’, Journal of Evolution and Technology, xiii (2003), ), http://www.jetpress.org/volume13/. Русский перевод: Милан Чиркович. О важ-ности SETI для трансгуманизма http://www.proza.ru/2008/11/10/384), тогда как вторая предполагает, что обитаемый планеты возникают крайне редко. Крайние формы этих точек зрения можно выразить так:

1) Обитаемые планеты с разумной жизнью возникают достаточно часто, а именно, чаще, чем 1 звезды из, скажем, 1000 (см. далее обсуждение проблемы границы между этими гипотезами).
2) Обитаемые планеты с разумной жизнью возникают крайне редко, и Земля является единственной обитаемой планетой в наблюдаемой Вселен-ной.

В этой статье мы будем исходить из предположения, что реальная ситуация ближе ко второй точке зрения. (Если верна первая точка зрения, то возникает ситуация, описываемая в моей статье «О возможных рисках про-граммы SETI» http://www.proza.ru/2007/12/04/38, где описывается возможность, когда межзвёздные каналы радиопередачи могут использо-ваться для рассылки описаний враждебного искусственного интеллекта.)
Вопрос о том, где проходит граница (по числу обитаемых планет) между двумя этими гипотезами, пока оставим открытым. Возможно даже, что одна не исключает другую: например, если обитаемый планеты встреча-ются 1 раз на миллиард звёзд, то давление частоты катастроф на их будущую продолжительность жизни будет значительным, но при этом они смогут получать сигналы от других цивилизаций, находящихся в той же галактике.)
Подобный эффект может быть обнаружен и относительно человече-ства. Чтобы на Земле возникла разумная жизнь, должно было сложиться множество обстоятельств, включающих правильную величину массы Земли, её химический состав, наличие Луны, характеристики Солнца, место Солнца в Галактике и много других, список которых до сих пор не завершён. (И о многих событиях, отсутствие которых позволило разумной жизни возник-нуть, люди даже не догадываются, потому что ни разу их не наблюдали.) Шанс такого сложения обстоятельств – не больше, чем при игре в рулетку, и у большинства звёзд обитаемых планет не появилось. Подробнее о теории «редкой Земли» см. [Ward, Brownlee, 2000].
В 2007 году вышла статья сербского астронома Милана Чирковича «Эволюционные катастрофы и проблема точной настройки параметров при-годной для жизни планеты. (Проблема Голдилокс)», где он исследует воз-действие наблюдательной селекции на нашу способность извлекать знания о прошлой частоте катастроф. Он применяет формулу Байса для оценки влия-ния прошлых катастроф на наше предоставление об их частоте и получает следующий вывод: «Сверхуверенность становится очень большой относи-тельно очень деструктивных событий! Очевидным следствием является то, что вероятность абсолютно деструктивных событий, которые человечество не имеет шансов пережить вообще (Q = 0), полностью разрушает надёжность наших предсказании на основании прошлых данных. Это почти тривиальное заключение, однако, не является общепринятым. Напротив, довольно известный аргумент Хата и Риса (Hut and Rees 1983) о вакуумном фазовом переходе содержит весьма нетривиальную ошибку – непринятие в расчёт эффекта наблюдательной селекции. Разумеется, гораздо более сложная модель, включающая серии случайных катастрофических событий должна быть развита, но основная философская посылка ясна: мы не должны рассуждать так, как если бы наша прошлая эволюция абсолютно типична для землеподобной планеты, не принимая в расчет наше нынешнее существование».  Однако основной вывод Чирковича состоит в том, что мы не должны использовать данные о прошлом числе катастроф для подтверждения теории о «редкой Земле», а должны полагаться на данные астробиологических исследований в этом вопросе.
А.С.Щербаков в своей статье «Антропный принцип в космологии и геологии» [Щербаков, 1999] подробно разбирает действие антропного прин-ципа на примере исторической динамики земной атмосферы. Он пишет: «Из-вестно, что геологическая эволюция протекает в рамках колебательного ре-жима. Его экстремальным точкам соответствуют два состояния, получивших название "горячая планета" и "белая планета"… Ситуация "горячей планеты" возникает в случае поступления из мантии Земли большого объема газовых компонентов и прежде всего углекислого газа… Как показывают расчеты, постепенное испарение воды океана толщиной 10 метров способно создать такие парниковые условия, при которых начинается кипение воды. Оно продолжается уже без дополнительного притока тепла. Конечная точка процесса — выкипание океанов, рост приповерхностной температуры и давления до сотен атмосфер и градусов… Геологический материал говорит о том, что в своей истории Земля четырежды вплотную подходила к ситуации тотального обледенения. Не меньшее число раз она останавливалась перед состоянием выкипания океанов. Почему же ни того, ни другого не случилось? Общей и единой спасительной причины как будто бы нет. Вместо этого каждый раз обнаруживается единственное и всегда уникальное обстоятельство. Именно при попытках их объяснения в геологических текстах начинает мелькать знакомое "... крайне малая вероятность", "если бы данный геологический фактор на малую долю" и т.д… В фундаментальной монографии "История атмосферы" [Будыко, 1985] речь идет о неизъяснимой корреляции трех явлений: ритмов солнечной активности, этапов дегазации мантии и эволюции живого. "Объяснить соответствие колебаний физико-химического режима атмосферы потребностями развития биосферы можно только случайным согласованием направления и скорости развития не связанных друг с другом процессов эволюции Солнца и эволюции Земли. Так как вероятность такого согласования исключительно мала, то из этого следует вывод об исключи-тельной редкости жизни (и особенно ее высших форм) во Вселенной».
Дальше Щербаков, однако, не делает очевидного вывода о том, что поскольку во Вселенной существуют миллиарды землеподобных планет, то среди них наверняка должна была бы найтись такая, где циклы дегазации мантии совпали бы нужным для устойчивого развития многоклеточной жиз-ни образом. Вместо этого он анализирует философские проблемы телеологии эволюции. Ничего он также не говорит об очевидном следствии того, что развитие Земли было результатом совпадения очень большого количества случайностей – а именно о том, что из этого следует, что в будущем они перестанут совпадать.
Однако большинство людей склонно полагать, что такое везение продлится и в будущем, используя для этого умозаключения индукцию. Ма-тематическим выражением такого рода индукции так же может считаться формула Готта:

                (1)


Где T – возраст системы в момент её наблюдения, t – ожидаемое время её существования, а f – заданный уровень достоверности, в данном случае f = 0.5, то есть 50 процентов, что t попадёт в данный интервал. Фор-мула действует только в том случае, если T – случайная величина. Иначе говоря, если наблюдение системы производится в случайный момент време-ни.
Из формулы следует, что если мы наблюдаем некий объект в слу-чайный момент времени, то до конца существования этого объекта осталось с вероятностью в 50 процентов не менее одной трети и не более трёх перио-дов времени, равных времени существования объекта до момента наблюде-ния.) [Gott, 1993].
В нашей Галактике более 100 миллиардов звёзд, и никаких следов деятельности внеземных цивилизаций люди не обнаружили. Это позволяет предполагать, что Человечество – первая цивилизация в нашей Галактике (или же большинство цивилизаций не сумели технологически продвинуться настолько, чтобы суметь установить контакт с человечеством), а возможно, даже и в Местной группе галактик. Это позволяет выдвинуть гипотезу о том, что существует некий фактор, делающий формирование разумной и технологически высокопродвинутой жизни крайне редким явлением. Можно сказать, что на сегодняшний день человечество выглядит цивилизацией, которая выиграла в лотерею, где только один билет на 100 млрд. является выигрышным. Это примерно равносильно везению в 36 выбросов подряд монетки правильной стороной вверх. Если бы эта игра происходила бы во времени равномерно, то, исходя из возраста Земли в 4,5 млрд. лет, каждое «бросание монетки» происходило бы раз в 125 миллионов лет. Иначе говоря, это означало бы, что математическое ожидание сохранения Земли как пригодной для разумной жизни планеты составляло бы 125 миллионов лет.
Однако распространены и другие способы оценки будущего времени пригодности Земли для жизни. Популярно мнение, состоящее в том, что раз Земля и жизнь на ней просуществовали 4 миллиарда лет, то и в будущем она просуществует примерно столько же, то есть ещё 4 млрд. лет. Это мнение математически выражается формулой Готта, которая дает возможность прийти к выводу, что если мы наблюдаем некий объект в случайный момент времени его существования, то, скорее всего, мы находимся где-то в середине его жизненного пути. Для Земли формула Готта даёт интервал достоверности в 50 процентов, что Земля просуществует от 1,3 млрд. до 12 млрд. лет с настоящего момента.
Однако формулу Готта нельзя применять в случае предсказания бу-дущего возраста Земли, потому что мы, люди, наблюдаем Землю не в слу-чайный момент времени её существования (А формула Готта работает, толь-ко если момент наблюдение распределён совершенно случайно.). Наоборот, мы наблюдаем Землю в тот момент, когда на ней завершились все процессы, необходимые для возникновения разумной жизни – и Земля не единственная планета, где такие процессы начались. Это означает, что мы, скорее всего, наблюдаем её в относительно поздний момент её существования. Точно так-же выигравший два раза подряд игрок в рулетку из предыдущего примера является всего лишь случайным временным  «везунчиком» среди других иг-роков.
При всей уязвимости этого умозаключения, основанного на самых предварительных оценках и ряде произвольных допущений, оно не может не вызывать тревогу. Потому что по формуле Готта (которая не учитывает не-случайность, вносимую эффектом наблюдательной селекции) до уменьшения вероятности выживания до 50 процентов у нас не 125 миллионов лет, а порядка 4 миллиардов. Сравнивая эти два числа, получаем уменьшение ожидаемого благополучного будущего в 32 раза.
Иначе говоря, учёт эффекта наблюдательной селекции снижает в данном случае предварительную оценку ожидаемого будущего в 32 раза. И хотя эта цифра зависит от ряда предположений, масштаб эффекта заставляет нас уделить ему значительное внимание. 
Конечно, можно сказать: «Какая разница, случится ли космическая катастрофа через 4 миллиарда лет или через 125 миллионов лет?» Однако здесь важно проиллюстрировать сам принцип рассуждения, который мы затем применим к более близким материям.
Другой иллюстрацией заблуждений, связанных с проекцией прошлого на будущее, являются распространённые среди людей представления, что Солнце через 5 млрд. лет погаснет. Однако с точки зрения науки излучение Солнца постепенно и непрерывно растёт, что связано с увеличением его радиуса. Этот рост составляет 10 процентов в миллиард лет, что кажется немного, если забыть, что это означает рост средней температуры Земли примерно на 30 градусов – без учёта возможности необратимого парникового эффекта (см. далее), улетучивания воды океанов в космос и других мало приятных факторов, сопутствующих потеплению – что уже на грани выживания млекопитающих современного типа.   А с их учётом оценка в миллиард лет будет казаться весьма оптимистичной. Эта оценка также дана без учёта того, что из стабильности горения солнечного ядра в прошлом не следует стабильность его горения в будущем, тем более, что чем меньше водорода в ядре, тем больше возможностей для так называемой конвекции (перемешивания слоёв в ядре звезды в данном случае) [Шкловский, 1984]. Если бы такая конвекция произошла, это бы привело к значительному изменению светимости Солнца – событие рядовое для других звёзд, но фатальное для человечества. Медленного (настолько медленно, что мы просто не заметили таких процессов у других звёзд, которые мы можем точно наблюдать только около ста лет) изменения солнечной светимости на несколько десятков процентов уже достаточно для закипания океанов или глобального оледенения, а это вовсе не тоже, что вспышка новой звезды.  Кроме того, есть звёзды, во многом похожие на Солнце, но производящие хромосферные вспышки в миллион раз сильнее. Итак, вопреки распространённому мнению, мы, скорее всего, наблюдаем не середину, а заключительный этап существования Солн-ца в качестве звезды, подходящей для поддержания приемлемой температу-ры на Земле. Это согласуется с предположением о том, что благодаря ан-тропному принципу мы находимся близко к концу периодов устойчивости жизненно важных для нас процессов.
В исследованиях будущего влияния Солнца на Землю утверждается, что нагрев Солнца сделает Землю непригодной для жизни в период от 200 млн. до 1 млрд лет от настоящего момента. Эта оценка соответствует полу-ченной нам на основании учёта эффекта наблюдательной селекции,  и не соответствует интуитивному результату, даваемому формулой Готта.
В области финансов рассматриваемая нами тема известна под названием «Survivorship bias», что буквально переводится как «предубеждение, связанное с выживанием». Оно проявляется в том, что в статистике учитываются только те паевые фонды, которые дожили до конца отчётного периода, а значит, имеют хорошие результаты, а те, которые имели плохие результаты и разорились, не учитываются. Это позволяет фондам завышать свою эффективность, так как потенциальному клиенту неизвестно, из какого начального числа фондов выжил данный фонд, и какова в этом роль случайности и закономерности. Чем большее число фондов погибло, тем больше шанс, что данный фонд выжил случайно, а не за счёт качественного менеджмента. Этон, Груббер и Блэйк [Elton, Gruber, & Blake, 1996] вычислили, что суммарный вклад этой ошибки в оценку всех фондов США составляет 0,9 процента в год, что немало, если сравнивать это не со 100 процентами, а доходностью акций или ценных бумаг, равной сейчас примерно 4-6 процентов.
Можно попробовать выразить предлагаемую идею с помощью сле-дующей метафоры. Представим себе, что необходимым условием возникно-вения разумной жизни является то, что несколько капель дождя случайно оказываются на одной линии. Если речь идёт только о двух каплях, то они всегда на одной линии. Если о трёх – то только доли секунды, а если четы-рёх, пяти иди шести – то ещё меньшие доли времени. То есть чем уникальнее условия, сложившиеся в результате взаимодействия нескольких случайных параметров, тем короче во времени они сосуществуют. Однако развитие ра-зумной жизни тем вероятнее, чем дольше планета находилась в благоприят-ных для этого условиях. Отсюда мы делаем вывод о том, что Земля, скорее всего, находится в конце периода устойчивости благоприятных факторов. Однако существенным здесь является предположение о том, насколько неве-роятным совпадением является возникновение жизни на Земле.
Некоторые соображения, почему именно теория «редкой земли» мо-жет быть верной, обозначены в приложении А в конце этой статьи. Свои дальнейшие рассуждения мы продолжим на основании гипотезы, что так оно и есть.
Отметим особую роль логарифмической шкалы в оценки времени будущего выживания, которая состоит в том, что она нивелирует разброс оценок. Если степень уникальности нашей планеты составляет 1050 то ожи-даемое время ее будущего существования – 200 млн лет, а если 10150, то только 50 млн лет. То есть изменение доли обитаемых планет в 10100 раз, то есть в миллиард миллиард миллиард миллиард миллиард миллиард милли-ард миллиард миллиард миллиард миллиард раз приводит к изменению оценки времени будущего существования Земли только в 4 раза!
Такая малая чувствительность окончательного результата к исход-ным данным даёт возможность фактически пренебречь исходными (и неиз-вестными нам данными) о доли обитаемых планет во вселенной, и сделать вывод, что время будущего существования Земли в пригодной для разумной жизни форме имеет порядок 100 млн. лет. Эта величина всё равно имеет большую неопределённость, так как опирается на заведомо неверное в отно-шении геологических процессов предположение о том, что катастрофы в них распределены равномерно во времени и не зависят друг от друга. Таким об-разом, оценка в 100 млн. лет – это скорее верхняя граница, но не нижняя, и неопределённость в ней около одного порядка.
2. Природные катастрофы

Как мы уже говорили, применение эффекта наблюдательной селек-ции к космологическим катастрофам рассмотрено в статье Бострома и Тег-марка. Они изучали катастрофы, вероятность которых равномерно распределена на огромном промежутке времени от возникновения Вселенной до настоящего момента. Благодаря этому они получили оценки, что такого рода  катастрофа вряд ли произойдёт в ближайший миллиард лет. (Однако их вывод не является 100 процентной гарантией, поскольку базируется на ряде достоверных, но не 100 процентно точных данных, полученных крайне косвенным образом – а именно, о частоте распределения потенциально обитаемых планет в галактике и предположении равномерности распределения во времени частоты космологических катастроф – судя по всему, ложном, хотя бы потому что интенсивность излучения квазаров и частота гамма-всплесков со временем падает.)   Однако в это статье мы рассмотрим катастрофы, которые относятся к гораздо более краткому промежутку времени, а именно – к времени существованию обитаемой Земли, и которые имеют не равномер-ное, а нелинейное распределение вероятности.
Эти природные катастрофы не являются внешними по отношению к Земле и Солнечной системе, и поэтому не попадают, если говорить точно, под определение космологических катастроф, но они также и не созданы руками человека.
При этом приходится полагаться на теоретические экспертные за-ключения о возможности тех или иных катастроф, которые носят вероятно-стный или спорный характер, поскольку речь идёт о событиях, которых ни-когда не случалось. В данной статье мы оставим в стороне сложный вопрос о том, как определять степень достоверности того или иного сценария на основании более или менее авторитетных экспертных заключений. Отметим только следующие общие правила описания рисков:

• Полезнее считать некий риск возможным до тех пор, пока строго не доказана его невозможность.

• Если эксперт считает нечто невозможным, он скорее ошибается, чем другой эксперт, который считает нечто возможным. Потому что сужде-ние о невозможности гораздо сильнее и достаточно одного исключения, что-бы его опровергнуть.

• Субъективные оценки, не подкреплённые точными вычисления-ми, обычно ошибочны по примерно логарифмической шкале, например, если некто утверждает, что событие имеет шанс один к десяти, то он прав в 60 процентах случаев, а если он утверждает, что шансы составляют один к миллиону, то он прав с вероятностью в 90 процентов. См. подробнее об ошибках экспертов в оценке рисков статью Юдковского [Yudkowsky, 2007].

Отметим принципиальное различие в терминах. Есть «крупные ката-строфы» – это события, которые приносят неисчислимые бедствия, но не прекращают развития человечества, например грипп «испанка» или «цунами в Юго-Восточной Азии». И есть «глобальные катастрофы» – «угрозы суще-ствованию» (existential risks), то есть события, которые могут необратимо прервать существование разумной жизни на Земле. Только последние рас-сматриваются в данной статье.
Список возможных глобальных природных катастроф велик. Одним из таких событий может стать извержение супервулкана. Извержение супер-вулкана Тоба в Индонезии 74 000 лет назад вызвало всемирную вулканиче-скую зиму, продолжавшуюся 6 лет. Количество предков современного чело-века, живших в Африке, сократилось до нескольких тысяч – фактически, они были на грани вымирания. Это извержение не было самым сильным из воз-можных, его величина – 7 баллов по 8 бальной шкале вулканических земле-трясений. Извержение вулкана Йеллоустоун 2 миллиона лет назад было 8 балльным. Горные породы в Сибири и Индии хранят следы о ещё более масштабных площадных извержениях, произошедших десятки и сотни мил-лионов лет назад. [Биндеман, 2006]
Глобальная опасность вулканических событий состоит не только в вулканической зиме, аналогичной «ядерной зиме», но и связанных с вулка-низмом процессах дегазации земного ядра. Некоторые авторы утверждают, что выделение из земного ядра небиогенного кислорода сделает земную ат-мосферу непригодной для жизни через 600 миллионов лет [Соротихин, 2002].
Взрыв гиперновой (сверхновой максимальной силы), приводящий к образованию гамма-всплеска, направленного на Землю, может привести к уничтожению озонового слоя на несколько лет и мощному радиоактивному заражению, даже если расстояние до гиперновой будет 500 (а по некоторым данным – 3000) световых лет, хотя, вероятно, для нашей Галактики это край-не редкое явление. «Наилучший кандидат» в опасные гиперновые – это звез-да Эта Киля (Eta Carinae) массой более 100 солнечных, находящаяся на рас-стоянии 7500-8000 световых лет от нас.  Взорваться, хотя и слабее, в бли-жайшие тысячи лет может также Бетельгейзе (427 св. лет от Земли). Однако подсчёты показывают, что для взрыва обычной сверхновой, без гамма-всплеска, безопасны расстояния до 8 световых лет. Такие события случаются в среднем раз 1,5 млрд. лет [Gehrels, 2003].
Шкловский [Шкловский, 1984] выдвинул гипотезу о том, что перио-дические конвекции в солнечном ядре с периодом в 200 млн. лет ответствен-ны за глобальные вымирания и ледниковые периоды, а также объясняют проблему солнечных нейтрино. Сейчас проблема недостатка солнечных нейтрино разрешена – обнаружена осцилляция нейтрино из одного типа в другой. Однако есть ряд гипотез о разных длительных циклах Солнечной активности. В любом случае, светимость Солнца по современным моделям постоянно растёт, а количество водорода в его центре убывает, что может сделать его горение нестабильным. Важно отметить, что для глобальной катастрофы на Земле Солнцу не нужно становиться ни новой, и ни сверхновой звездой, а достаточно изменить свою светимость на 10-20 процентов в течение 100 лет. Нам также неизвестно, каков верхний предел энергии вспышек на Солнце, связанных с пятнами и магнитными полями. При этом особенно мощная вспышка может быть очень опасной или безопасной в зависимости от того, направлен ли выброс заряженных частиц в сторону Земли или нет.
В каждой галактике есть центральная чёрная дыра. И в некоторых галактиках они являются мощнейшими источниками излучения, что связано с аккрецией вещества на чёрную дыру. В нашей Галактике тоже есть цен-тральная чёрная дыра, однако она спит. Это связано с тем, что в настоящий момент на неё не падает много вещества, и с тем, что она уже достигла тако-го большого размера, что вещество при падении проходит горизонт событий гораздо более плавно и меньше излучает. Тем не менее, активизация цен-тральной чёрной дыры была бы неприятным сюрпризом для человечества, способным поставить его на грань существования.
Столкновение с астероидом было бы особенно опасным, если бы он упал в океан, так как океан бы почти без потерь перенёс большую часть его энергии в виде цунами на континенты на огромные расстояния. Кроме того, столкновение с крупным астероидом вызвало бы всеобщее сверхземлетрясе-ние, которое бы разрушило все города и запыление атмосферы, аналогичное «вулканической зиме». Однако важно правильно оценивать масштаб разру-шений от астероидов разных размеров. Одна тонна астероидного вещества по энергии примерно соответствует 100 тоннам тротила. Небесные тела раз-мером до километра встречаются гораздо чаще, чем более крупные, но раз-рушения от них не приведут к вымиранию человечества. Более опасны коме-ты. Кометы приходят неожиданно и на большой скорости из облака Оорта, кроме того, возможно, что на кометы не распространяется линейный закон, связывающий размеры астероида и средние время его выпадения – чем больше астероид, тем реже он падает, – поскольку самые мелкие кометы, будучи кусками льда, уже испарились. Критическим для выживания челове-чества является размер падающих небесных тел порядка нескольких кило-метров, а для всей биосферы – в десятки и даже сотни километров. Возму-щения Солнечной системы от проходящих рядом звёзд могут вызывать ко-метные дожди.
Одной из довольно маргинальных, но принимаемой несколькими ис-следователями (Лавлок, Карнаухов) возможностью глобальной катастрофы является убегающий парниковая катастрофа (runaway greenhouse effect). В отличие от продвигаемой средствами массовой информации концепции пар-никового эффекта, которая утверждает, что при худшем сценарии темпера-тура Земли возрастёт на 2 градуса и уровень океана повысится на несколько метров, эти исследователи утверждают, что парниковый эффект находится на пороге необратимости, пройдя который, он войдёт в фазу положительной обратной связи и температура Земли возрастёт на десятки и сотни градусов, делая жизнь на Земле невозможной. Это связано с тем, что водяной пар (не в форме облаков, а растворённый в воздухе) является сильнейшим парнико-вым газом – а запасы готовой испаряться воды на Земле неограниченны. Кроме того, постепенное увеличение светимости Солнца, увеличение длины земных суток, накопление углекислого газа и снижение растворимости угле-кислого газа в океанах с ростом температуры работают на то, чтобы сделать парниковый эффект более сильным. Но ещё один фактор чреват резким увеличением парникового эффекта – разрушение огромных запасов газовых гидратов на дне моря, которое приведёт к выделению в атмосферу больших количеств метана – сильнейшего парникового газа. Разрушение газовых гидратов может принять характер цепной реакции, что уже однажды произошло несколько десятков миллионов лет назад, когда температура Земли повысилась на несколько тысяч лет примерно на 10 градусов. Однако тогда гидратов было гораздо меньше. Возможно, что понимание рисков необратимой катастрофы уже в этом веке стоит за усилиями правительств по снижению выбросов парниковых газов. Этот сценарий можно назвать Венерианским, потому что именно благодаря парниковому эффекту на поверхности Венеры температуры составляет более 400 С. Глобальное потепление является системным риском, поскольку в нём увязано множество разных факторов: Солнце, земные недра, океаны, человек, политика, вулканизм.
Обратный сценарий можно было назвать марсианским – полное вы-мораживание планеты в результате глобального похолодания, которое пре-вратит всю Землю в «заморожённый шарик», настолько успешно отражаю-щий солнечные лучи, что он не может разогреться. Несколько раз в истории Земли это уже случалось, но затем Земля была разморожена  мощным из-вержением вулканов.
На примере соседних планет мы можем видеть, что катастрофы пла-нетарного масштаба уже случались – Марс (улетучивание атмосферы и за-мораживание), Венера (возможно, дегазация недр и определённо парниковый эффект). То есть речь не идёт о гипотетически редких событиях; наоборот, именно Земля – исключение из правил. Вместе с тем частота разных рисков колеблется от сотен лет до миллиардов.
Вот ещё одно свидетельство того, что реальная частота глобальных катастроф, как мы и предсказывали, составляет 100 млн, лет:
«Звезда-супергигант, превращаясь в конце жизни в черную дыру, посылает в космос разрушительное гамма-излучение, которое стерилизует все планеты на своем пути, полагает Арнон Дар. Вероятность оказаться на пути такого излучения для планеты из нашей галактики выпадает раз в 100 миллионов лет».
Другое свидетельство того, что условия нашего существования уже начали ухудшатся, состоит в том, что мы живём сейчас в период интенсив-ной кометной бомбардировки, при которой частота импактов в 100 раз выше средней.
«Такие модели использовались для предположений, что импакты 10-мегатонного класса и более сильные случаются на Земле раз в 2000-3000 лет (Stuart and Binzel, 2004), однако Тунгусский импакт имел место только 100 лет назад. Точно также импакты с энергией в 1000 мегатонн предсказываются раз в 60 000 лет (Morbidelli et al., 2002), и тем не менее, в течение двух лет после этого предсказания был обнаружен 1000 мегатонный астероид, который пройдёт на расстоянии 6 земных радиусов в 2029 год. Точно также, оценка частоты столкновения Земли с активными кометами в 7 км диаметром оценивается иногда как 1 раз в 3 миллиарда лет, и тем не менее низкоактивная комета такого размера IRAS-Araki-Alcock прошла на расстоянии 750 радиусов Земли в 1983 году, что более согласуется с частотой импактов в 200 раз большей. Hughes (2003) исследовал распределение близких пролётов известных NEO, пролетающих мимо Земли, использовав для своих исследований все известные сближения в 2002 году. Он обнаружил, что импакты класса Тунгуски должны случаться раз в 300 лет, а для 1000-мегатонного класса разброс сроков составляет 500-5000 лет. Эта «наземная проверка» основана на небольшом количестве недавних сближений, но показывает, что всё ещё имеется значительная неопределённость в оценках частоты импактов (Asher et al., 2005).
Окончательная «наземная проверка» должна быть, конечно, найдена на земле. Courty et al. (2005), в серии детальных седименталогических иссле-дований обнаружили свидетельства широкого распространения горячих, мелкодисперсных выбросов по всей тропической Африке, Ближнему Востоку и Западной Азии, которые она датирует 2600-2300 до н.э. и связывает рез-кими изменениями природной среды в этот период. Abbott et al. (2005), ис-следовавшие керны льда из Западной Антарктиды, получили множество данных, которые они нашли согласующимися с импактным выбросом из 24 километрового кратера Mahuika на южном шельфе Новой Зеландии. Эти последние аномалии датируются около 1443 года н.э.,  и большой импакт в столь недавнее время кажется очень маловероятным, поскольку его эффекты должны были бы повсеместно ощущаться; с другой стороны, депозиты мега-цунами высотой 130 метров в Jervis Bay в Австралии датируются 1450±50 годом нашей эры. Эти направления исследований являются довольно новы-ми, и всё ещё должны быть повергнуты тщательному критическому анализу; и если они его выдержат, может быть сделан вывод о том, что мы живём в период высокого риска.»
В статье Уильям Нейпьер. Опасность комет и астероидов http://www.scribd.com/doc/9726345/-  есть следующее наблюдение:
«Таким образом, средняя частота гамма-всплесков, направленных на нас в нашей галактике равна примерно JGRB/(1 +z)4 ~ 0-75 x 10~8 в год, или один раз в 130 млн. лет. Если большинство этих гамма-всплесков имеет место не намного дальше чем на расстоянии до галактического центра, то их эффект является летальным, и их частота согласуется с частотой массовых вымираний на нашей планете за последние 500 млн.лет». Арнон Дар. «Влия-ние сверхновых, гамма-всплесков, солнечных вспышек и космических лучей на земную окружающую среду».
2. Применение антропного принципа для анализа
частоты природных катастроф


Для начала важно отметить разницу между прямым и непрямым ме-тодом исследования. Прямой метод состоит в непосредственном вычислении вероятностей для каждого источника риска на основе его научных моделей и экспериментальных данных. Однако мы никогда не можем быть уверены в точности и завершённости списка природных рисков и правильности вычис-лений. Непрямой состоит в оценке порядка величины на основе того факта, что эти риски всё ещё не реализовались. Например, когда говорят, что у не-кого водителя миллион километров безаварийной езды, это пример непрямой оценки его надёжности. Тогда как для прямой оценки нам нужно знать его возраст, вредные привычки, состояние сердца, и ещё множество довольно неопределённых параметров, которые могут быть настолько неопределён-ными, что после длительных вычислений мы, возможно, получим результат с погрешностью, превышающей погрешность непрямого метода оценки. Од-нако, если результаты непрямой и прямой оценки сходны, это хороший знак достоверности вычислений. Очевидно, что применение антропного принципа или формулы Готта относится к непрямым методам.
Антропный принцип применительно к локальным природным ката-строфам будет звучать следующим образом:
За всю историю Земли ещё ни разу не случилось такой катастрофы, которая сделала бы невозможным возникновение разумной жизни на Земле. (При этом мы не рассматриваем здесь минимально необходимый уровень катастроф, который был нужен для продвижения эволюционного процесса, например, для свержения динозавров и расцвета млекопитающих,– подроб-нее об этом см. у Чирковича)
Можно сформулировать его и более узко:
За время существования нашей цивилизации ни разу не случалось такой катастрофы, которая бы прервала нашу историческую память, то есть прервала бы письменную традицию.
Понятно, что в этих двух формулировках речь идёт о катастрофах разного масштаба. Наша письменная традиция имеет возраст в 5 тысяч лет. Возможно, что до этого были и другие виды письменности, но они не сохра-нились, и непрерывная связь с ними была утрачена. Если бы действительно имело место нечто вроде Великого потопа или мегацунами, то выжили бы только безграмотные высокогорные пастухи. Из того, что наша письмен-ность существует 5 тысяч лет, мы можем заключить, что такое событие в течение этого времени не происходило. Легенды о Великом потопе могут быть свидетельствами о катастрофе такого рода. Но о «предпоследнем пото-пе» мы ничего не помним – непрерывность нашей исторической памяти раз-рушена. Вопрос в том, как часто случаются события, прерывающие пись-менность цивилизации?
Антропный принцип применительно к природным катастрофам оз-начает, что все условия должны были сложиться так, чтобы окончательных катастроф не произошло вплоть до настоящего момента, однако он вовсе не означает, что их не должно происходить и дальше.
Хорошим примером процесса, подобного описываемой динамике глобальных катастроф, является статистика человеческой смертности. Этот процесс характеризуется возрастающей «интенсивностью смертности», на-зываемой в демографии мю(t), а в теории надёжности – «интенсивностью отказов». Количественной его мерой является отношение плотности вероят-ности к самой вероятности или математическое ожидание числа лет, которое проживёт человек, после достижения некоторого возраста. Данные по статистике США  [Health…, 2007]:

Таб.1.

Возраст: Мат. ожидание оставшихся лет жизни:
0-1 73,88
05 70
10,4 65
15-16 60,19
20-21 55,46
25-26 50,81
30-31 46,12
35-36 41,43
40-41 36,79
45-46 32,27
50-51 27,94
55-56 23,85
60-61 20,02
65-66 16,51
70-71 13,32
75-76 10,48
80-81 7,98
85-86 5,96
90-91 4,43
95-96 3,34
100-101 2,73
105-106 2,38
109-110 2,2
Дальше информации нет.

По этой таблице для нас важно следующее.

- Геофизические катастрофы – это катастрофы сложных неравновес-ных систем, и к ним применимы аналогии из теории надёжности и старения.
- После возраста в 100 лет математическое ожидание будущих лет жизни почти не меняется и медленно убывает в районе 2,5 лет. Это не меша-ет некоторым подтверждённым долгожителям доживать до 115 лет. (При этом имеются в виду долгожители США, откуда эта статистика. В других странах и народах может быть другая статистика, более растянутая во вре-мени, за счёт местных генетических и экологических особенностей, но менее надёжная как источник данных)
Чтобы яснее связать сказанное с темой влияния эффекта наблюда-тельной селекции, представим себе, что было бы, если бы супервулкан Тоба, который поставил человечество на грань гибели своим извержением, не за-молк бы на 75 000 лет, а извергался бы каждые 10 000 лет, каждый раз со-кращая число людей до нескольких тысяч. В таких условиях, вероятно, не-прерывно развивающаяся и, в конце концов, осознающая себя цивилизация не могла бы сформироваться, и, значит, некому было бы исследовать вопрос об антропном принципе и глобальных рисках.
Можно провести параллель между ситуацией гибели всего человечества и статистикой человеческой смертности.
Средний возраст произвольного человека будет равен примерно по-ловине среднего возраста – по нашей таблице это немного менее 40 лет. (Дальний хвост таблицы, в котором находятся долгожители, почти не влияет на выбор середины, так как там очень мало людей) Для него ожидаемая про-должительность остатка жизни составит порядка 36 лет.
Теперь возьмём множество всех людей, которые достаточно взрос-лые, чтобы начать исследовать вопрос об антропном принципе, и выберем из него произвольного человека. Скорее всего, он будет старше 15 лет. Средний возраст людей старше 15 будет примерно 47 лет, и ожидаемая продолжительность остатка жизни для них около 30 лет. То есть на 6 лет меньше, чем для человека вообще. Поскольку все читающие эту статью относятся ко второй группе, то среднее математическое ожидание будущей жизни для них будет на 6 лет меньше, чем для людей вообще.
Этот временной сдвиг невелик в данном примере, но существенно зависит от соотношения двух параметров – времени интеллектуального со-зревания и средней продолжительности жизни, которые, вообще говоря, не связаны. Иначе говоря, можно представить себе некое сообщество людей, где для достижения мудрости нужно прожить 100 лет. Достигнув 100 лет, человек задаётся вопросом, на сколько лет жизни ещё он может рассчиты-вать? Если он не может пользоваться примером других людей, он мог бы предположить, что будущее его время примерно равно прошлому, и у него есть в запасе ещё, примерно 100 лет. Вместе с тем таблица показывает, что средняя вероятная продолжительность остатка жизни человека столетнего возраста – 2-3 года.
Этот временной сдвиг и есть тот сдвиг, который я имею в виду под эффектом наблюдательной селекции применительно к природным катастро-фам.
Иначе говоря, количество «мудрецов» возрастает к концу возрастной таблице, а количество людей с большим показателем ожидаемого остатка жизни – к началу. Обнаружив себя «мудрецом», человек вынужден предполагать, что он, скорее всего, находится ближе к концу своей возрастной таблицы, а не к середине.
Точно такая же ситуация и с цивилизациями: ожидаемая продолжи-тельность существования цивилизации, уже открывшей математику, может быть сильно меньше ожидаемой продолжительности существования цивили-зации вообще. Однако это зависит от неизвестного нам параметра средней периодичности катастроф.
Здесь важно сказать следующее: имеется принципиальная разница между строго периодическими катастрофами и псевдопериодическими собы-тиями. Например, равноденствия – это (почти) строго периодические собы-тия. Если бы мы не знали, какой сейчас день года, то могли бы сказать, что среднее ожидание равноденствия составит 365\2 = 183.5 дней. Однако если бы мы узнали, плюс к тому, что равноденствия не было уже 50 дней, то моя оценка бы сократилась до 133.5 дней.
С другой стороны, если бы мы наблюдали радиоактивный атом с пе-риодом полураспада 365 дней, то информация о том, что он уже 50 дней как не распался, никак бы не изменила наше ожидание срока его существования.
Отсюда видно, что катастрофы со строгой периодичностью гораздо опаснее катастроф со случайной периодичностью, потому что мы знаем, что, раз мы существуем, то их не было в промежуток времени с последнего их появления.
Составим таблицу средней периодичности извержений супервулкана Тоба, и ожидаемой продолжительности существования цивилизации, исходя из того, что последнее катастрофическое извержение супервулкана было 75000 лет назад. Будем учитывать три типа периодичности: строгую, как для астрономических событий, вероятностную, как для радиоактивного распада и смешанную, в качестве модели для которой возьмём данные из таблицы человеческой смертности (табл. 1.) (Эти данные затем приведены таким образом, что для каждой строки таблицы периодичность приравнена к средней продолжительности жизни в 80 лет, и отсюда выведено значение «года», и по таблице смертности взято ожидаемое время жизни для этого возраста, и обратно конвертировано числа временной шкалы табл.2.)
В каждом столбце таблице жирным выделены те ячейки, которые дают наиболее опасный прогноз.












Таб.2
Перио-дичность Извер-жений, лет Тип перио-дичности: строгий, вре-мя до сле-дующего из-вержения, лет Тип периодичности:
Вероятностный, время до следующе-го извержения, лет Тип периодично-сти: смешанный, подобный челове-ческому старению, лет
10,000 Прямо сейчас 10,000 Прямо сейчас (ана-лог возраста чело-века в 560 лет, ожи-даемая продолжи-тельность жизни – меньше года)
50,000 Прямо сейчас 50,000 Около 1000 (ана-лог возраст челове-ка 120 лет, ожидае-мая продолжитель-ность жизни – 2 года)
75,000 Прямо сейчас 75,000 7000 (80 лет, 8 лет)
100,000 25,000 100,000 20 000 (60 лет, 20 лет)
150,000 75,000 150,000 80. 000 (40 лет, 40 лет)

В этой таблице мы можем отвергнуть данные тех ячеек, которые го-ворят о немедленном извержении, ибо сейчас его не происходит. И теперь выберем те ячейки, которые дают наименьшие сроки, чтобы определить наи-более опасные сценарии. Сразу видно, что самые малые значения дольше всего появляются в третьем столбце таблицы, соответствующем смешанному распределению, подобному человеческой смертности.
Иначе говоря, это можно сформулировать так: наиболее опасны природные катастрофы с неточным критическим порогом.
Очевидно, что для разных классов природных катастроф будут вер-ны разные виды распределений, но наверняка найдутся такие классы катаст-роф, для которых верны самые опасные распределения.
Это связано с тем, что разумная жизнь на Земле – крайне редкое яв-ление в Космосе, если исходить из отсутствия её видимых проявлений среди звёзд (парадокс Ферми). И, вероятно, для её возникновения требовались крайние значения некоторых параметров устойчивости. Например, Солнце вращается таким образом вокруг центра Галактики, что никогда не попадает в галактические ветви.
Однако крайние значения любых параметров устойчивости находятся рядом с границей неустойчивости. Например, если взять самого старого человека в стране, то его ожидаемая продолжительность жизни будет мала. Если надуть воздушный шарик до максимально возможного размера, то следующего приращения объёма он уже не выдержит.
При этом мы можем иметь теоретически две следующие ситуации:
1. Геологические катастрофы происходят очень часто, но поскольку человечество могло сформироваться только в период относительного зати-шья, то мы наблюдаем как раз такое случайное затишье.
1а) При этом хотя бы некоторые из катастроф носят строго периоди-ческий характер. Тогда наше затишье похоже на ситуацию, когда сразу не-сколько разнопериодичных  маятников отклонились в одну сторону. Оче-видно, что в этом случае очень скоро многие из этих маятников пойдут в другую сторону. Это – наихудший для нас сценарий. Он может выглядеть как внезапное, необъяснимое, одновременное ухудшение всех жизненно важных факторов риска – связанных с Солнцем, вулканами, метеоритами. Более того, возможно, мы его уже начинаем его наблюдать – поскольку те крупные катастрофы, которые угрожали бы человечеству в древности, вроде вулканической зимы, теперь не могут привести гибели всего человечества, и поэтому ничего не мешает им стать наблюдаемыми.
1б) Все катастрофы носят случайный характер. В этом случае конец затишья будет более плавным. Однако мы можем наблюдать то, как некото-рые параметры уже начали ухудшаться, но ещё не вышли за пределы допус-тимых границ – например, на Земле началась эпоха оледенений или что све-тимость Солнца выросла.
1в) Хотя бы некоторые катастрофы имеют периодичность с неточ-ным критическим порогом. Из них опаснее всего те, в отношении которых мы уже вошли по времени в область критического порога. Такие катастрофы готовы разразиться в ближайшем будущем.
2. Все геологические катастрофы происходят достаточно редко, что-бы эффект наблюдательной селекции не проявился.
При этом важно отметить, что характерное время разных классов геологических катастроф различно, поскольку различна та глубина, с кото-рой они прерывают человеческое развитие. Например, время между вулка-ническими извержениями класса Йеллоустоуна, которые могут привести к вулканической зиме, губящей всё человечество, составляет около 600 000 лет, но оно угрожает только одному виду приматов.
Время между гигантскими цунами в области Средиземноморья мо-жет быть около 10 000 лет, но оно угрожает только непрерывности письмен-ности у молодых культур в этом районе.
А характерное время супервспышек на Солнце или столкновения с суперкометами в сотни километров диаметров, которые могли бы уничто-жить всю жизнь на Земле, может быть порядка миллиардов лет.
Теперь интересно задаться вопросом, какие геологические катастро-фы можно отнести к периодическим или квази-периодическим. Сразу отме-тим, что здесь очень распространена ситуация, когда постепенное нарастание некоторого параметра (скажем, напряжения в коре) достигает некоторого порогового значения, которое «размазано» на некотором промежутке. Эта ситуация сочетает в себе качества строго периодических и случайных процессов. А именно, если нарастание параметра строго линейно, а критический порог строго определён, мы имеем периодический процесс.
1. Супервулканы. Периодичность их извержений обусловлена физи-кой их работы, в чём-то похожей на работу гейзера. Магма поступает по плюму от горячей точки на границе земного ядра в течение многих миллио-нов лет более-менее равномерно и накапливается в огромной камере под земной поверхностью. Когда давление в камере превышает критический по-рог, крышка камеры разрушается и происходит огромное извержение. После этого требуются сотни тысяч лет, чтобы камера восстановилась и снова за-полнилась. Такие процессы называют квазипериодическими.
2. Периодичность свойственна процессам, происходящим на Солнце. А также движению Солнца относительно галактической плоскости.
3. Периодичность свойственна движению небесных тел, в частности, астероидов. И хотя прохождение одного астероида около Земли дело слу-чайное, в некоторых случаях это может проявляться. Например, если дейст-вительно существует гипотетическая Немезида – звезда-спутник Солнца на далёкой орбите, – то её периодические сближения с Солнцем могут вызывать шквал выпадения комет из облака Оорта.
4. Определённая периодичность присуща землетрясениям и связана с постепенностью накопления напряжения в земной коре вплоть до некото-рого порога срабатывания. И хотя считается, что землетрясения в зонах суб-дукции (погружении плит одна под другую) имеют некоторый предел по энергии порядка 10-11 баллов (порядка 100 гигатонн тротилового эквивалента энергии), есть маргинальная теория о том, что более редкие, но более сильные события могут происходить в зонах спреддинга в центре океанов, где плиты порождаются и расходятся. Энергия разрыва, как мы знаем на примере воздушного шарика, гораздо больше энергии деформации. Такие разрывы могут создавать цунами километровой высоты, которые уже могут приводить к утрате непрерывности цивилизации.
5. Периодичность, возможно, присуща и ледниковым периодам.
6. Земная атмосфера находится в метастабильном состоянии между полным замерзанием по модели Марса и необратимым парниковым эффек-том, по типу Венеры. Несколько факторов работают на то, что она переки-нется в состояние Венеры, и наихудший сценарий, который называют экс-перты, требует всего лишь нескольких сот лет времени. Этот сценарий свя-зан с тем, что водяной пар сам по себе – мощнейший парниковый газ, поэто-му возможна положительная обратная связь: нагревание воды в океане – испарение – парниковый эффект – ещё большее нагревание. Быстрое вращение Земли, в отличие от медленного Венеры, не даёт этому эффекту сработать в полную силу, поскольку на ночной стороне вода остывает. Однако вращение Земли замедляется за счёт приливного действия Луны со скоростью порядка часа суток в несколько сот миллионов лет. На это накладывается ещё несколько факторов потепления: выделение углекислого газа при сжигании человеком ископаемого топлива, дегазация запасов метана в вечной мерзлоте Сибири, распад газовых гидратов в океанах и рост светимости Солнца. Хотя вклад этих факторов по отдельности невелик, вместе они могут перейти критическую границу самоусиления.
7. В некотором смысле к геологической катастрофе можно отнести и глобальную ядерную войну, поскольку относительно неё действуют те же вероятностные законы. Первая и единственная ядерная война была в 1945 году в Японии, с тех пор ядерной войны не было уже 63 года. Этот большой срок сам собой внушает людям успокоение. Однако даже ядерная война за-пускает эффект наблюдательной селекции – а именно, даже если бы средняя периодичность гибели цивилизации от ядерной войны была бы только 20 лет, то мы бы всё равно этого не заметили. Однако, если применить методо-логию Бострома из статьи «Насколько невероятна катастрофа судного дня», то с учётом того, что данный анализ мог бы быть проведён в произвольный момент после осознания ядерной опасности, а я провожу его через 62 года, – следует, что было бы маловероятно его проводить так поздно, если бы война случалась достаточно часто, что исключает частоту войны в 20 лет с досто-верностью порядка 90 процентов, и в 10 лет – в 98 процентов. Но только при условии того, что вероятность войны распределена равномерно, и эта война означает полную гибель людей. Что в целом не верно.
Накопление количества плутония в мире и увеличение количества ядерных держав можно сравнить с ростом напряжения (как в земной коре перед землетрясением) и снижением критического порога срабатывания. С учётом этого снижения устойчивости можно сказать, что наихудшая оценка периодичности ядерной войны на данный момент – не менее 5 лет. Разумеет-ся, это не означает, что её не будет в ближайшем году. И это гораздо хуже предварительной оценки в 60 лет, с которой мы начали.
8. Возможно, существует некий периодический природный процесс, который приводит к вымираниям живых существ раз в  65 миллионов лет (а также в 200 млн. лет). Природа этого процесса, величина периода и сама его реальность вызывает у учёных споры. Подозревают конвекции в солнечном ядре, прохождение Солнца через рукав Галактики, пики активности земного ядра, волны выпадения комет, вызванные пролётами Немезиды или другими причинами. Почему-то не вызывает удивления, что оба срока уже подошли, и, может быть, даже просрочены.
Примером одновременного расползания жизненно важных парамет-ров является человеческое старение, если рассматривать его не как результат генетической программы самоуничтожения, а как результат естественного отбора в ходе эволюции всех органов по времени службы, которое должно быть не менее некоторой величины – но не обязано её превышать. (Точно также все детали машины Лада отобраны так, чтобы средний срок службы их был не меньше, допустим, чем 50 000 км пробега, а Мерседеса – не менее 200 000 км. )
Ещё пример эффекта наблюдательной селекции: каждый человек был настолько везуч, что именно его сперматозоид – один из 100 миллиардов – оплодотворил яйцеклетку. Но из этого не следует, что он наверняка выиграет хотя бы 100 рублей в рулетку. То есть сегодня "везучесть" закончилась. Точно так же наша цивилизация была настолько удачлива, что ей удалось прожить 75 000 лет без извержений сверхвулканов и других прерывающих событий. Дальше наше «везение» ничто не гарантирует. А вулканы, плюс к тому, всё это время копили силу.
Есть ли геологические процессы, о которых мы знаем, что они могут быть близки к катастрофическому завершению?
1) Вулкан Йеллоустоун. Три извержения с двумя промежутками ме-жду ними примерно в 600 тысяч и с тех пор ещё 600 тысяч прошло. Если так, то мы можем ожидать его взрыв в течение ближайших 100 000 лет. (При этом данный вулкан не угрожает нынешней цивилизации в той степени, в которой он угрожал ей несколько сот лет назад, когда техника была слабее.) Но если его извержение как бы «оттягивалось» эффектом наблюдательной селекции (а именно, во всех альтернативных мирах, где он бы извергся, человеческая цивилизация бы сформировалась гораздо позже – или бы вообще не возникла) – то степень его зрелости, готовности к извержению, может быть гораздо большей.
2) Процесс разогрева Солнца. Не зная о нём, можно было бы сказать, что раз Солнце светит миллиарды лет, то оно и будет светить миллиарды лет. Но на самом деле Солнце сожжёт жизнь на Земле в течение ближайших 200млн – 1 млрд лет. Об этом мы уже говорили.
3) Процесс  смены магнитных полюсов планеты, который, возможно, всё более ускоряется. Есть предположение, что в момент переполюсовки на Землю обрушится мощный поток космической радиации. Такие события уже бывали в прошлом (последний раз 700 000 лет назад), но неизвестно, каковы будут его последствия для цивилизации.
4) Есть гипотеза, что разрушение озонового слоя связано с выделе-ниями водорода и других газов в ходе процесса дегазации Земли [Сыворот-кин, 2001]. И что пики дегазации происходят циклически и связаны со сме-щением твёрдого земного ядра внутри жидкого, которое в свою очередь вы-зывается, по мнению Сывороткина, гравитационными нарушениями земной орбиты из-за близких пролётов небесных тел.
5) Необратимый парниковый эффект. Солнце никогда ещё не было столь ярко, а Земля не вращалась столь медленно. Плюс выделение парнико-вых газов, как человеком, так и из природы.
6) Развитие технологической цивилизации возможно только при на-личии длинных сетей электропередачи, однако такие сети могут быть разру-шены интенсивной вспышкой на Солнце за счёт наведённых токов. Послед-няя сверхмощная вспышка в 1859 году привела к искрению существовавших тогда линий телеграфной связи.
Наихудшим возможным следствием того, что антропный принцип нас «защищал» столь долго, может быть эффект «оттягивания резинки» – чем дольше её оттягиваешь, тем сильнее она затем стукнет. Этот эффект имел место в отношении природных катастроф в Йеллоустоунском национальном парке в США, когда там в течение многих десятилетий предотвращали естественно возникающие с определённой периодичностью лесные пожары. Это привело к накоплению огромного количества сухой древесины в лесах, что кончилось колоссальным пожаром, который невозможно было бы остановить и ущерб от которого превышал многократно ущерб от обычных пожаров. Тоже верно и для землетрясений: чем дольше его не было в определённой местности, тем большее напряжение коры накопилось. Тоже верно и для супервулканов – чем дольше накапливалась магма в котле, тем больше её накопилось. И если в силу неких случайных обстоятельств некий очень опасный для всей Земли процесс сдерживался и накапливал свою силу, то скорость его обратного разворачивания может быть устрашающей.
Иными словами, ещё один фактор, который следует учесть для оценки будущей частоты катастроф, состоит в том, что для некоторых сис-тем длительная стабильность является предвестником перехода в катастро-фический режим. Например, упрощённо говоря, в случае накопления напря-жения в земной коре при движении плит, это напряжение может сбрасывать-ся в двух режимах: в виде частых слабых землетрясений, и в виде редких, но сильных. В этом случае период длительного отсутствия землетрясений явля-ется предвестником сильного землетрясения в будущем. Если бы возникно-вение человечества зависело бы от отсутствия каких-либо землетрясений, то человечество бы с большей вероятностью возникло бы в период затишья – а значит, перед особенно сильным землетрясением. Например, сельское хозяй-ство могло развиться только в период голоцена с относительно устойчивым климатом, а не в период предшествующий Молодого Дриаса с его климати-ческими скачками. С другой стороны, периоды оледенений способствуют накоплению метана, высвобождение которого может приводить к мощному парниковому эффекту.
Таким образом, если некая система может находится в двух режимах – с частыми и слабыми катастрофами или с редкими, но сильными, то цивилизация скорее обнаружит себя во втором случае, причём в конце периода устойчивости.
Неожиданным следствием рассуждений об усилении числа природ-ных катастроф в будущем является то, что это даёт довольно призрачную надежду сделать наконец антропный принцип фальсифицируемым – то есть верифицировать его научный статус.
Важно обратить внимание и на следующее: миллионы людей погиб-ли в прошедшем столетии от различных геологических катастроф, тогда как от падения метеоритов и других космических событий – максимум единицы. Это говорит о том, что Земля, находящаяся у нас под ногами, в миллионы раз опаснее, чем небо над головой. И хотя обобщение этого наблюдения на угрозы существованию не вполне корректно, всё же это заставляет предположить, что риск гибели человечества от неких процессов внутри Земли гораздо выше, чем риск вымирания от космических событий.
Крайней формой приведённого мировоззрения было бы то, что мир погиб бы сразу после того, как был бы открыт антропный принцип. И это может быть так, если принять ту формулировку Doomsday argument Картера-Лесли, где в качестве референтного класса выступает всё множество людей, которые знают про DA. А это множество крайне мало.

4. Нарушение устойчивости природных систем, находящихся на грани равновесия, в связи с человеческой деятельностью

Полученный результат может показаться незначительным – сниже-ние ожидаемого потолка пригодности Земли для жизни с 5 млрд. лет до при-мерно 100 миллионов ничего не меняет для судеб человечества, так как за 100 миллионов лет человечество или вымрет, или найдёт способы противо-стоять вновь появляющимся рискам. Фактически, как я стараюсь показать в своей работе «Структура глобальной катастрофы», шансы вымирания чело-вечества в XXI веке составляют несколько десятков процентов. Этой же точ-ки зрения придерживаются и другие исследователи глобальных рисков – М.Рис и Н. Бостром.
Однако не всё так просто. Если верно, что мы находимся в области маловероятного снижения частоты природных катастроф, то можно предпо-ложить, что многие катастрофы такого рода уже назрели. Например, в маг-матической камере супервулкана уже скопилось большое количество рас-плава.
Конкретный момент извержения зависит от множества случайных факторов, однако чем в большей мере извержение назрело, тем более сла-бое внешнее воздействие может его пробудить. Например, упрощённо го-воря, если толщина крышки магматической камеры 5 км, а давление в камере таково, что способно разрушить 4 900 метров крышки, то бурение скважины глубиной всего в 100 метров приведёт к нарушению целостности магматиче-ской камеры.
Рост технологической цивилизации сопровождается непрерывным ростом воздействий человека на природу. Мы изменяем состав атмосферы, бурим всё более глубокие скважины и т. д. При этом мы предполагаем, что литосфера и атмосфера находятся в устойчивом состоянии, поскольку они существуют уже миллиарды лет. Однако если мы учтём эффекты наблюда-тельной селекции, то мы должны допустить, что они со значительной веро-ятностью находятся в неустойчивом состоянии на грани катастрофической бифуркации и наши воздействия могут превысить критический порог, кото-рый приведёт к их решительным изменениям.

Из процессов, которые вероятнее всего находятся на грани катаст-рофического изменения, следует в первую очередь отметить глобальное по-тепление. Мы не можем оценивать степень неустойчивости земной атмосфе-ры, исходя из прошлых данных. И если эта неустойчивость велика, то даже малейшие вмешательства человека могут ее запустить. Последние данные показывают, что так оно и есть – а именно началось выделение метана со дня Ледовитого океана, что может привести к цепной реакции разогрева Земли по венерианскому сценарию. (В Арктике обнаружены массированные выбросы метана.  http://www.strf.ru/science.aspx?CatalogId=222&d_no=15599)
Во-вторых, сама земная литосфера может быть неустойчива. Напри-мер, литосфера Венеры, по некоторым данным, полностью обновилась пол-миллиарда лет назад. Глубокое бурение и попытки отправить зонд к центру Земли могут привести к катастрофической дегазации земных недр, которая, возможно, давно уже запоздала. Это всё равно, что трогать иголкой чрезмер-но надутый воздушный шарик. Милан Чиркович обратил внимание на этот риск в статье: «Гео-инженерия, пошедшая насмарку: новое частное решение парадокса Ферми». http://www.proza.ru/2007/11/10/290)
Гораздо более гипотетической является возможность того, что воз-действие человека приведёт к разрушению каких-либо небесных тел в Сол-нечной системе. Среди возможных вариантов – детонация термоядерного горючего (дейтерия) в планетах-гигантах, взрывы ионизированного льда в их спутниках, нарушение отлаженного равновесия орбит астероидов. Подробный обзор этих гипотетических сценариев я даю в статье «О возможности искусственной инициации взрыва планет-гигантов и других объектов Солнечной системы».
http://www.proza.ru/2008/07/19/466)
 Наблюдательная селекция может приводить к существенной недо-оценки рисков Большого адронного коллайдера, а также множества других менее известных экспериментов, об опасности которых мы можем даже не подозревать.

5. Быстрая эволюция разума в периоды высокой интенсив-ности природных катастроф

М. Чиркович написал статью на эту же тему («Эволюционные ката-строфы и проблема точной настройки параметров обитаемой планеты») [Cirkoviс 2007], в которой подчёркивает, что определённая частота природ-ных катастроф была необходима в прошлом, чтобы пришпоривать эволюци-онное развитие. Тот факт, что возможно, существуют «тёмные кометы» и что мы живём как раз в период интенсивной кометной бомбардировки, может иметь объяснение как раз в этом: эта кометная бомбардировка в последние несколько десятков тысяч лет способствовала частой смене климата и созда-вала эволюционное давление, при котором становился выгоден универсаль-ный разум, а не конкретные адаптации. В силу этого неудивительно, что универсальный разум обнаруживает себя в период повышенной частоты катастроф.
Таким образом, универсальный разум имеет тенденцию возникать в периоды повышенной средней частоты природных катастроф. Однако в та-кие периоды бывают как малые катастрофы, так и более редкие большие, которые полностью могут уничтожить этот разум. (Которые он не мог бы наблюдать на заре своего существования, так как они бы её сразу прекрати-ли.)
Например, если несколько сот тысяч лет назад крупная  (100 км диа-метром) комета разбилась на мелкие куски в окрестностях Солнца, как счи-тают представители Holocen Impact group, то мелкие ее осколки (1 км) выпа-дая на Землю, могли создать перепады климата, оледенения, массовые вымирания, которые способствовали быстрой эволюции и вымиранию узкоспециализированных форм. Однако среди осколков такой кометы могут быть и крупные, более 10 км диаметром, которые мы не замечаем, потому что они являются «тёмными кометами», то есть покрыты коркой сажи. И именно они представляют угрозу существованию тому разуму, который сама же эта комета и породила.
То есть опять-таки наблюдательная селекция приводит к тому, что мы наблюдаем тот мир, в котором частота глобальных катастроф выше средней (если верна кометная гипотеза, то в 100 раз, так как по утверждениям HIG средняя частота падения 1 км тел равна 3 за последние 5000 лет, что в 100 раз выше нормы).
Более высокая частота катастроф может быть также признаком за-вершения периода устойчивости условий, необходимых для нашего сущест-вования, о котором шла речь в предыдущих главах.
Вопреки выводу Цирковича о том, что мы не можем делать никаких выводов о будущей частоте катастроф, исходя из прошлой частоты, более подробные рассуждения показывают, что правильным выводом будет счи-тать будущую частоту катастроф большей.
Циркович полагает, что период интенсивного катастрофизма, кото-рый привёл к формированию разума, закончится, и в будущем могут насту-пить более гладкие времена. Но это относится только к одному источнику катастрофизма, например, кометам, но не относится к другим – например, плавному нарастанию неблагоприятности Солнца. Вряд ли также этот «эво-люционный катастрофизм» резко закончится сразу после формирования ра-зума (если только это не был какой-то очень редкий тип катастрофизма, но наша вселенная скорее имеет редкими периоды устойчивости, а на катастро-фы она богата.)
;
6. Заключение

Консервативная позиция с точки зрения безопасности – это рассмот-рение наихудшего возможного исхода. Для нас им было бы то, что наша цивилизация существует в промежутке затишья между несколькими периоди-ческими процессами, угрожающими её существованию, при этом длина это-го затишья сопоставима с характерным временем периодичности этих про-цессов, что означает, что они уже начали завершаться. Особенно угрожают среди таких процессов ядерная война, необратимый парниковый эффект и супервулканы, однако могут быть и совершенно неизвестные нам процессы, проявление которых раньше было несовместимо с существованием наблюдателей.
И хотя, по мнению автора, эффект наблюдательной селекции не так страшен, как развитие биологического оружия, распространение ядерного и неконтролируемый искусственный интеллект, нельзя сбрасывать со счёта тот факт, что он вносит поправку в любые наши вычисления о будущем.
Хотелось бы закончить цитатой из Ника Бострома: «Однако мы не должны слишком спешить отбрасывать риски существованию, которые не созданы человеком, как незначительные. Это правда, что наш вид выжил в течение долгого времени, несмотря на присутствие таких рисков. Но здесь может играть роль эффект наблюдательной селекции. Вопрос, который нам следует задать, состоит в следующем: в теоретическом случае, если природ-ные катастрофы стерилизуют землеподобные планеты с большой частотой, что мы должны ожидать обнаружить? Очевидно, не то, что мы живём на сте-рилизованной планете. Но может быть, мы должны быть более примитивны-ми людьми, чем мы являемся? Чтобы ответить на этот вопрос, мы нуждаемся решении вопроса о референтных классах в теории селекции наблюдателей. Но эта часть методологии ещё не существует». [Bostrom, Existential Risks, 2002]
Пугающим подтверждением гипотезы о том, что мы, скорее всего, живём в конце периода устойчивости природных процессов, является статья «Циклы разнообразия палеонтологических остатков» Р.Рода и Р. Мюллера в Nature (Rohde Robert A. & Muller Richard A. Cycles in fossil diversity. NATURE, VOL 434, 10 MARCH 2005 http://muller.lbl.gov/papers/Rohde-Muller-Nature.pdf )  об обнаружении цикла вымираний живых существ с периодом 62 (+/- 3 млн.лет) – поскольку от последнего вымирания прошло как раз 65 млн.лет. То есть время очередного циклического события вымирания уже давно настало. Отметим также, что если предлагаемая гипотеза о роли наблюдательной селекции в недооценки частоты глобальных катастроф верна, то она означает, что разумная жизнь на Земле – крайне редкое явление во Вселенной, и мы – одни в наблюдаемой Вселенной с большой вероятностью. В этом случае мы можем не опасаться инопланетного вторжения, а также не можем делать никаких выводов о частоте самоуничтожения продвинутых цивилизаций в связи с парадоксом Ферми (молчание космоса). В результате нетто вклад данной гипотезы в нашу оценку вероятности человеческого выживания может быть положительным.
Р. Познер в книге «Катастрофа. Риск и реакция» приводит следую-щий пример, который, как мне кажется, подтверждает, что мы живём в ати-пичном островке стабильности, являющемся статистической аномалией в непрерывно меняющемся мире. «Оптимисты могут указать на то, что климат Земли был  относительно неизменным на протяжении последних 10 000 лет, и это внушает им надежды, что  он и дальше будет устойчивым. Этот опти-мизм не обоснован. Эра стабильности (называемая Голоцен) является апти-пичной в земной истории.  Предшествовавший период, называемый «Моло-дой Дриас” (Younger Dryas) был эпохой резких климатических изменений, которые, случись они сегодня, имели бы катастрофические последствия. Этот период начался с падения температур до уровня ледниковых, и а закончился резким ростом температур на 8 градусов в течение десятилетия».
Поскольку, вероятно, успешное развитие сельского хозяйства требо-вало устойчивого климата, то сельскохозяйственная цивилизация, а затем и традиция письменности могли сформироваться только в период атипично повышенной устойчивости климата.
Наконец, определённое число природных катастроф в точно отме-ренный промежутки времени было необходимо, чтобы разрушить господство одних видов и дать возможность свободно эволюционировать более прогрессивным. Возможно, если бы не астероид, то на Земле до сих пор царствовали бы динозавры, и гоминидов бы не было. Разумная жизнь не могла бы сформироваться в слишком стабильных условиях. Это значит, что в нашем мире должна присутствовать определённая катастрофичность, и неизвестно, как она проявит себя в будущем.

Приложение A. Плотность наблюдателей во вселенной, частота катастроф и антропный принцип


В этом разделе я предлагаю довольно спекулятивное и предвари-тельное рассуждение, которое не изменяет основных выводов статьи, однако стремится их подтвердить, показав, что теория «редкой Земли» верна, и звёз-ды с обитаемыми планетами встречаются в видимой вселенной крайне редко, что в частности, может означать высокий уровень катастрофизма, который нами недооценивается. (См. также на эту тему Милан Чикрович. «Эволюционные катастрофы и проблема точной настройки параметров пригодной для жизни планеты. (Проблема Голдилокс)»
http://www.scribd.com/doc/8527974/-)
Основная мысль этой главы: если наша вселенная является крайне редкой среди всех возможных вселенных, то и наша планета является крайне редкой среди всех планет в нашей вселенной, и эти величины по порядку совпадают.
Исследователи антропного принципа обнаружили, что физические константы нашей Вселенной подобраны таким образом, что для этого потребовалось бы 1015  попыток, чтобы случайно создать такую вселенную. С шансами 10500 к 1 это означает, что такое количество вселенных с разными свойствами существует актуально (по теореме Байеса для двух гипотез). Из этого количества только некая очень малая доля типов Вселенных годится для возникновения разумной жизни. Обозначим X – долю всех пригодных для жизни и разума вселенных (равную, допустим, 1050). Будем считать подходящими все вселенные, в которых есть разумное существо, способное задаться вопросом об антропном принципе (хотя тут есть ряд тонких моментов, связанных с тем, что именно означает «понимание»).
Среди всего этого множества есть такие вселенные, которые годятся для возникновения двух (или более) принципиально разных видов жизни и разума, например, основанных на углероде, и основанных на магнитных полях в коронах звёзд. Понятно, что такие «мультижизненные» вселенные требуют гораздо более тонкого подбора параметров (если вообще возможны). Следовательно, доля мультижизненных вселенных меньше доли вселенных с одним типом возможной жизни примерно во столько же раз, во сколько само Х меньше числа всех возможных вселенных. То есть на несколько десятков порядков. Отсюда мы можем заключить, что любая разумная жизнь в нашей вселенной начнётся с живой материи, основанной на углероде, с вероятность 100…000 к 1. То есть можно не рассчитывать встретить разумные звёзды, существ на фторе и т д.
Более интересен следующий вопрос. Если считать, что каждая звезда – это попытка создания планеты с жизнью, то сколько в среднем неудачных попыток приходится на одну удачную, иначе говоря, как часто разумная жизнь распространена в нашей Вселенной? Можно предположить, что среди всех 10500 вселенных есть вселенные, где у каждой звезды возникает разум, есть те, у которых у каждой из 10 звёзд, из 100, из  10100 и так далее. Вопрос в том, где вероятнее себя обнаружит наблюдатель – во вселенной с большой плотностью наблюдателей или с малой. В этих рассуждениях мы пользуемся так называемым Предположением о собственном местоположении (Self-sampling assumption), которое состоит в том, что каждый наблюдатель должен считать себя случайным представителем своего класса наблюдателей. (Подробнее об этом см. в работах Бострома.)
С одной стороны, кажется разумным обнаружить себя во вселенной с большой плотностью наблюдателей, так же, как я сейчас себя обнаруживаю в городе, а не на Северном полюсе. С другой стороны, доля вселенных с малой плотностью наблюдателей может быть гораздо-гораздо больше, чем доля вселенных с высокой плотностью наблюдателей.
Предположим, что каждая вселенная определяется 100 параметрами, вроде массы электрона, размерности и т д. Тогда каждую вселенную можно обозначить точкой в фазовом пространстве. Тогда мы получим область, в центре которой находятся абсолютно пригодные для жизни вселенные, в которых плотность наблюдателей максимальна, а по краям – частично пригодные, в которых наблюдатели возникают только после большого числа попыток внутреннего характера, иначе говоря, только у малого числа звёзд.
Кроме того, будет в этой области две зоны вселенных – те, в которых число звёзд мало, и те, в которых оно велико. Можно смело отбросить все те вселенные, в которых число звёзд мало, так как они перекрываются по вкладу вселенными, в которых число звёзд велико. И действительно, в наблюдаемой нами вселенной число звёзд может быть неограниченно велико за счёт процесса космологической инфляции.
Теперь сравним центральную в нашем фазовом пространстве об-ласть оптимума, где у всех звёзд есть планеты с разумом, и окружающую её область «почти подходящих» вселенных. Если считать, что радиус области оптимума R, а области почти подходящих вселенных 2R, то разница их объ-ёмов будет 2100 раз – примерно равно 1030. Иначе говоря, число вселенных, в которых планеты со звёздами разбросаны редко, очень много раз больше числа вселенных с плотным расположением планет с разумом. (Точно также можно сравнить множество людей с абсолютно исправном геномом со мно-жеством людей, у которых в генах есть некоторые незначительные ошибки – последнее будет гораздо больше, хотя средняя продолжительность жизни у людей из него будет немного меньше.)
Для того чтобы число наблюдателей в области 2R было бы больше, чем в области R, необходимо, чтобы наблюдатели там встречались чаще, чем у одной из 1030. звёзд. Наоборот, область 3R, где наблюдатели встречаются значительно реже, чем  1 к 1030 звёзд, можно смело выкинуть из рассмотрения, так как там находится наименьшая доля наблюдателей. Отсюда можно сделать вывод, что разумная жизнь в нашей вселенной возникает, не менее чем у одной из 1030 звёзд. Эта величина гораздо больше числа звёзд в видимой вселенной, равного примерно 1023. Однако это только минимальная оценка, которая ничего не говорит нам о реальной плотности.
Однако эту же величину можно выбрать и в качестве самого значе-ния ожидаемой плотности цивилизаций, если рассмотреть слой в рассматри-ваемой нами сферической области фазового пространства вселенных с тол-щиной, соответствующей концентрации цивилизаций в 1 к 1030. Этот слой будет многократно превосходить по количеству цивилизаций как внутрен-нюю область сферы, так и внешнюю.
Пример: В центре Солнца его плотность в 100 раз больше, чем сред-няя плотность Солнца, однако на центр Солнца приходится только 1% его массы. Большая часть массы Солнца находится не в его центре, и не в его атмосфере, а в его среднем слое.
Второй пример: Человек возник на Земле не мгновенно, а путём дол-гого отбора из разных форм. Чтобы я мог писать эти строки, триллионы триллион живых существ должны были отсеяться. То есть я являюсь одним из 1020 существ, которые не стали разумными. Точно также и Солнце являет-ся одной на 1020 -1030 звёзд, у которой развилась разумная жизнь в этой Все-ленной, а остальные отселись.
Вывод: то, что наша вселенная является одной 10500 возможных, и определяется 100 основными параметрами, означает, что и внутри вселенной число попыток создать разумную жизнь (то есть число звёзд) имеет такой же порядок величины. Следовательно, внутри видимой нами вселенной других цивилизаций нет. А если они и есть, то базируются на тех же фундаментальных принципах.
Зная среднюю плотность возникновения разумных цивилизаций, оцененную примерно здесь в 1 на 1025 = 275 и возраст Вселенной (13 млрд лет) можно оценить время уменьшения вдвое числа звёзд, подходящих для возникновения разумной жизни. Он бы составило около 200 млн. лет. Это означает, что космические условия будут подходить для земного существо-вания ещё примерно 200 млн. лет (эта оценка совпадает с минимальным ожидаемым временем закипания океанов от Солнца). Это означает, что если у нас есть некий промежуток времени (те же 200 млн. лет), то вероятность оказаться в конце его в тысячи раз больше, чем в начале.
Рассуждения Бострома о том, что вселенские катастрофы редки, ба-зируется на посылке, что Земля  могла бы возникнуть гораздо раньше. Она трудно проверяема, потому что мы не знаем всех факторов. Но в отношении вероятности геологических катастроф встаёт аналогичный вопрос о том, могла ли жизнь на Земле развиться значительно быстрее?
Однако эти вычисления сделаны в предположении, что время «со-зревания» от возникновения жизни до возникновения разума, способного понять антропный принцип, одинаково для всех возможных цивилизаций, что, конечно, неверно. Скорее, это время описывается некой кривой в форме колокола (нормальным распределением) относительно среднего времени. Особенность его в том, что края колокола убывают и возрастают крайне быстро. То есть по краям колокола период удвоения (dx, за который функция удваивается) быстро уменьшается. А именно, для нормального распределе-ния эта величина пропорциональна 1/ х.
Мы можем получить общее распределение для числа всех пригод-ных для разумной жизни планет, если умножим функцию числа подходящих звёзд exp (- x/0.1) (где x – время в миллиардах лет. А 0,1 – гипотетический период сокращения числа звёзд в е раз).  На функцию нормального распре-деления времени, необходимого для возникновения цивилизации на совер-шенно устойчивой планете. Exp (- (x-10)**2). (Здесь мы произвольно взяли, что среднее время – 10 млрд. лет) Поскольку обе функции – экспоненты, мы объединяем их степени, и получаем новую экспоненту с квадартичной сте-пенью, то есть тоже нормальное распределение, но сдвинутое влево и уменьшенное по высоте во много раз, а именно Exp (- (x-10)**2 – 10*х). мак-симум этой функции – при x=5. За следующий миллиард лет она падает в 2 раза, а затем всё быстрее. Это означает, что учёт распределения не выводит нас за пределы оценки времени расхождения – более ста миллионов лет.
С другой стороны, расхождение параметров среды обитания – это постепенный процесс. И если мы можем уже сейчас видеть некоторые при-знаки начала этого процесса, то до его завершения ещё далеко.
Далее, мы пока не учли в наших выкладках тот факт, что чем дольше период стабильности, тем сильнее последующая нестабильность. Например, по закону Гука мы знаем, что сила, необходимая для растяжения пружинки, растёт линейно, а энергия её – пропорционально квадрату растяжения. И эта энергия выделится, если пружинка порвётся. Следовательно, период, который был слишком спокойный в отношении природных катастроф, может закончиться очень большой катастрофой.
В истории Земли нам следует выделить те периоды, когда развитие происходило особенно быстро, не позволяя себя ни одной отсрочки – это именно те периоды, когда они не могло бы происходить медленно,  так как иначе бы ему помешали катастрофы. Таких периодов я вижу два – это само зарождение жизни, и это последние 500 млн. лет, от возникновения много-клеточных животных и кембрийского взрыва.



Литература:

Анисичкин В. О взрывах планет. // 1998. Труды V Забабахинских чтений, Снежинск.
Биндеман И. Тайная жизнь супервулканов // 2006. В мире науки. N 10. (http://www.sciam.ru/2006/10/nauka1.shtml)
Будыко М.М., Ранов А.Б., Яншин В. История атмосферы. Л., 1985
Еськов К.Ю. История Земли и жизни на ней. – М., НЦ ЭНАС, 2004.
Дробышевский Э.М. Опасность взрыва Каллисто и приоритетность кос-мических миссий // 1999. Журнал технической физики, том 69, вып. 9.
Зельманов А.Л. Некоторые философские аспекты современной космоло-гии и смежных областей физики // Диалектика и современное естество-знание, М., 1970.
Казютинский В.В., Балашов Ю.В. Антропный принцип. История и со-временность // 1989. Природа. N 1. (http://vivovoco.rsl.ru/VV/JOURNAL/NATURE/OLD/ANTROP.HTM)
Линде А.Д. Раздувающаяся Вселенная // Успехи физ. наук. 1984. Т. 144, вып. 2.
Новиков И.Д., Полнарев А.Г., Розенталь И.Л. Числовые значения фунда-ментальных постоянных и антропный принцип // Изв. АН ЭССР. 1982. Т. 31, N 3.
Сорохтин О.Г., Ушаков С.А. Развитие Земли. – М: Изд-во МГУ,  2002.
Сывороткин В.Л.. Экологические аспекты дегазации Земли. – Диссерта-ция на соискание степени доктора геологических наук, – М. 2001. – 302 С.
Турчин А.В. Глобальные риски, связанные с программой SETI. http://www.proza.ru/2007/12/04/38
Турчин А.В. О возможности искусственной инициации взрыва планет-гигантов и других объектов Солнечной системы. http://www.proza.ru/2008/07/19/466
Турчин А.В. Структура глобальной катастрофы. В печати. http://www.scribd.com/doc/7529531/-
Турчин А.В. Война и ещё 25 сценариев конца света. М., Европа, 2008.
Хаин. В. Е. Разгадка, возможно, близка. О причинах великих вымираний и обновлений органического мира // 2004. Природа N 6.
Шкловский И.С. Звёзды. Их рождение, жизнь и смерть. – М., Наука, 1984.
Щербаков А.С. Антропный принцип в космологии и геологии. // Вестник Московского университета. Серия 7. Философия.  Номера журнала  №3/1999 С. 58-70
Bostrom N. and Tegmark M. How Unlikely is a Doomsday Catastrophe? // Nature, Vol. 438, No. 7069, C. 754, 2005. (пер. с англ. А.В.Турчина: Макс Тегмарк и Ник Бостром. Насколько невероятна катастрофа Судного дня?     http://www.proza.ru/2007/04/11-348 )
 Bostrom N. Anthropic Bias: Observation Selection Effects in Science and Philosophy – New York: RouTLEDGe, 2002.
 Bostrom N. Existential Risks: Analyzing Human Extinction Scenarios and Related Hazards. Journal of Evolution and Technology, Vol. 9, March 2002. Ник Бостром. Угрозы существованию. Анализ сценариев человеческого вымирания и подобных опасностей.
http://www.proza.ru/2007/04/04-210
Cirkoviс Milan M. The Anthropic Principle And The Duration Of The Cosmo-logical Past. // Astronomical and Astrophysical Transactions, Vol. 23, No. 6, pp. 567–597, 2004.
;irkovi; Milan M. Evolutionary Catastrophes and the Goldilocks Problem. // International Journal of Astrobiology, vol. 6, pp. 325-329 (2007) русский пе-ревод: Милан Чирокович. Эволюционные катастрофы и проблема точ-ной настройки параметров пригодной для жизни планеты. (Проблема Голдилокс) http://www.scribd.com/doc/8527974/-
Cirkovic Milan M., On the Importance of SETI for Transhumanism. //Journal of Evolution and Technology, xiii (2003), Милан Чиркович. О важности SETI для трансгуманизма. http://www.proza.ru/2008/11/10/384
Elton, Gruber, & Blake. Survivorship Bias and Mutual Fund Performance, // The Review of Financial Studies, volume 9, number 4. 1996.
Gehrels Neil, Claude M. Laird, Charles H. Jackman, John K. Cannizzo, Bar-bara J. Mattson, Wan Chen. Ozone Depletion from Nearby Supernovae. // The Astrophysical Journal, March 10, vol. 585. 2003.
Gott J. Richard. Implications of the Copernican principle for our future pros-pects // Nature. 1993. Vol. 363, С. 315 – 319.
 Health, United States, 2006. – National Centre for health statistic, 2007.
Redelmeier D. A., Tibshirani R. J.  Why cars in the next lane seem to go faster. // Nature 1999;401:35-36. 1999.
Ward, P. D., Brownlee, D. Rare Earth: Why Complex Life Is Uncommon in the Universe. – NY, 2000.
Yudkowsky E. Cognitive biases potentially affecting judgment of global risks. Forthcoming in Global Catastrophic Risks, eds. Nick Bostrom and Milan Cir-kovic, – UK, Oxford University Press, to appear 2007 (русский перевод: Э.Юдковский. Систематические ошибки в рассуждениях, потенциально влияющие на оценку глобальных рисков. http://www.proza.ru/2007/03/08-62 )
Knobe Joshua, Olum Ken D., Vilenkin Alexander. Philosophical Implications of Inflationary Cosmology. // British Journal for the Philosophy of Science
;
Тоби Орд, Рафаела Хиллер-бранд, Андрес Сандберг.
Проверяя непроверяемое:
методологические вызовы
в оценке рисков с низкой
вероятностью
и высокими ставками

Перевод: А.В. Турчин
Источник:
Probing the Improbable: Methodological Challenges for
Risks with Low Probabilities and High Stakes
Toby Ord, Rafaela Hillerbrand, Anders Sandberg*
* Future of Humanity Institute, University of Oxford.

http://arxiv.org/abs/0810.5515 


Некоторые риски имеют исключительно высокие ставки, например, всемирная пандемия или столкновение с астероидом могу убить более мил-лиарда людей. К счастью, научные вычисления часто дают очень низкие оценки вероятности таких катастроф. В этой статье мы хотим отме-тить, что есть важные новые методологические проблемы, которые воз-никают при оценке рисков глобальных катастроф, и мы сосредотачиваемся на проблеме оценки вероятностей. Когда эксперт даёт калькуляцию веро-ятности некоторого исхода, в действительности он даёт вероятность этого исхода при условии, что его доказательство является безупречным. Однако его доказательство может быть ложным по ряду причин, таких как ошибки в используемой теории или ошибки в вычислениях. Если оценка вероятности, даваемая неким доказательством, уменьшается за счёт того шанса, что само доказательство содержит ошибки, то тогда эта оценка находится под подозрением. Мы рассмотрим эту идею формально, объясняя попутно, чем она отличается от подобных неопределённостей модели и неопределённости параметров. Используя оценки рисков Большого Адронно-го Коллайдера в качестве тестового примера, мы покажем, насколько серь-ёзна может быть эта проблема, когда речь идёт о рисках глобальной ката-строфы, и как наилучшим образом ее решать.
1. Введение

Падения больших астероидов являются крайне маловероятными со-бытиями , однако правительство тратит значительные суммы на проблемы предотвращения связанных с этим рисков. Именно большой возможный ущерб, то есть большие ставки в игре, являются тем, что делает эти пробле-мы стоящими исследования. Исследование рисков включает в себя рассмот-рение как размеров ставок, так и вероятностей этих событий. Если риск уг-рожает жизням огромного числа людей, то является не только рациональ-ным, но и морально обязательным исследовать этот риск в деталях и поста-раться определить, что мы можем сделать, чтобы уменьшить его. В этой ста-тье исследуются риски с низкой вероятностью, но с большими ставками. Во втором разделе мы покажем, что оценки вероятности в научном анализе не могут быть приравнены самой вероятности того, что эти события случатся. Вместо вероятности того, что событие случится, научный анализ даёт веро-ятность события при условии, что данное доказательство верно. Хотя это касается всех вероятностных оценок, мы покажем, как это становится осо-бенно важно после некого порогового уровня. Чтобы продолжать, нам следует кое-что узнать о надёжности доказательства. Обычно при анализе рисков это делается через анализ различий между неопределённостью модели и неопределённостью параметров. Мы постараемся доказать, что эта дихотомия не очень хорошо подходит для оценки надёжности теорий, которые входят в оценку рисков. Более того, эта дихотомия не учитывает неосознанно сделанные ошибки. Вместо этого в третьем разделе мы предлагаем трёхуровневую классификацию различий между теорией доказательства, моделью и вычислениями.
Объясняя это разделение более детально, мы проиллюстрируем его историческими примерами ошибок во всех трёх областях. Мы покажем, как при конкретной оценке рисков можно использовать предложенное разделе-ние теория-модель-калькуляция, чтобы вычислить надёжность данного дока-зательства и, таким образом, увеличить надёжность вероятностной оценки редких событий. Недавно возникли опасения, что высокоэнергетичные экс-перименты в области физики элементарных частиц на таких установках как RHIC (Коллайдер тяжёлых релятивистских ионов) и на Большом адронном коллайдере в ЦЕРН, в Женеве, могут угрожать человечеству. Если эти риски реальны, эти эксперименты представляют угрозу человечеству, которую можно избежать, просто не проводя эти эксперименты. В 4 разделе мы при-меним методы, разработанные в этой статье, к нынешним дебатам о безопас-ности экспериментов в области физики высоких энергий. Мы рассмотрим опубликованные отчёты по безопасности в свете наших находок и дадим рекомендации по безопасности для будущих исследований. В последнем разделе мы вернёмся к главной проблеме оценки низковероятных рисков. Мы хотим подчеркнуть, что результаты этой статьи не должны интерпрети-роваться как антиинтеллектуализм, но как аргументы в пользу того, чтобы сделать заполненную шумом и ошибками природу научных и технических исследований предметом интеллектуального размышления, особенно в тех случаях, когда вероятности очень малы и ставки очень велики.


2. Оценка вероятностей


Предположим, что вы прочитали некий отчёт, который исследует некий возможный риск глобальной катастрофы и в котором делается вывод, что вероятность глобальной катастрофы составляет один к миллиарду. Ка-кую вероятность вы должны приписать тому, что эта катастрофа случится? Мы утверждаем, что прямое использование оценки, даваемое этим отчётом, является наивным. Это связано с тем, что авторы отчёта подвержены ошиб-кам и их доказательство может содержать скрытые неточности.  То, что нам говорится в этом отчёте – это не вероятность катастрофы, а вероятность ка-тастрофы, при условии, что доказательство является верным. Даже если ар-гумент выглядит непробиваемым, шансы на то, что он содержит критиче-скую ошибку могут быть гораздо выше, чем один на миллиард. В конечном счёте в выборке из миллиарда выглядящих неуязвимыми доказательств на-верняка найдутся те, которые содержат скрытые ошибки. В результате наша наилучшая оценка вероятности катастрофы может быть  значительно выше, чем даваемая в отчёте .
Давайте использовать следующие обозначения:


X = катастрофа происходит,
A = доказательство истинно.

В то время как мы в действительности интересуемся P(X), отчёт даёт нам только оценку P(X|A), поскольку в нём не может приниматься во внима-ние вероятность его же собственной ошибки . Из аксиом теории вероятно-стей мы знаем, что P(X) связано с P(X|A) следующей формулой:

(1)                P(X)=P(X|A)P(A)+P(X|-;A)P(;-A) .

Дл использования этой формулы для получения P(X) нам потребу-ются оценки вероятности того, что доказательство верно P(A), и оценка веро-ятности того, что катастрофа случится, если доказательство неверно P(X|-A).
Очень вряд ли нам удастся получить точные оценки этих вероятно-стей на практике, но мы увидим, что даже грубых оценок вероятности доста-точно, чтобы изменить наш взгляд на определённые калькуляции рисков. Особый весьма распространённый случай касается отчётов, которые утвер-ждают, что Х абсолютно невозможно. Однако, это говорит нам только о том, что X невозможно при условии, что все наши нынешние убеждения верны, то есть что P(X|A)=0. Но из уравнения (1) мы видим, что это полностью со-гласуется с тем, что P(X)>0, поскольку доказательство может содержать ошибки. Рисунок 1 является простой графической репрезентацией этой ос-новной идеи.

 

Квадрат слева представляет пространство возможностей, подобное описанному в научном отчёте, где чёрная область соответствует тому, что катастрофа случилась, а белая область – что не случилась. На вертикальной оси обозначены вероятности того, что событие случилось, и что не случилось.  В этом представлении игнорируется возможность того, что рассуждение неверно. Чтобы учесть эту возможность, мы можем обозначить её на квадрате справа. Белая и чёрная область сократились пропорционально вероятности того, что доказательство верно, а новая серая область представляет вероятность того, что доказательство неверно. Теперь горизонтальная ось также ортонормированна и показывает вероятность того, что доказательство неверно.
Чтобы продолжить наш пример, предположим, что доказательство, приведённое в отчёте, выглядит очень надёжным, и наша наилучшая оценка вероятности того, что в нём содержится ошибка составляет 1 к 1000 (P(-;A)= 10-3). Другое неизвестный член в уравнении 1, а именно P(X|;-A), в общем случае гораздо труднее определить, но давайте предположим, что в нашем примере мы считаем, что крайне маловероятно, что событие произойдёт, даже если доказательство неверно, и мы тоже считаем эту вероятность как 1 к 1000. Уравнение (1) говорит нам, что в этом случае вероятность катастро-фы будет в этом случае чуть более одной миллионной – и эта оценка в тыся-чу раз больше, чем та, которую даёт сам этот отчёт. Это отражает тот факт, что если катастрофа действительно случится, то гораздо вероятнее, что это произойдёт из-за ошибки в отчёте, чем в результате того, что один случай на миллиард будет иметь место.
Ошибочные доказательства нередки. Один возможный способ оце-нить число больших ошибок в научных статьях – это посмотреть на ту долю их, которые были формально отозваны после публикации. Хотя некоторые отзывы статей связаны с неэтичным поведением, большинство связано с не-преднамеренными ошибками . Используя базу данных MEDLINE  (Cokol, Iossifov et al. 2007) обнаружили приблизительную частоту отзывов в 6.3•10-5, но если использовать статистическую модель для оценки частоты отзывов статей, то результат будет между 0,001 и 0,01, если все журналы будут про-верены с той же степенью тщательности, как те, которые находятся на выс-шем уровне. Из этого следует, что P(;-A) > 0,001, что делает наши предыду-щие оценки весьма оптимистичными. Мы также должны отметить, что дока-зательство легко может содержать ошибки, даже если статья не была фор-мально отозвана. Отзывы статей происходят только тогда, когда ошибки не тривиальны и незамедлительно становятся очевидны научному сообществу. Таким образом частота отзывов даёт нижнюю границу частоты серьёзных ошибок. Конечно, мы должны помнить, что в различных областях науки мо-гут быть различные частоты отзывов статей и различные частоты ошибок. Например, фундаментальная наука может быть в меньшей степени подвер-жена ошибкам, чем более прикладные области.
Важно отметить особую связь между данным анализом и рисками с высокими ставками и низкой вероятностью. Хотя данный анализ может быть применим к любым рискам, он наиболее полезен в данной категории. Только если P(X|A) очень мало, то серая область начинает играть относительно большую роль. Если P(X|A) умеренно велико, то тогда малый вклад вероят-ности ошибки имеет небольшое значение в оценке вероятности, например, определяя разницу между 10% и 10,001%, а не разницу между 0,001% and 0,002%. Ставки должны быть также очень велики, чтобы имел смысл допол-нительный анализ рисков, при том, что изменение вероятности очень неве-лико в абсолютных терминах. Если ещё одна миллионная шанса смерти миллиарда людей определённо стоит дальнейшего рассмотрения, то дополнительная миллионная доля шанса пожара в доме этого не стоит.
Возможно следующее возражение нашему подходу, на том основа-нии, что мы только показали, что неопределённость становится больше, чем это считалось раньше, но не вероятность события становится больше, чем это оценивалось ранее: дополнительная неопределённость может как увели-чить, так и уменьшить вероятность события. При применении нашего подхо-да к произвольным случаям, это возражение будет работать, однако в этой статье мы специально обращаемся к случаям, в которых вероятность P(X|A) крайне мала, так что любое значение P(X|;-A) было бы выше и, таким образом, двигало бы суммарную оценку вероятности вверх. Эта ситуация симметрична в отношении экстремально высоких значений P(X|A), где повышение неопределённости доказательства приведёт к уменьшению оценки вероятности, и эта симметрия нарушается только нашей концентрацией на очень маловероятных событиях.
Другое возможное возражение состоит в том, что поскольку всегда есть ненулевая вероятность того, что доказательство содержит ошибки, то ситуация является безнадёжной: любое новое доказательство не сможет пол-ностью убрать серую зону. Верно, что серую область никогда не удастся убрать, однако если новое доказательство (А2) является независимым от предыдущего доказательства (А1), то тогда серая область уменьшится, то есть P(-A1,-A2)<P(-A1). Это может привести к значительному прогрессу. Небольшая оставшаяся серая область может быть приемлема, если P(X|-A)P(-A), согласно оценкам, является достаточно малым в сравнении с уровнем ставок.

3. Теории, модели и вычисления

Наиболее обычный путь в оценке надёжности доказательства состо-ит в разделении между неопределённостью модели и неопределённостью параметров и в приписывании разных вероятностей этим вариантам. Хотя эта классификация определённо полезна в некоторых практических случаях, она является слишком грубой для наших нынешних целей, поскольку неспо-собна учесть потенциальные ошибки в вычислениях или ложность теории, на которой доказательство основывается. Для того, чтобы учесть все возможные ошибки в доказательстве,  мы по отдельности рассмотрим его теорию, его модель и его вычисления. Вычисления развивают конкретную модель, представляющую исследуемый процесс, например, формирование чёрных дыр при столкновении частиц, реакцию на определённые климатические параметры (такую как среднюю температуру или скорость испарения) или изменения концентрации парникового газа, или реакцию экономики на изменение цен на нефть. Эти модели обычно выводятся из более общих теорий. В дальнейшем мы не будем ограничивать термин «теория» точно установленными и математическими проработанными теориями, вроде электродинамики, квантовой хромодинамики или теории относительности. Скорее, теории понимаются как базовое теоретическое знание, вроде исследовательских парадигм или общепринятых исследовательских практик внутри данной области знаний. Примером этого является гипотеза об эффективности рынка, которая лежит в основе многих моделей в экономике, таких как модель Блэка-Скоулза. Даже неверные теории и модели могут быть полезны, если их отклонение от реальности достаточно мало с точки зрения заданных целей. Таким образом, мы рассматриваем адекватные модели или теории, а не истинные. Например, мы склонны признавать, что Ньютонова механика является адекватной теорией во многих ситуациях, хотя при этом признаём, что в некоторых случаях она является полностью неадекватной (например, при вычислении орбиталей электронов). Мы, таким образом, называем репрезентацию некой системы адекватной, если она способна предсказывать с требуемой точностью релевантные черты данной системы. Например, рассмотрим случай, когда исследователи климата хотят определить воздействие вы-бросов парниковых газов на благополучие будущих поколений; в этом слу-чае модель, описывающая локальные изменения испарения и температуры не будет адекватной. Однако им достаточно, чтобы модель описывающая гло-бальные изменения температуры и испарения была бы адекватной. На теоре-тическом уровне можно сказать гораздо больше о разнице между адекватно-стью и истинностью, но для целей определения надёжности оценок рисков приведённого выше объяснения должно быть достаточно.

Используя следующие обозначения:
Т – используемые теории адекватны
М – выведенная модель адекватна
С – вычисления верны

Мы можем разделить А указанным выше образом и заменить P(X|A) в уравнении (1) на P(X|T,M,C) и P(A) на P(T,M,C ). Из законов условной веро-ятности следует:

(2)      P(T,M,C) = P(T)P(M|T)P(C|M,T)

Мы можем признать С независимым от М и Т, так как корректность вычислений не зависит от адекватности тех теоретических предположений и модели, на которых они основываются. С учётом этой независимости P(C|M,T) = P(C) и приведённое выше уравнение может быть упрощено:

(3)   P(T,M,C) = P(T) P(M|T) P(C).

Подставляя этот результат назад в уравнение (1), мы получим более удобоваримую формулу для вычисления вероятности исследуемого события. Мы уже сделали грубую попытку оценить P(A) на основании частоты отзыва статей. Оценка P(T), P(M|T) and P(C) является более аккуратной и в некотором отношении более простой, хотя всё ещё представляет значительную трудность. Хотя оценка различных составляющих уравнения (3) должна делаться в каждом случае отдельно, последующее прояснение того, что мы имеем в виду под вычислениями, моделью и теорией прольёт определённый свет на то, как проводить такой анализ. Следуя нашей трёхуровневой классификации, наиболее прямым подходом было бы применение открытий в области надёжности теорий из философии науки – основанных, например, на вероятностных методах верификации (например, (Reichenbach 1938)) или методах фальсификации как в (Hempel 1950) или (Popper 1959). Часто, однако, лучшим, что мы можем сделать, является установление неких границ на основании исторических данных. Далее мы рассмотрим типичные источники ошибок в этих трёх областях.

3.1 Вычисления: аналитические и численные

Независимая  от адекватности модели и от теории оценка верности вычислений является важной во всех случаях, когда используемая математи-ка является нетривиальной. Большинство случаев, когда мы можем дать не-что большее, чем чисто эвристический анализ рисков, относятся к этому классу. Вспомните климатические модели, рассматривающие неограниченно растущие изменения климата и оценки рисков коллайдера или столкновения с астероидами. Когда вычислений становится много, даже простые арифметические процедуры становятся подвержены ошибкам. Отдельная трудность возникает в связи с разделением труда в науке: в современной научной практике является обычным, что различные шаги в вычислениях выполняются различными людьми, которые могут быть в различных рабочих группах в разных странах. Космический аппарат Mars Climate Observer был потерян в 1999 году из-за того, что часть контролирующего оборудования, разработанная Локхид Мартин использовала британскую систему мер и весов вместо метрической системы, которую ожидало программное обеспечение от НАСА (NASA 1999).
Ошибки в вычислениях огорчительно распространены. Нет надёж-ной статистики по ошибкам в вычислениях, сделанных в оценке рисков, или, шире, в научных статьях. Однако есть исследование ошибок, сделанных в очень простых вычислениях, которые выполнялись в госпиталях. Ошибки в дозировке дают примерную оценку частоты того, насколько часто математические ошибки происходят. Ошибки в рецептах имеют место в от 1.2% до 31% случаев согласно различным исследованиям (Prot, Fontan et al. 2005; Stubbs, Haw et al. 2006; Walsh, Landrigan et al. 2008), и среднее значение составляет 5% от числа назначений. Из этих ошибок 15-40% составляют ошибки в дозах, что даёт общий уровень ошибок в дозах в 1-2%. Что это значит для частоты ошибок в оценке рисков? Поскольку ставки являются большими, когда речь идёт об ошибках в дозах, эти данные представляют собой серьёзную попытку дать правильный ответ в отношении условий, когда речь идёт о жизни и смерти. Вероятно, что люди, занимающиеся оценкой рисков, более надёжны в арифметики, чем профессионалы в области здравоохранения, и имеют больше времени для исправления ошибок, но кажется невероятным, что они являются более надёжными на несколько порядков величины. Следовательно, вероятность в 0,001 ошибки в простых вычислениях не выглядит невероятной. Рандомизированная выборка статей из Nature и BritishMedical Journal показала, что 11% статистических результатов содержали ошибки, большей частью по причине ошибок округления и перезаписи  (Garc;a-Berthou and Alcaraz 2004). Ошибки в вычислениях включали в себя не только «простые» описки, которые мы знаем со школы, такие как перепутанные знаки, забытый обратный квадратный корень или неверное переписывание из строки сверху. Вместо этого, многие ошибки возникли в результате численного решения аналитических математических уравнений. Компьютерные симуляции и численный анализ редко осуществляется напрямую. История компьютеров содержит большое число впечатляющих примеров сбоев в результате маленьких ошибок в программном обеспечении и оборудовании. 4 июня 1996 года ракета Ариан 5 взорвалась в результате незаконченного фрагмента программного кода, вызвавшего цепочку отказов (ESA 1996). Ау-дит финансовых отчётов в реальном мире обнаружил 88% ошибок (Panko 1998). Ошибка в операциях с плавающей запятой в 1993 году в процессорах Пентиум касалась 3-5 млн. процессоров, уменьшив их вычислительную на-дёжность и, таким образом, нашу уверенность в чём-либо, вычисленном на них (Nicely 2008). Программистские ошибки могут «спать» в течение очень долгого времени в с виду правильном коде, только чтобы проявиться в край-них ситуациях. Элементарный и широко распространённый алгоритм бинарного поиска, входящий в стандартные библиотеки для Java, как оказалось после 9 лет использования, содержал баг, который возникает только при очень большой длине списка (Bloch 2006). Ошибка в обработке данных привела к тому, что пять продвинутых статей по структуре белка были отозваны, поскольку хиральность молекул была инвертирована (Miller 2006). В тех случаях, когда для моделирования используются вычислительные методы, многие ошибки неизбежны. Используются дискретные аппроксимации уравнений из модели, которые обычно непрерывны, и, как нам известно, в некоторых случаях эти дискретные версии не являются хорошей аппроксимацией для непрерывной модели (Morawetz and Walke 2003). Более того, численные вычисления часто выполняются на дискретной вычислительной сетке, где значения в середине ячеек вычисляются как средние, исходя из значений в узлах решётки. Хотя мы знаем, что определённые схемы экстраполяции являются более надёжными в некоторых случаях, чем другие, мы часто не можем исключить вероятность ошибки или хотя бы количественно оценить ее.




3.2 Способы моделирования и теоретизирования.

Наше разделение между моделью и теорией следует типичному ис-пользованию терминов в математических науках, таких как физика или эко-номика. В то время как теории ассоциируются с широкой применимостью и большой уверенностью в их истинности, модели ближе к феноменам.  На-пример, оценивая вероятность столкновения конкретного астероида с Зем-лёй, следует использовать либо Ньютонову механику, либо общую теорию относительности в качестве теории, описывающей роль гравитации. Затем можно использовать эту теорию совместно с наблюдениями позиций косми-ческих тел, скоростей и масс, чтобы сконструировать модель, и наконец про-извести серию вычислений на основании модели, чтобы оценить вероятность столкновения. Как из этого следует, ошибки, которые возможны при созда-нии конкретной модели включают в себя и превосходят те ошибки, которые обычно называются неопределённостью параметров. Помимо вопросов о индивидуальных параметрах (позициях, скоростях, массах), есть также важ-ные вопросы о деталях (можем ли мы пренебречь внутренней структурой сталкивающихся тел?) и ширины (можем ли мы сфокусироваться только на Земле и астероиде, или мы должны моделировать другие планеты или Солн-це?)  Как видно из приведённого примера, один из способов отличать тео-рии от моделей состоит в том, что теории слишком общи, чтобы их можно было прямо применить к конкретной проблеме. Для любой теории есть много способов применить ее к проблеме, и благодаря этому возникают разные модели. Философы науки отметят, что разделение теории и модели согласу-ется с неформальным определением, используемым (Giere 1999), (Morrison 1998) (Cartwright 1999), но отличается от даваемого (Suppes 1957). Мы также должны отметить, что доказательство вполне вероятно может использовать несколько моделей и теорий. Это усложняет анализ и создаёт дополнитель-ные источники ошибок в доказательстве . Например, для оценки риска воз-никновения чёрных дыр нам потребуется не только квантовая хромодинами-ка (теория, которую БАК должен протестировать), но также теория относи-тельности и теория излучения чёрных дыр Хокинга. В дополнение к другим своим ролям, предположения, сделанные в модели, должны объяснить, как связать вместе столь разные теории (Hillerbrand and Ghil 2008). В оценке рисков участвующие системы обычно не так хорошо понятны, как столкно-вения с астероидами. Часто разные модели существуют одновременно – при-чём про каждую известно, что она не полна или некорректна в некотором отношении, однако исправить ее трудно. В этих случаях особенно проявля-ется свойство человека, имеющего в голове представления о том, каким дол-жен быть желаемый исход, подстраивать под него модель, делая его уязви-мым для когнитивного искажения, связанного с ожиданием: тенденции по-лучать желаемый ответ, а не истинный. Это когнитивное искажение оказало влияние на многих великих учёных (Jeng 2006), и в случае оценки рисков желание получить «позитивный исход» (безопасность в случае сторонника и опасность в случае противника проекта) выглядит вероятной причиной ис-кажений в моделировании.









               








               




Рисунок 2. Наша классификация способов, которыми оценки рисков могут быть искажены.


3.3 Исторические примеры ошибок в модели и в теории

Драматическим примером ошибки в модели было ядерное испыта-ние Кастель Браво 1 марта 1954 года. Устройство дало взрыв силой 15 мега-тонн вместо предсказанных 4-8 мегатонн. Радиоактивные осадки выпали на части Маршаловых островов и привели к облучению японского рыболовного судна, в результате чего один рыбак погиб, что привело к международному скандалу (Nuclear Weapon Archive 2006.) Хотя конструкторы в Лос Аламосской национальной лаборатории понимали актуальную в данном случае теорию альфа-распада, их модель реакций, участвующих во взрыве, была слишком узкой, поскольку она пренебрегала одной из участвующих частиц (литием-7), который, как оказалось, отвечает за большую часть выделяющейся энергии. Кастель Браво примечателен также как пример ошибки в модели в очень серьёзном эксперименте, основанном на точных науках и с известными высокими ставками. История науки содержит множество примеров того, как общепринятые теории были опрокинуты новыми данными или новыми пониманиями, а также того, как множество малых теорий существовали удивительно долго, до того, как были опровергнуты. Классические примеры первого – это космология Птолемея, теория флогистона и калорическая теория; пример последнего – это число хромосом у человека, которое систематически ошибочно вычислялось как равное 48 (а не 46) и эта ошибка просуществовала 30 лет (Gartler 2006). В качестве последнего примера рассмотрим оценку лордом Кельвиным возраста Земли (Burchfield 1975). Они были выполнены на основании температуры Земли и ее теплопроводности, и привели к оценкам возраста Земли от 20 до 40 миллионов лет. Эти оценки не принимали в расчет нагревание за счёт радиоактивного распада, поскольку радио-активный распад не был известен в то время. Как только было показано, что он способен давать дополнительное тепло, модель была быстро усовершен-ствована. Хотя пренебрежение радиоактивностью сегодня выглядит как сла-бость модели, во времена лорда Кельвина оно представляло собой большую непредвиденную слабость в физическом понимании Земли и, таким образом, ошибку теории. Эти примеры показывают, что вероятности адекватности модели и теории не независимы друг от друга, и, таким образом, в самом общем случае мы не должны дальше разлагать на слагаемые уравнение (3).

3. Применение нашего анализа к рискам экспериментов
на ускорителях

Физика элементарных частиц – это исследование элементарных со-ставляющих материи и радиации и взаимодействия между ними. Главный экспериментальный метод в физике элементарных частиц состоит в состоит в использовании таких ускорителей как RHIC и БАК для того, чтобы разо-гнать пучки частиц до околосветовых скоростей и затем столкнуть их друг с другом. Это позволяет сконцентрировать очень большое количество энергии в одном объёме и разбить частицы на их составляющие, которые затем мож-но обнаружить. По мере того, как ускорители частиц становились всё боль-ше, достигаемые плотности энергии становились всё большими, что вызвало некоторую озабоченность в отношении их безопасности. Эти опасения о рисках сосредоточились на трёх возможностях: возникновение «подлинного вакуума», превращение Земли в странную материю и разрушение Земли че-рез формирование чёрной дыры.

4.1 Подлинный вакуум и возникновение странной материи

Тот тип вакуума, который существует в нашей вселенной может не быть вакуумом с наименьшим уровнем энергии. В этом случае вакуум может перейти на самый нижний уровень энергии, спонтанно, или после значитель-ного возмущения. Это приведёт к возникновению пузыря «подлинного ва-куума» расширяющегося во все стороны со скоростью света, переводя все-ленную в иное состояние, явно непригодное для какой-либо жизни (Turner and Wilczek 1982). Наша обычная материя состоит из электронов и двух ти-пов кварков: верхних кварков и нижних кварков. Странная материя содер-жит третий тип кварков: странные кварки. Было выдвинуто предположение, что странная материя может быть более устойчивой, чем нормальная мате-рия, и может быть способна превращать атомные ядра в ещё большие коли-чества странной  материи (Witten 1984). Было также выдвинуто предположе-ние, что ускорители частиц могут создавать маленькие сгустки отрицательно заряженной странной материи, известные как стрейнджлеты. Если обе эти гипотезы верны, и стрейнджлет имеют достаточно высокие шансы взаимодействовать с нормальной материей, то он может расти внутри Земли, притягивая ядра со всё большей скоростью, до тех пор, пока вся планета не превратится в странную материю и вся жизнь на ней будет уничтожена. К сожалению, странная материя сложна и малопонятна, и относительно неё имеются модели с крайне различными предсказаниями относительно ее стабильности, заряда и других свойств (Jaffe, Busza et al. 2000).Одним из способов ограничить риск от этих источников является аргумент о космических лучах: столкновения того же типа с высокоэнергетичными частицами случаются повсеместно в атмосфере Земли, на поверхности Луны и везде во Вселенной. Тот факт, что Луна или наблюдаемые звёзды не были разрушены в результате значительного числа прошлых столкновений (многие из которых имели гораздо большую энергию, чем та, что может быть достигнута в человеческих экспериментах) предполагает, что угроза незначительна. Этот аргумент был использован впервые против возможности распада вакуума (Hut and Rees 1983), но является вполне распространённым. Влиятельный анализ рисков, связанных со странной материей, был выполнен (Dar, De Rujula et al. 1999) и был основой отчёта о безопасности RHIC. Этот отчёт учитывает тот факт, что любые опасные остатки космических лучей, столкнувшихся с веществом, будут двигаться с высокими относительными скоростями (и в силу этого взаимодействовать с гораздо меньшей вероятностью), в то время как лобовые столкновения на ускорителях могут создавать осколки, двигающие-ся с гораздо меньшими скоростями. Они использовали частоту лобовых столкновений космических лучей, чтобы оценить продукцию стрейнджлетов. Такие стрейнджлеты затем будут замедляться галактическими магнитными полями и в конце концов будут поглощаться в ходе формирования звёзд. Вместе с оценками частоты взрывов сверхновых, это может быть использо-вано для оценки вероятности создания опасных стрейнджлетов в ускорите-лях частиц. В результате была получена оценка <2•;;10-9 в год для RHIC.  В то время, как использование эмпирических границ и экспериментально про-веренной физики уменьшает вероятность ошибки в теории, в данной статье используется примерно 30 шагов, чтобы придти к окончательному выводу. Например, если есть шанс в 1 к 10 000 вычислительной или модельной ошибки в каждом шаге, то это дало бы суммарную P(-A)=0,3%. Это полно-стью бы затенило оценку риска. Тонкое усложнение аргумента о космиче-ских лучах было отмечено в статье (Tegmark and Bostrom 2005). Выживание Земли не является достаточным основанием для доказательства безопасно-сти, поскольку мы не знаем, живём ли мы во вселенной с «безопасными» законами природы или мы живём во вселенной, в которой взрывы планет или распад вакуума случаются, но мы просто были удивительно везучими до сих пор. Хотя последняя возможность выглядит очень маловероятной, все наблюдатели в такой вселенной будут обнаруживать себя в тех редких слу-чаях, когда их планеты и звёзды выжили, и будут обладать той же информа-цией, что и мы. Тегмарк и Бостром таким образом пришли к выводу, что иг-норирование антропного фактора делает предыдущие модели слишком уз-кими. Они учли это антропное искажение и пришли к выводу, основываясь на анализе (Jaffe, Busza et al. 2000), что риск от ускорителей составляет менее 10-12 в год. Это пример продемонстрированной ошибки в важном физическом доказательстве безопасности (которое было ключевым в оценке безопасности RHIC). Более того, важно отметить, что RHIC проработал пять лет на основании ошибочного отчёта о безопасности, до того, как Бостром и Тегмарк обнаружили и исправили неточность доказательства. Хотя эта неточность была немедленно исправлена, мы должны отметить, что исправление зависит от двух вещей: рассуждений на основании антропного принципа и от сложной модели формирования планет (Lineweaver, Fenner et al. 2004). Если хотя бы одна из них содержит ошибки, или сам базовый брукхавенский анализ ложен, то и вся оценка риска искажена.

4.2 Формирование чёрной дыры

Эксперименты на БАК в ЦЕРН были предназначены для исследова-ний верности и границ Стандартной модели физики частиц путём столкно-вения  пучков высокоэнергетичных протонов. Это будет наиболее высоко-энергетичный эксперимент из когда-либо сделанных, что сделало его пред-метов озабоченности в последнее время. В силу высокой убедительности предыдущих доказательств безопасности в отношении формирования стрейнжлетов и распада вакуума, основным предметом беспокойства в от-ношении БАК стало возникновение чёрных дыр. Ни одна из теоретических статей, которые мы обнаружили, судя по всему не рассматривает чёрные дыры как угрозу безопасности, в основном потому что все они предполага-ют, что чёрные дыры испарятся благодаря Хокинговскому излучению. Одна-ко в статье (Dimopoulos and Landsberg 2001) было предположено, что если чёрные дыры будут возникать, что ускорители частиц могут быть использо-ваны для проверки теории о Хокинговском излучении. После этого критики также начали спрашивать, можем ли мы не задумываясь принять то, что чёр-ные дыры будут безвредно испаряться. Новый анализ продукции чёрных дыр на БАК (Giddings and Mangano 2008) является хорошим примером того, как риски могут быть более эффективно ограничены посредством множества субаргументов. Не пытаясь дать вероятность катастрофы (а вместо этого заключая, что «нет рисков значительных событий от таких чёрных дыр») эта статья использует доказательство, основанное на проведении множества верхних границ. В начале она показывает, что быстрый распад чёрных дыр является непременным следствием нескольких различных физических теорий (А1). Во-вторых, в статье обсуждается несовместимость между неиспа-ряющимися чёрными дырами и механизмами электрической нейтрализации чёрных дыр: для того, чтобы создаваемые космическими лучами чёрные дыры были бы безопасными, но чёрные дыры из ускорителей были бы опасными, они должны быть способны быстро сбрасывать избыточный электрический заряд (A2). Наше нынешнее понимание физики говорит нам о том, что чёрные дыры должны распадаться, и даже если они не распадаются, они будут неспособны разряжаться сами по себе. Только если это понимание содержит ошибки, то тогда в игру вступает следующий раздел. Третья часть, которая занимает большую часть статьи, моделирует то, как обычные и многомерные чёрные дыры могли бы взаимодействовать с обычной материей. Там делается вывод о том, что если масштаб многомерной гравитации меньше, чем 20 нм, то время, за которое чёрная дыра поглотит Землю, будет больше, чем время естественного существования планеты. Для тех сценариев, в которых быстрое поглощение Земли возможно, время поглощения белых карликов и нейтронных звёзд так же будет очень коротким, а захват чёрных дыр от сталкивающихся космических лучей будет таким высоким, что время жизни звёзд было бы гораздо короче наблюдаемого (а также это противоречило бы скорости охлаждения белых карликов) (А3). Хотя каждый из этих аргументов имеет свои слабости, сила полного доказательства (A1,A2,A3) значительно больше за счёт их комбинации. По существу статья представляет собой три последовательных доказательства, каждое из которых частично заполняет серую область (см рис. 1), оставшуюся от предыдущих. Если теории о распаде чёрных дыр терпит провал, то в действие вступает аргумент об электрическом разряде, и если, вопреки всем ожиданиям, чёрные дыры оказываются стабильными и нейтральными, то третий аргумент показывает, что данные астрофизики ограничивают скорость аккреции вещества ими очень малой величиной.

4.3. Применение вышеприведённого анализа в отношении
безопасности БАК

Каковы следствия нашего анализа в для оценки безопасности БАК? Во-первых, рассмотрим уровень ставок в данном вопросе. Если одна из предполагающихся катастроф должна случится, это будет означать разрушение Земли. Это будет означать полное разрушение окружающей среды, 6.5 млрд. человеческих смертей и гибель всех будущих поколений. Стоит отметить, что потеря всех будущих поколений (а вмести с ними и всего потенциала человечества) может быть величайшей потерей из этих трёх, но подробный анализ этих ставок находится за рамками этой статьи. Для наших целей важно отметить, что разрушение Земли по крайней мере так же плохо как 6.5 млрд человеческих смертей. Есть некоторая неопределённость в том, как надо комбинировать вероятности и ставки в суммарной оценке рисков. Некоторые утверждают, что простой подход, состоящий в вычислении ожидаемой полезности, является наилучшим, тогда как другие утверждают подход, основанные на некоторой форме полного неприятия риска. Однако мы можем обойти этот диспут, отметив, что в любом случае риск ущерба по крайней мере столь же плох, как математическое ожидание ущерба.  Таким образом, риск с вероятностью p гибели 6.5 млрд людей по крайней мере настолько же плох, как неизбежная гибель 6,5•109 •р людей. 
Теперь мы постараемся дать наиболее точную оценку вероятности одного из перечисленных выше сценариев катастрофы, которые могут про-изойти во время работы БАК. Хотя доказательства безопасности БАК заслу-живают похвалы за свою продуманность, они не являются непогрешимыми. Хотя отчёт рассматривает несколько физических теорий, вполне возможно, что все они являются неадекватными репрезентациями физической реально-сти. Также возможно, что модели процессов в БАК или астрономических процессов, используемые в аргументе о космических лучах, содержат некие важные ошибки. Наконец, возможно, что в отчёте есть ошибки в вычислени-ях. Вспоминая уравнение (1):

(1)        P(X)=P(X|A)P(A)+P(X|-A)P(-A)


P(X) определяется двумя слагаемыми. Второе из них определяется дополнительной вероятность катастрофы, связанной с тем, что доказательство неверно. Оно является произведением вероятности ошибки в доказательстве на вероятность катастрофы при условии такой ошибки. Оба сомножителя очень трудно оценить, но мы можем достичь определённого понимания, если укажем границы, в которых они должны лежать, для того, чтобы риск БАК был приемлемым.
Из (1) следует:

(4)    P(X) ;  P(X|-A) P(-A) .

Если мы под I обозначим приемлемый уровень ожидаемого числа смертей в результате операций БАК, мы получим 6,5•109 •P(X) ; I. Объёдинив это с уравнением (4), мы получим:

(5)   P(X|-A)P(-A) ;1,5•10-10 •I.

Это неравенство накладывает жёсткие ограничения на приемлемые величины вероятностей. Это гораздо легче понять на примере, и поэтому мы дадим некоторые числа для иллюстрации. Предположим, что предел был установлен в 1000 ожидаемых смертей, и тогда P(X|-A) •P(-A) должно быть меньше, чем 1,5•10-7  для того, чтобы уровень риска был приемлемым. Это требует очень низких значений этих вероятностей. Мы видели, что для мно-гих доказательств P(-A) больше, чем 0,001. Мы также указали, что доказа-тельство безопасности RHIC имело серьёзную ошибку, которая не была об-наружена экспертами в то время. Таким образом, было бы очень смелым утверждать, что доказательство безопасности БАК имеет вероятность ошибки, значительно меньшую, чем 0,001, однако для чистоты аргумента мы примем, что она равна всего лишь 0,0001, что означает, что из выборки в 10 000 независимых доказательств подобного уровня, только одно имело бы серьёзную ошибку. Даже если величина P(-A) составляет всего лишь 10-4 P(X|-A) должно быть 0,15%, чтобы риск был приемлемым. P(X|-A) – это вероятность катастрофы при условии, что доказательство безопасности ошибочно, и оно является наиболее сложным для оценки компонентом уравнения (1). Мало кто будет возражать, что у нас есть очень мало данных для того, чтобы приписать какое-либо значение P(X|-A). Таким образом, было бы слишком смелым оценить его в менее чем 0,15% без каких-либо существенных доказательств. Возможно, что такой аргумент может быть найден, но пока его нет, такое малое значение P(X|-A) ничем не обосновано. Мы подчёркиваем, что приведённая выше комбинация чисел была дана чисто для иллюстрации, однако мы не смогли найти какую-либо убедительную комбинацию из этих трёх чисел, которые соответствуют ограничению и которые не требуют значительных доказательств либо для уровней уверенности, либо уровней пренебрежения числом ожидаемых смертей. Мы хотим также подчеркнуть, что мы открыты к возможности, что дополнительные поддерживающие аргументы и независимые проверки моделей и вычислений могут значительно уменьшить шансы обнаружить ошибку в доказательстве. Однако из нашего анализа следует, что нынешний отчёт по безопасности не должен быть последним словом в оценках безопасности БАК. Чтобы пользоваться доказательствами из последнего отчёта по безопасности БАК, мы должны провести дополнительную работу по оценке P(-A), P(X|-A), приемлемого уровня смертей, и ценности будущих поколений и другой жизни на Земле. Такая работа потребует знаний за пределами теоретической физики и потребуется создание междис-циплинарной группы. Если бы ставки были бы малы, то тогда имело бы смысл отмести этот дополнительный уровень анализа рисков, но ставки ас-трономически высоки, и в силу этого дополнительный анализ является кри-тически важным. Даже если БАК продолжит свою работу без дополнитель-ного анализа, что весьма вероятно, эти уроки должны быть применены к оценке рисков с высокими ставками и низкой вероятностью.

5. Заключение

При оценке вероятностей катастрофы недостаточно сделать консер-вативные оценки (используя наиболее экстремальные значения или предпо-ложения в моделях, совместимые с известными данными). Скорее, мы нуж-даемся в мощных оценках, которые могут учитывать ошибки в теории, моде-ли и вычислениях. Потребность в этом становится особенно большой при оценке событий с высокими ставками и низкой вероятностью, хотя мы не утверждаем, что низкие вероятности не могут учитываться систематически. В действительности, как указал (Yudkowsky 2008), если бы люди не могли точно предсказывать вероятности менее, чем 10-6, то организаторы лотереи не могли бы получать доходы от неё.
Некоторые люди высказали озабоченность о том, что наше доказа-тельство может быть слишком сильным: согласно ему невозможно опро-вергнуть риск чего-либо даже самого простого, как падение карандаша, и поэтому из наших аргументов должна следовать необходимость запретить всё. Это верно, что мы не можем полностью исключить какую-либо вероят-ность того, что с виду безобидные действия могут иметь ужасающий эффект, но есть ряд причин, по которым мы не должны заботится о всемирном запре-те. Основная причина того, что мы не должны заботится о всемирном запре-те событий в духе падения карандаша, у которых нет убедительного меха-низма уничтожения мира, состоит в том, что выглядит в той же мере вероят-ным, что мир будет уничтожен из-за не бросания карандаша. Ожидаемые потери уравновешивают друг друга. Также следует отметить, что наше доказательство – это просто обращение к мягкой форме теории принятия решений для анализа необычной концепции: для того, чтобы наш метод оказался неверен, должна быть ошибка в самой теории принятия решений, что само по себе было бы большим откровением.
Некоторым читателям может показаться, что наше доказательство полностью применимо к самой этой статье: есть шанс, что мы сделали ошиб-ку в самом нашем доказательстве. Мы полностью согласны, но должны от-метить, что эта возможность не сильно изменяет нашего вывода. Предполо-жим, очень пессимистично, что есть 90% шансы, что наше доказательство содержит существенную ошибку и что правильным подходом является при-нимать выводы отчётов о безопасности  без коррекции. Даже если так, наше рассуждение значительно изменит то, как мы рассматриваем эти выводы. Вспомните, например, раздел 2, где отчёт давал вероятность в 10-9, и мы из-менили ее на 10-6. Если есть хотя бы 10% шанс, что мы были правы в этом, то тогда полная оценка вероятности должна быть изменена на 0,9•10-9 + 0,1•10-6 =;10-7, что всё равно представляет весьма значительный сдвиг от исходной оценки, данной в отчёте. Говоря вкратце, даже серьёзные сомнения в досто-верности нашего метода не должны сдвинуть оценки больше чем на порядок от тех, кто наш метод предлагает. Более умеренные сомнения будут иметь ещё меньший эффект. (Некоторые ошибки возможны и при переводе это ста-тьи, но они не должны изменить основной вывод – прим.пер.) Основная идея нашей статьи состоит в том, что любая научная оценка риска может дать нам только вероятность опасного события при условии верности основного аргумента. Необходимость оценить надёжность данного доказательства для того, чтобы адекватно взаимодействовать с риском, является особенно необходимой, как было нами показано, в отношении событий с высокими ставками и низкой вероятностью. Мы вывели трёхуровневое разделение между теорией, моделью и вычислениями, и показали, как она может быть более удобна, чем классическое разделение между неопределённостью модели и параметров. Дав исторические примеры ошибок на всех трёх уровнях, мы прояснили это трёхуровневое различие и показали, где могут случаться ошибки в оценке рисков.
Наш анализ рисков был применён к недавним оценкам рисков, кото-рые могут возникнуть в области физики элементарных частиц. В заключении этой статьи мы хотели бы дать несколько самых общих советов о том, как избегать ошибок в доказательствах при оценках рисков с высокими ставка-ми. Во-первых, проверяемость предсказаний может помочь обнаружить ошибочные аргументы. Если оценка риска даёт распределение вероятности для меньших и более обычных катастроф, то это может быть использовано для того, чтобы судить о том, согласуются ли наблюдаемые катастрофы с теорией. Во-вторых, повторяемость результатов выглядит наиболее эффек-тивным способом удалить многие ошибки. Мы можем значительно увели-чить достоверность вычислений, если другие люди независимо их повторят. Если другие теории и модели независимо предсказывают тот уже уровень риска, то наша уверенность в этих результатах должна возрасти, даже  если один из результатов ложен, другие сохраняют свою силу. Наконец, мы мо-жем уменьшить вероятность бессознательной предубёждённости, разделив работу по оценке риска на две группы экспертов: на «синюю» группу, кото-рые будут пытаться дать объективный анализ, и «красную группу» «адвока-тов дьявола», которые будут стремиться продемонстрировать риск, и эти группы будут подвергать друг друга взаимному критицизму, что приведёт к усовершенствованию моделей и оценок (Calogero 2000). Применение таких методов может уменьшить вероятность ошибки на несколько порядков.

References
Bloch, J. (2006). "Extra, Extra – Read All About It: Nearly All Binary Searches and Merges orts are Broken." from Burchfield, J. D. (1975). Lord Kelvin and the Age of the Earth. New York, Science History Publications.
Calogero, F. (2000). "Might a laboratory experiment destroy planet earth?"
Interdisciplinary Science Reviews 25(3): 191-202.
Cartwright, N. (1999). Dappled World: A Study of the Boundaries of Science. Cambridge, Cambridge University Press.
Cokol, M., I. Iossifov, et al. (2007). "How many scientific papers should be retracted?" Embo Reports 8(5): 422-423.
Dar, A., A. De Rujula, et al. (1999). "Will relativistic heavy-ion colliders destroy our planet?" Physics Letters B 470(1-4): 142-148.
Dimopoulos, S. and G. Landsberg (2001). "Black holes at the large ha-dron collider." Physical Review Letters 8716(16): art. no.-161602.
ESA (1996). ARIANE 5 Flight 501 Failure: Report by the Inquiry Board.
Garc;a-Berthou, E. and C. Alcaraz (2004). "Incongruence between test statistics and P values in medical papers." BMC Medical Research Methodology 4(13).
Gartler, S. M. (2006). "The chromosome number in humans: a brief histo-ry." Nature Reviews Genetics 7(8): 655-U1.
Giddings, S. B. and M. M. Mangano. (2008). "Astrophysical implications of hypothetical stable TeV-scale black holes." arXiv:0806.3381
Giere, R. N. (1999). Science without Laws. Chicago, University of Chi-cago Press.
Hansson, S. O. (1996). "Decision making under great uncertainty." Phi-losophy of the Social Sciences 26: 369-386.
Hempel, C. G. (1950). "Problems and Changes in the Empiricist Criterion of Meaning." /Rev. Intern. de Philos 11(41): 41-63.
Hillerbrand, R. C. and M. Ghil (2008). "Anthropogenic climate change: Scientific uncertainties and moral dilemmas." Physica D 237: 2132-2138.
Hut, P. and M. J. Rees (1983). "How Stable Is Our Vacuum." Nature 302(5908): 508-509.
Jaffe, R. L., W. Busza, et al. (2000). "Review of speculative "disaster sce-narios" at RHIC." Reviews of Modern Physics 72(4): 1125-1140.
Jeng, M. (2006). "A selected history of expectation bias in physics." Am. J. Phys. 74(7): 578-583.
Kent, A. (2004). "A critical look at risk assessments for global catastro-phes." Risk Analysis 24(1): 157-168.
Lineweaver, C. H., Y. Fenner, et al. (2004). "The Galactic habitable zone and the age distribution of complex life in the Milky Way." Science 303(5654): 59-62.
Miller, G. (2006). "A Scientist’s Nightmare: Software Problem Leads to Five Retractions." Science 314: 1856-1857.
Morawetz, K. and R. Walke (2003). "Consequences of coarse-grained Vlasov equations." Physica a-Statistical Mechanics and Its Applications 330(3-4): 469-495.
Morrison, M. C. (1998). "Modelling nature: Between physics and the physical world."Philosophia Naturalis 35: 65-85.
NASA (1999). Mars Climate Orbiter Mishap Investigation Board Phase I Report.
Nath, S. B., S. C. Marcus, et al. (2006). "Retractions in the research litera-ture:misconduct or mistakes?" Medical Journal of Australia 185(3): 152-154.
Nicely, T. R. (2008). "Pentium FDIV Flaw FAQ." From http://www.trnicely.net/pentbug/pentbug.html.
Nuclear Weapon Archive. (2006). "Operat ion Cas t le. " from http://nuclearweaponarchive.org/Usa/Tests/Castle.html.
Panko, R. R. (1998). "What We Know About Spreadsheet Errors." Journal of End UserComputing 10(2): 15-21.
Popper, K. (1959). The logic of Scientific Discovery, Harper & Row.
Posner, R. A. (2004). Catastrophe: Risk and Response. Oxford, Oxford UniversityPress.
Prot, S., J. E. Fontan, et al. (2005). "Drug administration errors and their determinants in pediatric in-patients." International Journal for Quality in Health Care. 17(5): 381-389.
Reichenbach, H. (1938). Experience and prediction. Chicago, University of Chicago  Press.
Stubbs, J., C. Haw, et al. (2006). "Prescription errors in psychiatry – a multi-centre study." Journal of Psychopharmacology 20(4): 553-561.
Suppes, P. (1957). Introduction to Logic.
Tegmark, M. and N. Bostrom (2005). "Is a doomsday catastrophe likely?" Nature 438(7069): 754-754.
Turner, M. S. and F. Wilczek (1982). "Is Our Vacuum Metastable." Na-ture 298(5875): 635-636.
Walsh, K. E., C. P. Landrigan, et al. (2008). "Effect of computer order en-try on prevention of serious medication errors in hospitalized children." Pediatrics 121(3): E421-E427.
Witten, E. (1984). "Cosmic Separation of Phases." Physical Review D 30(2): 272-285.
Yudkowsky, E. (2008). Cognitive biases potentially affecting judgement of global risks. Global Catastrophic Risks. N. Bostrom and M. M. Cirkovic. Ox-ford, Oxford University Press.
 
Эдриан Кент. Критический обзор оценок рисков глобальных катастроф

Первод: А.В.Турчин
arXiv:hep-ph/0009204v6 10 Dec 2003
http://arxiv.org/abs/hep-ph/0009204
A critical look at risk assessments for global catastrophes
Adrian Kent
Department of Applied Mathematics and Theoretical Physics,
Centre for Mathematical Sciences,
University of Cambridge, Wilberforce Road, Cambridge CB3 0WA, U.K.
(April 2003 (revised))
Опубликовано: Journal reference: Risk Anal. 24 (2004) 157-168

В недавних статьях Busza et al. (далее – BJSW) и Dar et al. (далее – DDH) утверждается, что астрофизические данные могут быть использо-ваны для установления верхних границ риска катастрофического сценария со «смертельными стрейнджлетами» в экспериментах на ускорителях RHIC и ALICE. Уровень безопасности, установленный для этих экспериментов группой BJSW, опирается не только на эти астрофизические границы, но и на чисто теоретические расчеты, которые BJSW полагают достаточно убедительными, чтобы твёрдо исключить возможность катастрофы. Тем не менее, DDH и другие комментаторы (изначально так считала и группа BJSW) полагают, что одних только этих эмпирических границ достаточно, чтобы дать достаточные основания для уверенности в безопасности. Это выглядит неубедительным, когда границы выражены в терминах ожидаемой полезности – что является правильным способом измерения с точки зрения стандартного анализа рисков. Например, с точки зрения DDH’s вероятность катастрофы p меньше 2 ; 10(;8), что означает, что математическое ожидание числа смертей ограничено сверху числом в 120 человек. Более консервативная оценка BJSW утверждает, что математи-ческое ожидание числа смертей ограниченно сверху 60 000. Данная статья производит переоценку границ риска, данных DDH и BJSW, путём сравнения с политикой в отношении рисков в других областях. Например, отмечается, что даже при предположениях, допускающих высокую толерантность к риску и при условии, что никакой ценности не приписывается будущим по-колениям, риск катастроф не должен был бы быть выше, чем 10(;15) в год, чтобы соответствовать установленным правилам минимизации риска ра-диационного воздействия. Допуская более жесткие требования к минимиза-ции риска и признавая ценность жизни ещё не родившихся людей, можно обосновано требовать границы рисков, на много порядков более строгой. Обобщая, можно сказать, что цена малых рисков катастрофы была зна-чительно недооценена группой BJSW (в начале), потом DDH и другими ком-ментаторами. Будущая политика в отношении катастрофических рисков была бы более рациональной и более заслуживающей доверия публики, если бы приемлемые границы риска были бы в основном согласованы заранее и если бы серьёзные исследования в отношении того, может ли соблюдение этих границ на самом деле быть гарантировано, было бы выполнено задолго до любого гипотетического рискованного эксперимента, в обсуждении ко-торого принимали бы участие эксперты, не имеющие заинтересованности в проведении рассматриваемого эксперимента.
PACS numbers: 25.75.-q, 87.52.Px, 06.60.Wa, 01.52.+r

1.ВВЕДЕНИЕ
Время от времени высказываются умозрительные предположения относительно способов, которыми новые физические эксперименты могут гипотетически привести к катастрофе, которая покончит с жизнью на Земле. Некоторые из этих гипотетических катастроф, включая сценарий «убийст-венного стрейнджлета», обсуждаемый в этой статье, могут привести так же к разрушению планеты и другим более широким последствиям. В любом слу-чае, предлагающиеся механизмы катастроф в основном полагаются на умо-зрительные спекуляции относительно гипотетических феноменов, относи-тельно которых нет экспериментальных данных, но которые, на первый взгляд, не противоречат известным законам физики. Иногда такие пессими-стические гипотезы опровергаются аргументами, которые показывают, что существование таких катастрофических механизмов крайне маловероятно, потому что либо более подробный анализ показывает, что предлагающиеся механизмы в действительности противоречат твёрдо установленным физиче-ским принципам, или потому что существование этих механизмов должно было бы приводить к эффектам, которые мы почти наверняка должны были бы обнаруживать, но этого не происходит. К сожалению, есть трудность в том, чтобы сделать аргументы такого рода достаточно убедительными. Хо-телось бы быть уверенными, что шансы непреднамеренно запустить гло-бальную катастрофу действительно очень малы, до того, как приступать к экспериментам. Но очень трудно, если не невозможно найти аргументы, ко-торые могли бы оправдать этот вывод с достаточным уровнем достоверно-сти. Было сделано обескураживающее мало попыток разобраться с этой проблемой. В действительности, даже очевидный и фундаментальный вопрос – насколько невероятной должна быть катастрофа, чтобы это давало право на проведение эксперимента – кажется, никогда не был серьёзно исследован. Цель данной статьи – поднять этот вопрос со всей серьёзностью, с тем, чтобы стимулировать дальнейшие дебаты. Более конкретным стимулом для этой статьи стали споры относительно безопасности суперколлайдера RHIC в Брукхавене, и эксперименты Alice, предложенные CERN. Спекуляции о возможных катастрофических сценариях в этих экспериментах привели к определённому общественному давлению, чтобы запретить эти эксперименты. В ответ были написаны отчёты и статьи, которые использовались для оправдания проведения экспериментов на RHIC на том основании, что, наряду с прочим «Столкновения космических лучей дают убедительные доказательства того, что мы находимся в безопасности в отношении катастрофы на RHIC" [1] и «Нет оснований сомневаться, что эксперименты с тяжёлыми ионами на RHIC безопасны для нашей планеты» [2].
Я постараюсь доказать в этой статье, что полученные границы риска в действительности не являются маленькими, принимая во внимание масштаб катастрофы, – согласно стандартным процедурам анализа риска или в сравнении с принятыми стандартами приемлемого риска для публики. Поскольку критерии, использованные в Брукхавене для оправдания проведения экспериментов, были выработаны физиками-теоретиками и администраторами, а не более представителями широкой публики или профессионалами в управлении рисками, то кажется желательным представить эти проблемы широкому кругу слушателей с целью создания информированной дискуссии и определения более здравой общественной политики в будущем.

II. ИСТОРИЧЕСКИЕ ПРИМЕРЫ
По-видимому, первый механизм катастрофы такого рода, который всерьёз рассматривался как возможный, привлёк внимание в 1940-х годах в Лос-Аламосе перед первым ядерным тестом.  Речь шла о том, что ядерные или термоядерные бомбы могут поджечь атмосферу или океаны в неостано-вимой цепной реакции. В ходе расследования был выполнен анализ Konopinski et al. [3], который весьма определённо отверг эту возможность. В опубликованном интервью с Перл Бак (Pearl Buck) [4] она говорит, что Комптон сказал, что он решил не продолжать с ядерными испытаниями, если бы было доказано, что шансы глобальной катастрофы выше, чем 3 на миллион, но конкретные вычисления показали, что цифра немного меньше. Трудно понять, как какие-либо осмысленные вычисления могут породить такую оценку риска. Анализ в [3] даёт убедительные аргументы против возможности катастрофической цепной реакции, основанные на твёрдо проверенных физических принципах. Он заключает, что неразумно ожидать цепной реакции, распространяющейся в азот-азотной реакции синтеза, и неограниченная цепная реакция, поглощающая всю атмосферу, ещё менее вероятна. Другие возможные реакции, включающие в себя реакции на протонах в облаках пара, вырывающихся из океана, тоже были рассмотрены, и относительно них был сделан вывод, что они ещё менее опасны.
Однако Konopinski et al. отмечают, что способ распространения ре-акции в атмосфере может быть более сложным, чем предполагает их анализ, в силу чего его выводы могут быть неприменимы, и они предполагают, что сложность рассуждений и отсутствие удовлетворительного эксперименталь-ного базиса для них делают дальнейшую работу на эту тему крайне жела-тельной. Однако они не предлагают никакой численной оценки риска катастрофы и никаких результатов, из которых численная оценка могла бы быть выведена. И ещё, насколько я знаю, Комптон никогда не пытался исправить высказывания Бак. Если бы она просто что-то неверно поняла, то Комптону было бы не трудно не признавать этого утверждения. И если бы это неверно выражало его взгляды, то он наверняка захотел бы восстановить историческую правду и защитить свою репутацию против обвинений в неблагоразумной игре с будущим человечества. Логичным выводом является то, что Комптон действительно сделал эти заявления, о которых она сообщает . И если так, даже если оценка риска сама по себе окажется неправомерной, Комптон по-видимому искренне верил, что действительный риск (а не просто граница риска) в 3 •10-6 глобальной катастрофы была приблизительно на грани приемлемости, в эпоху усилий Америки и её союзников по созданию атомного оружия во время Второй мировой войны. По-видимому, эта цифра не вызвала также и беспокойства читателей «American Weekly» в 1959 годы, поскольку никаких возражений не последовало. Было бы интересно сравнить это с современным мнением о приемлемости риска глобальной катастрофы в 3•10-6, в условиях проекта Лос-Аламос или подобных. Другая гипотетическая катастрофа была исследована некоторое время назад Хатом и Рисом (Hut and Rees [6,7].) Они рассмотрели возможность того, что состояние вакуума, в котором мы живём, не является подлинным вакуумом, но только локальным минимумом эффективного потенциала. Они задались вопросом, не могут ли, если это так, новые эксперименты на ускорителях запустить катастрофический переход к подлинному вакууму, разрушив не только Землю, но и все стабильные формы материи в современном космосе. Они показали, что вероятность того, что это будет сделано искусственным образом в нынешних или возможных в обозримом будущем экспериментах на ускорителях, значительно меньше, чем вероятность того, что это случится естественным образом в пределах нашего светового конуса . Наиболее недавнее исследование было выполнено в ответ на некоторые (довольно расплывчатые) общественные сомнения [9] относительно возможности определённого рода катастроф, связанных с планировавшимися экспериментами на Брукхавенсокм реляти-вистском коллайдере тяжёлых ионов (RHIC). Это были статьи Busza et al. (BJSW) и Dar et al. (DDH) . Обе группы обратили наибольшее внимание на сценарии катастрофы с «убивающим стрейнджлетом», которые возникли бы, если бы отрицательно заряженная странная материя бы существовала и мог-ла бы быть создана в экспериментах. Помимо теоретических аргументов против рассматриваемой гипотезы, обе группы предложили границы риска, выведенные из эмпирических данных. BJSW предложила границы вероятно-сти катастрофы в течении десяти лет планируемого существования RHIC, основанные на факте выживания Луны в течение 4.5 млрд. лет, составляю-щие от 10;5 до 2.10;11, в зависимости от того, насколько консервативные предположения были сделаны [8]. Границы группы DDH выведены из на-блюдаемой частоты сверхновых и имеют разброс от  2 •10**;6 (такова пес-симистичная оценка очень медленной катастрофы, в ходе которой Земля будет преждевременно разрушена в течение ближайших миллиардов лет до того, как она будет в любом случае поглощена расширяющемся Солнцем) и до 2•10**;8 (их основная граница). [2].
Как будет видно из цитат, приведённых в главе IV, обе группы в на-чале [1,2] предполагали, что одних только их эмпирических границ доста-точно, чтобы доказать безопасность экспериментов. Если бы этот вывод был верным, то его бы стоило только приветствовать, поскольку в этом случае оно бы устранило бы какую-либо необходимость вычислять степень досто-верности, с которой мы должны были бы подходить к теоретическим аргу-ментам. Точка зрения, что эти эмпирические оценки являются действительно адекватными, была также выражена в комментариях [12,13]. Однако есть серьёзные основания полагать, что эти выводы неверны, и действительно, группа BJSW затем отозвала своё заявление, после того, как оно было под-вергнуто критике автором этой статьи. BJSW написали вторую версию сво-его препринта, убрав обнадёживающие характеристики своих границ риска, и вместо этого отреклись от любых попыток определить приемлемую верх-нюю границу вероятности катастрофы.  В пересмотренной версии своей ста-тьи группа BJSW также признаёт, что доказательства их эмпирически выве-денных границ риска могут быть недействительны, если некоторые дополни-тельные пессимистические гипотезы верны . Пересмотр группой BJSW своего препринта был адекватной реакцией, с чисто научной точки зрения. Однако последствия этого для общественной политики довольно тревожные. Как я понимаю, разрешение американского правительства проводить экспе-рименты на RHIC было дано на основании исходной версии рассуждений группы BJSW [1], которое содержало серьёзные ошибки, которые мы проил-люстрируем цитатами в секции IV. Беспокойство общественности было ути-хомирено посредством широко опубликованных [10,11] заверений [12,13] о том, что риск пренебрежимо мал, также в основном опирающихся на оценки риска, данные в исходной версии препринта BJSW [1]. Насколько мне из-вестно, Брукхавен не предпринял никаких усилий, чтобы повторно получить разрешение  на основе пересмотренных оценок BJSW или сообщить об этих серьёзных переменах средствам массовой информации и привлечь внимание общественности . По моему мнению, такие усилия должны были быть предприняты.

III. ПРЕДМЕТ РАССМОТРЕНИЯ ДАННОЙ СТАТЬИ.

Эта статья была предназначена для того, чтобы стать вкладом в де-баты о гипотетических сценариях катастрофы в результате экспериментов на ускорителях RHIC и ALICE и о гипотетических или реальных рисках катастрофы. Она концентрируется на главном вопросе: какой риск катастрофы может быть приемлемым? Другие важные вопросы в ней не рассматриваются. В частности, в отношении экспериментов на ускорителях не предпринимается никаких попыток вывести количественные границы рисков на основе неколичественных теоретических аргументов о невозможности катастрофы и не рассматриваются выводы BJSW о том, что одних только теоретических аргументов достаточно для полной уверенности [1,8]. Интерес этих споров не является, однако, чисто интеллектуальным. Цель состоит в том, чтобы улучшить будущую стратегию в отношении рисков катастрофы. В частности, должны быть сделаны выводы из очевидных ошибок в рассуждениях BJSW и DDH о рисках. Является очевидно неудовлетворительным то, что вопрос о том, что является приемлемым риском катастрофы, продолжает решаться от случая к случаю, согласно личным критериям риска учёных, с которыми от-ветственные за экспериментальное оборудование решили проконсультиро-ваться. Эти критерии, даже искренне и тщательно сконструированные, могут быть нерепрезентативными по отношению к общему мнению или эксперт-ному мнению в анализе рисков. Хуже того, история показывает, что в дейст-вительности использованные критерии риска могут быть вовсе бездумно сконструированными. Информация о мнении Комптона предполагает, и не-верная интерпретация [1] и [2] очень ясно иллюстрирует, что на учёных, чьей областью знаний не является анализ рисков или общественная политика, нельзя полагаться ни при интерпретации сведений о создаваемых наукой рисках, ни при рассмотрении элементарных аргументов, которые предполагают более строгие критерии риска, чем те, которые могут быть легко удовлетворены. Опора на такие неэкспертные оценки не полезна ни с точки зрения общественных интересов, ни с точки зрения долговременных интересов науки. Учёные и научные институции должны работать, чтобы получить, поддерживать и заслужить доверие общества. Аргументы о том, что следует проводить некий эксперимент только потому, что риск глобальной катастрофы кажется весьма низким, без сравнений с какими-либо существовавшими ранее уровнями риска и рекомендациями, могут не только не смочь убедить в безопасности, но и (небезосновательно) быть интерпретированы как упражнение в пиаре, направленное на поддержку заранее выбранного решения, а не как бесстрастный научный анализ. Как отмечает Calogero [18], это имеет долгосрочные последствия для авторитетности в вопросах риска для всех учёных, а не только непосредственно участвующих, и в качестве вероятных последствий – менее информированные и более иррациональные общественные дебаты и общественную политику.
Вполне вероятно, что вообще невозможно достичь полного консен-суса на твёрдых основаниях. Например, кажется маловероятным, что будет достигнуто некое ясное соглашение о том, что риски глобальной катастрофы являют достаточно малыми, чтобы быть пренебрежимыми, если и только если их вероятность меньше, чем 10-20 Жизнь гораздо сложнее этого, и демо-кратические дискуссии являются более многосторонними. Тем не менее – в действительности, именно по этой причине, – было бы ценно иметь спектр тщательно обоснованных мнений в литературе. Я надеюсь, что аргументы, высказанные ниже, будут способствовать дальнейшей дискуссии.

IV. ОЦЕНКИ ГРУППАМИ BJSW И DDH ГРАНИЦ РИСКОВ ДЛЯ СЦЕНАРИЯ «УБИЙСТВЕННОГО СТРЕЙНДЖЛЕТА»

Теперь мы обратимся к конкретным деталям дискуссий о катастро-фических рисках, возникших в связи с экспериментами RHIC и ALICE, и, особенно, к сценарию катастрофы с убийственным стрейнджлетом, некото-рые детали которого были проанализированы группами BJSW и DDH. Необ-ходимыми условиями для сценария «убийственного стрейнджелта» являют-ся:
1) То, что стабильная материя из стрейнджлетов существует.
2) Есть островок стабильности для отрицательно заряженных стрейнджлетов.
3) Отрицательно заряженные метастабильные стрейнджлеты могут быть созданы при столкновение ионов золота на энергиях ; 40 TeV на RHIC.
4) Возникший таким образом стрейнджлет может пережить столк-новения, которые направят его к окружающей массе обычной материи.
5) Он будет затем сливаться с ядрами, порождая ещё большие отри-цательно заряженные стрейнджлеты в ходе цепной реакции, которая в ко-нечном счёте поглотит всю Землю. (6)
Теоретические аргументы [8,2] против пунктов 1-3 в общем выглядят убедительно. Если 1-3, тем не менее, верны, то 4 и 5 тоже вероятны. Если верны пункты 1-5, то убийственные стрейнджлеты должны также возникать при естественных столкновениях высокоэнергетичных тяжёлых ионов, кото-рые имеют место, когда космические лучи сталкиваются друг с другом или с тяжёлыми ядрами в небесных телах. (ссылка 6) (Поклоннику недооценки может понравиться описание гибели Земли группой  BJSW: «катастрофиче-ский процесс с глубокими последствиями для здоровья и безопасности».) 
Естественно возникающие стрейнджлеты, если бы они существова-ли, могли бы запустить цепную реакцию, способную уничтожить астероиды, спутники, вроде Луны, или звёзды. Из того факта, что Луна просуществовала 4.5 млрд. лет и из того, что астрономические наблюдения противоречат тому факту, что звёзды превращаются в странную материю со сколько-нибудь значительной частотой, можно вывести границы риска [8,2].
К сожалению, эти выводы требуют предположений относительно типов взаимодействий, в которых возникают стрейнджлеты, об их способе взаимодействия с ядрами и их стабильности. [8,2,14]. По этой причине груп-пы BJSW и DDH дают различные границы, в зависимости того, насколько консервативные предположения они делают [8,14]. Без знания о том, какой уровень достоверности мы должны приписать этим предположениям – а этот вопрос ни одна из обеих групп не рассматривает количественно – невозможно понять, насколько осмысленны цифры границ рисков [14]. Но даже если эти числа не могут быть действительно подтверждены, те комментарии, которые сделали относительно них BJSW, DDH и другие, дают интересное и ценное представление о критериях рисков физиков и администраторов, вовлечённых в RHIC. Предполагая, что RHIC проработает запланированные 10 лет, группа DDH получает оценку вероятности катастрофы P < 2•10-8 для быстрого катастрофического разрушения Земли и p < 2•10-6 для медленного разрушения, которое завершится за миллиард лет до того, как Солнце расширится до Земной орбиты. DDH описывает эти результаты как «твёрдую и безопасную верхнюю границу риска, создаваемого работой  [RHIC]”. Они добавляют, что эти верхние границы означают, что «безопасно использовать RHIC в течение 500 миллионов лет» и что «продолжать эксперименты на RHIC – безопасно». Разумеется, последние два утверждения неверны. Границы, выведенные DDH, если они верны, устанавливают только маловероятность того, что Земля будет уничтожена очень рано, если RHIC эксперимент продолжается заявленный для него период времени (в 10 лет): но эти грани-цы соответствуют высокой вероятности  разрушения Земли в некоторый мо-мент, в случае гипотетических более длительных экспериментов . В первой версии [1] своей статьи BJSW описывают результат DDH как «в сто миллио-нов раз меньший уровня, необходимого для безопасности RHIC”. Это, ко-нечно, тоже не верно. Граница риска в 100 миллионов раз большая, чем та, что установлена DDH, означала бы высокую вероятность разрушения Земли в течение 5 лет экспериментов на RHIC – а этот уровень риска даже самые оптимистичные физики вряд ли назвали бы «безопасным». Используя свой независимый анализ, группа BSJW вывела следующие границы риска из факта выживания Луны с учётом различных предположений (их случаи 1-3) относительно возникновения стрейнджлетов и опять же предполагая, что RHIC проработает запланированные 10 лет:
1) p < 2 •10-10
2) p < 2 •10-5
3) p < 2 •10-4
Они описали 2 и 3 случаи как по-прежнему составляющие «ком-фортные уровни погрешности». Эти комментарии, а также те, что приведены в начале этого параграфа, столь явным образом неприемлемы – ни один здравомыслящий человек не будет пытаться заверить публику, что риск раз-рушения Земли в 1 к 5000 является комфортным уровнем погрешности – что я подозреваю, что они отражают некое странное замешательство в группе BSJW во время написания [1]. BJSW уточнили свои вычисления во второй версии своей статьи, усилив оценки в 10 раз и выведя границы риска для 10 летней продолжительности экспериментов на  RHIC (случаи 1-3):
1) p < 2 •10-11
2) p < 2 •10-6
3) p < 2 •10-5
В этой обновлённой версии, последовав критике упомянутых выше комментариев, они не делают никаких суждений о том, являются ли какие-нибудь границы удовлетворительными. Цитируя BJSW: «Мы не предприни-маем попыток ответить на вопрос, каковы приемлемые верхние границы ве-роятности катастрофы, и мы также не занимаемся «анализом рисков», сопос-тавляя вероятность негативного эффекта с масштабом его последствий» [8] В дальнейшей дискуссии мы будем использовать пересмотренные значения границ, обозначая их просто как BJSW-границы.
Основная оценка группы DDH о том, что вероятность катастрофы p < 2•10-8 часто использовалась в [1,2,13,12] в том смысле, что эта оценка сама по себе достаточно убедительна, так что больше не требуется никакого ана-лиза риска и оптимизации риска.  По моему мнению, многие математически образованные и вдумчивые люди не согласятся с этим. Мои собственные причины для несогласия объясняются ниже.

V. ГРАНИЦЫ РИСКОВ И ОЦЕНКИ РИСКОВ:
ВАЖНАЯ ОГОВОРКА

Важно подчеркнуть, что эмпирические рассуждения групп DDH и BJSW дают границы рисков катастрофы, а не оценки рисков . Их границы основаны на том факте, что мы не наблюдаем нечто, что мы должны были бы наблюдать, если бы риск был больше, чем некое значение p.
Отрицательный результат, выраженный в такой форме, не говорит нам ничего о действительном значении риска. Всё в анализе DDH и BJSW соответствует тому, что подлинный риск катастрофы равен нулю, и если нынешние теоретическое понимание верно, – то он действительно равен нулю. Однако, когда предметом рассмотрения является разрушение Земли, было бы предпочтительно не быть вынужденными полагаться только на теоретические построения. Как отмечают Глешоу и Уилсон в [13]: «Слова «невероятно», сколько бы много раз оно не повторялось, не достаточно, чтобы успокоить наши страхи в отношении этой катастрофы». Отсюда происходит интерес к рассмотрению естественно происходящих версий этого эксперимента, подтверждающих, что они не привели к катастрофе, и таким образом дающих твёрдые границы риска катастрофы. К сожалению, у этого подхода есть свои ловушки и ограничения. Сравнение ожидаемых эффектов от гипотетических стрейнджлетов, создаваемых естественными столкновениями тяжёлых ионов и экспериментами RHIC, не вполне правомерно. Для выведения границ рисков приходится делать теоретические предположения. Мы не можем достоверно вывести малые границы рисков таким образом, если только мы не имеем очень высокую уверенность в истинности этих предположений [14,8]. И в любом случае, Природа не обязательно проводила именно тот эксперимент, в котором мы заинтересованы, достаточно часто, чтобы дать достаточно строгие оценки рисков.
С чего мы должны начать, чтобы определить достаточно строгие границы риска? Мне кажется, что правильным подходом в оценке границ рисков было бы делать предположения о возможности наихудшего варианта развития событий. То есть, если мы убедились, что P(catastrophe) ; Р(0), и мы должны решить, является ли эта граница достаточно убедительной, мы должны задаться вопросом, готовы ли мы были бы продолжать, если бы мы знали, что  P(catastrophe)= Р(0). И если нет, значит, эта граница сама по себе не является достаточным основанием для уверенности. Такая граница могла бы стать элементом убедительного основания безопасности эксперимента, если бы её можно было дополнить другими аргументами.  Например, в слу-чае с RHIC можно утверждать, что комбинация теоретических аргументов и эмпирических границ даёт достаточные основания для уверенности, даже если ни один из них по отдельности недостаточен . Я не буду рассматри-вать такие аргументы здесь. Ни, повторюсь, я не буду исследовать вопрос о том, достаточно ли убедительны теоретические аргументы сами по себе. Дискуссия далее рассматривает только узкий вопрос о том, достаточно ли только одних эмпирических границ для уверенности.


VI. РИСК И ОЖИДАЕМЫЙ УЩЕРБ

Разрушение Земли будет включать в себя гибель ; 6•109 людей и ги-бель всех других видов живых существ, потерю исторических данных об эволюции биосферы и потерю почти всей культурной информации, накоп-ленной человечеством .  Добавьте к этому цену утраченных возможностей в связи с отсутствием будущих поколений. Задумайтесь хотя бы о числе смертей людей. Если ожидается, что некий эксперимент приведёт хотя бы к одной человеческой смерти, в повседневном смысле  этого слова, – то есть, что вероятно, что, по крайней мере, один человек умрёт в результате экспе-римента, – то тогда последствия этого эксперимента для здоровья и безопас-ности нельзя назвать пренебрежимо малыми. В нашем случае, когда мы име-ем дело с малыми рисками огромной катастрофы, мы не можем прямо ис-пользовать эту меру: эксперимент с малым риском скорее всего не приведёт к человеческим смертям, в том смысле, что это является наиболее вероятным исходом. Однако мы можем вычислить другую, связанную с этим величину: математическое ожидание числа человеческих смертей. Математическое ожидание числа человеческих смертей в результате катастрофы, разрушаю-щей Землю, составляет Ed = P(catastrophe) •N, где N ; 6•109 людей, состав-ляющих нынешнюю человеческую популяцию. Итак, если мы примем Ed в качестве правильной меры серьёзности риска – и в следующей главе мы объ-ясним, почему мы это должны сделать, то тогда любой риск, не удовлетво-ряющий требованию, чтобы

P(catastrophe) <  1.6 • 10-10 (1),

 не является пренебрежимо малым. Что касается приведённых выше оценок, то ни оценка DDH не обеспечивает того, чтобы условие (1) выполня-лось, ни вторые и трети оценки BJSW. Консервативная оценка BJSW, осно-ванная на выживании Луны (Случай 1), подходит ближе всего к этой оценке, но всё же не дотягивает с коэффициентом 1/8 – то есть в этом случае вероят-ность причинить человеческую смерть, равная 1/8, считается пренебрежимо малой.
Если проводить сравнение в терминах математического ожидания, главная (более узкая) граница DDH означает, что математическое ожидание числа человеческих жертв, вызванных экспериментами на RHIC в течение 10 лет, не превысит 120 человек. Рассматриваемая таким образом эта границы вовсе не выглядит адекватно гарантирующей безопасность.

VII. ЯВЛЯЕТСЯ ЛИ МАТЕМАТИЧЕСКОЕ ОЖИДАНИЕ ЧИСЛА ЖЕРТВ РЕЛЕВАНТНОЙ МЕРОЙ ИЗМЕРЕНИЯ РИСКА?

Вероятно, возможны возражения в том духе, что приведённые выше вычисления вводят в заблуждение. В конце концов, границы рисков DDH дают настолько малые значения вероятности, что ими можно было бы пре-небречь в большинстве обычных условий. Большинство из нас равнодушно воспринимает риск смерти в 2•10**(;8): риск для типичного гражданина США погибнуть от атаки акулы в течение года равен примерно такой же величине. Перевод границы риска в математическое ожидание числа жертв заставляет эту величину казаться значительной. Но резонно ли использовать ожидаемое число жертв как меру безопасности границы рисков? В действи-тельности, в следующей главе мы покажем, что использование одной только величины Ed всё равно приводит к значительной недооценки рисков. Но в начале рассмотрим, действительно ли требование Ed < 1 даёт осмысленную верхнюю границу пренебрежимо малого риска, в предположении, что мы согласны, что неизбежная смерть одного человека не есть пренебрежимо малая величина. Я полагаю, что большинство экспертных оценок согласятся с этим требованием по нижеследующим причинам. Во-первых, любой согла-сится, что при выполнении любого анализа рисков, нам нужна не просто вероятность, но цена или ожидаемая полезность различных исходов: 10-3 шанс потерять один доллар лучше, чем 10-3 шанс потерять миллион долларов и т. д. Во-вторых, фундаментальным принципом анализа рисков является то, что в нормальных условиях рациональные люди стремятся уйти от риска. Если X является случайным процессом, чьи возможные исходы X(i) имеют вероятность p(i), и если V(x(i)) ценность для общества исхода x(i), то тогда V (X) для одного запуска процесса X обычного полагается равной

V (X) ; sum p(i) •V (x(i)) для всех i (2)

Ценность нежелательных исходов, разумеется, является отрицатель-ной: мы полагаем ;V (x(i)) как ценность x(i).
Второй принцип состоит в том, что функция ожидаемой полезности является вогнутой. В отношении цены утраты человеческих жизней это оз-начает, что цена для общества утраты N жизней по крайней мере в N раз больше цены одной жизни: если xN и x1 являются двумя событиями, то тогда

V (xN) ; NV (x1)                (3)

Принципы неприятия риска и вогнутой кривой полезности объясня-ют, например, то, почему часто является рациональным купить страховку, несмотря на то, что в среднем страховые компании оказываются в плюсе, а пользователи – в убытке. Подобным образом, это объясняет, почему инве-сторы почти повсеместно требуют более рискованных инвестиций, предпо-лагающих, в качестве компенсации более высокие доходы. Рассматривая случайный процесс X, который с вероятностью 2•10-8 убивает 9•109 людей и с вероятностью (1-2•10-8 ) не убивает никого, мы можем обнаружить, что эти принципы, взятые вместе, означают, что шансы в 2•10-8 убить 9•109 людей по крайней мере так же плохи, как однозначное убийство 120 человек.
В общем, чтобы продемонстрировать, что риск является пренебре-жимо малым, мы должны показать, что Ed значительно меньше единицы – а насколько именно меньше, зависит от того, насколько мы неприемлем риск, когда речь идёт о глобальной катастрофе. Ни границы DDH, ни BJSW не удовлетворяют этому критерию. Говорить, что эти границы являются «твёр-дыми и безопасными» или «гарантирующими комфортную погрешность» является, согласно этому анализу, просто некорректным. Подобным же образом, для того, чтобы продемонстрировать, что риск является приемлемым, является необходимым (но не необходимым и достаточным) показать, что Ed достаточно мало, чтобы уверенность в том, что этот эксперимент убьёт Ed людей, была бы приемлема. Иначе говоря, если является неприемлемым, что некий эксперимент приведёт к потере наверняка Ed жизней, то тогда и соответствующая граница риска является неприемлемой. Предположим, гипотетически, что мы знаем, что эксперимент на RHIC наверняка убьёт точно N людей (и не более). Какое значение было бы приемлемым? Ответы могут отличаться, но я полагаю, что большинство из них будет < 10 или в районе. В частности, я думаю, что очевидно, что RHIC не получил бы политической поддержки, если бы было бы известно наверняка, что он убьёт точно 120 человек: это бы считалось неприемлемо высокой ценой. Из дискуссий в этой секции следует, что риск глобальной катастрофы в соответствии с границей риска DDH будет, по крайней мере, в той же самой степени неприемлемым. И хотя наблюдения, сделанные в этой секции, являются элементарными, стоит отметить, что управляющий совет ЦЕРН не признал их действительности. Реакция Альваро де Рихула (Alvaro de Rujula), главы управляющего совета, точно выражена его мнением, процитированным в New Scientist [15], о том, что «абсурдно» брать вероятностную границу риска и умножать её на население всей Земли. Я рекомендую тщательно обдумать этот комментарий каждому, кто склонен безоговорочно верить экспертным оценкам в области анализа риска тех учёных, которые выбраны организациями для обоснования безопасности их экспериментов.

VIII. СРАВНЕНИЕ С СУЩЕСТВУЮЩЕЙ ПРАКТИКОЙ
УПРАВЛЕНИЯ РИСКАМИ.

Границы рисков DDH and BJSW были предложены и обсуждались в статьях DDH [2] и BJSW [1], в заявлении директора Брукхавена Джона Мар-бургера [12], и в комментариях Глэшоу и Уилсона [13]. Ни в одной из этих дискуссий не были сделаны сравнения с критериями риска и процедурами оптимизации, применяемыми в других потенциально опасных областях дея-тельности. Это весьма неудачно, так как сравнение рисков часто весьма про-ясняют ситуацию, и в данном случае показывает, что рассмотрение самих по себе границ рисков как адекватных, в значительной мере не соответствовало бы по крайней мере некоторым общепринятым способам управления рисками. Например, Национальный Совет по Радиологической Защите Великобритании требует, чтобы риск серьёзного вреда здоровью, связанный с хранилищем твёрдых ядерных отходов, должен быть всегда ограничен сверху величиной 10-5 в год; что процедуры по оптимизации этого риска должны продолжаться, пока риск не снизится до 10-6 в год; и что риск маловероятных природных событий должен быть отдельно ограничен сверху величиной 10-6 в год [16]. Эти значения риска относятся критической группе людей, от единиц до сотен числом, чьи привычки или место жительства в наибольше степени подвергают их риску. Вполне типично то, что события, риск которых здесь ограничен, имеют ожидаемое число жертв менее, чем 10 человек. Короче говоря, согласно установленной практике оценки радиационных рисков, является неприемлемым создавать риск смерти примерно пяти человек больший, чем 10-6.
Приведённые в этой секции аргументы о неприемлемости риска по-казывают, что последовательная политика в отношении рисков катастрофы должна рассматривать риск гибели человеческой популяции, больший, чем 10-15 как неприемлемый. Приемлемая граница риска, следовательно, должна иметь P(catastrophe) < 10-15 в год.




IX. ЦЕННОСТЬ БУДУЩИХ ЧЕЛОВЕЧЕСКИХ ЖИЗНЕЙ.

Приведённая выше дискуссия рассматривала только ожидаемый ущерб в терминах немедленного числа жертв, пренебрегая другими видами ущерба, перечисленными ранее.  Эти виды ущерба очень трудно оценить количественно. (Какова ценность остатка биосферы за исключением челове-ческой популяции? Какую ценность мы приписываем нашей памяти об исто-рическом прошлом?) Однако наименее спорной является возможность при-писать значимую и исчислимую ценность одной из составляющих будущего ущерба – а именно, утрате будущих поколений – путём оценки числа буду-щих человеческих жизней, которые никогда не станут реальностью, если планета будет разрушена в ближайшем будущем. Эти рассуждения не могут быть продолжены без рассмотрения двух весьма сложных вопросов: должны ли мы оценивать жизнь наших потомков так же высоко, как свою собствен-ную жизнь? И можем ли мы сказать что-нибудь осмысленное о вероятной судьбе человечества в течение миллиарда (или более) лет, которые осталось существовать Земле? В отношении первого вопроса моим собственным отве-том является «да», частично потому что я не вижу никаких оснований пред-почитать неизвестного мне современника неизвестному мне потомку, и час-тично потому, что наши жизни имеют ценность именно потому, что они яв-ляются частью продолжающейся человеческой истории. Эти взгляды нахо-дят определённую поддержку в современной стратегии: Национальный ко-митет по радиобиологической защите Великобритании, цитированный выше, также явным образом утверждает, что те, кто живут в любой момент времени в будущем должны получать уровень защиты по крайней мере эквивалентный тому, который даётся тем, кто живёт сейчас. Что же касается футурологии, то здесь, очевидно, столько неизвестных, что попытки детального анализа выглядят бессмысленными. Я могу предложить только грубые вычисления, которые очевидным образом уязвимы для критики, но, по крайней мере, предлагают начальную точку для дискуссии. Оптимистично предположим, что человечество имеет разумные шансы прожить (в некоторой форме) в течение всего времени существования Земли. Предположим также, что есть разумные шансы так организовать жизнь, что суммарное глобальное качество жизни будет, по крайней мере, на том же уровне, как сегодня, и население Земли будет примерно соответствовать современному в округлённых числах, то есть около 1010. И предположим, что мы пренебрегаем возможностью того, что продолжительность человеческой жизни вырастет за пределы 102, на том основании, что это, вероятно, не важно: наверное, можно сделать следующее разумное приближение – разумное с учётом неопределённости во всей дискуссии – а именно рассматривать полное число человеко-лет, так что 700 лет оказываются равными семи столетним жизням. Придерживаясь консервативной точки зрения, пренебрежём также возможной миграцией людей на другие планеты в некоторый  момент в будущем, что, (а) по-видимому, привело бы к огромному увеличению человеческой популяции в течение следующего миллиарда лет и (б) позволило бы человечеству прожить более, чем миллиард лет. Тогда цена разрушения Земли сегодня составит 1010-2+9 = 1017 жизней, или в 107 раз больше, чем цена, вычисленная ранее. Включение этого фактора в наши предыдущие вычисления, выведенные на основе границ риска NRPB будет означать, что приемлемой границей риска является

P(catastrophe) <10-22 в год.        (5)

Это дальнейшее ужесточение границ риска является противоречи-вым со всех точек зрения. Один из возможных вопросов: рассмотрение утра-ты будущих жизней в качестве отдельного ущерба поднимает вопрос: ущерб для кого? Для потенциальных будущих поколений, лишённых возможности существовать? Для нас, лишённых наследников и потомков? Я думаю, и то, и другое, – но я понимаю, что обе линии рассуждений сталкиваются с опреде-лёнными трудностями.
Другой подход к этому вопросу, состоит в том, чтобы задаться дру-гим гипотетически вопросом: будет ли гораздо худшим исходом, если все мы (или вся жизнь на Земле) будет убита, чем то, что почти все из нас (или почти вся жизнь на Земле) будет убита, предполагая, что во втором случае планета останется пригодной для жизни? Ответ «да» на этот вопрос предполагает приписание высокой относительной ценности будущим жизням, поскольку число немедленных жертв будет почти то же самое в обоих случаях. Те, кто выберут ответ «нет», вероятно, не находят убедительными никакие аргу-менты, приведённые в этой секции. Моё впечатление состоит в том, что этот вопрос не достаточно широко обсуждался для того, чтобы можно было ска-зать, какой из ответов отражает общее мнение. В настоящий момент, следо-вательно, какого бы вы взгляда на ценность будущих жизней не придержи-вались, стоит иметь в виду, что взгляды большинства, на основе которых политика в отношении катастрофических рисков должна основываться, мо-гут оказаться противоположными.

X. НЕКОТОРЫЕ КОНТРАРГУМЕНТЫ

Вычисления и сравнения являются необходимой частью рационали-зации политики в отношении рисков и для высвечивания нестыковок. Однако не существует общепринятого набора принципов, на основании которого мы можем определять политику в каждом конкретном случае. Политика не является подразделением математики. Приведённые выше аргументы легко могут быть подвергнуты критике на многих основаниях. Далее я рассмотрю некоторые контраргументы, которые были предложены в ходе дискуссий.

• Один очевидный контраргумент состоит в том, что рассмотренные выше рассуждения рассматривают только возможный ущерб от катастрофи-ческого риска, но не преимущества, обретаемые благодаря принятию этого риска. По этой причине они склонны давать слишком пессимистические предсказания. В конце концов, никакой риск не стоит того, что бы ему под-вергаться, если нет никаких преимуществ. Без анализа затраты-выгоды нель-зя придти ни к какому разумному заключению. Это отчасти справедливая критика, но только отчасти. Следует подчеркнуть, что это не относится к рассуждениям в главе VI, поскольку использование числа смертей в качестве меры безопасности оправдано с помощью сравнения подразумеваемых рас-кладов затрат-выгод в выводах, по которым имеется общее согласие. Мне кажется несомненным, что, несмотря на ценность экспериментов RHIC, эти эксперименты были бы не допущены к исполнению, если бы было точно из-вестно (например, по причине радиационного заражения) что погибнет точно 120 человек среди всей человеческой популяции. Если с этим согласится, из этого следует, что граница риска DDH является неприемлемо высокой, даже если преимущества RHIC приняты в расчет. С другой стороны, некоторые формы анализа затрат-выигрышей действительно могут предполагать, что требование P(catastrophe) <10-15 в год может быть натянутым. Вероятный немедленный результат экспериментов RHIC – продвижение нашего понимания фундаментальных законов природы – не является пренебрежимым. Более того, возможные выгоды вероятно включают в себя хотя бы некоторую вероятность – возможно маленькую, но значительную в сравнении с 10-15 – некого в настоящий момент неочевидного вклада в открытие, которое будет иметь огромный положительный эффект для будущих человеческих жизней. Проблема предвидения также, конечно, актуальна здесь, поскольку можно вообразить некоторые маловероятные исходы, отличные от катастрофического сценария, но обладающие большим негативным воздействием. Но если придерживаться взгляда, что научный и технический прогресс был в целом благотворным явлением, то маленькая вероятность некой выгоды, которая спасёт или сделает возможными в будущем множество человеческих жизней, является в принципе противовесом маленькой вероятности катастрофы. Здесь важно отметить, что никакие рассуждения о затратах-выгодах не могут обосновать утверждение о том, что риски являются пренебрежимыми. Скорее, они обосновывают решение продолжать эксперименты на RHIC на основании того, что, хотя, возможно, риски и не являются пренебрежимыми, они оправданы ожидаемыми позитивными результатами. Это вовсе не то же самое, что мы пытались доказать в данной статье. И это утверждение может быть, а может и не быть общепринято.
 
• Можно пытаться доказать, что более высокие критерии риска относительно глобальных катастроф, предложенные выше, даже если и являются рациональными теоретически, остаются абсолютно утопическими. Если мы примем их всерьёз и будем пытаться удостовериться в том, что эти критерии выполняются перед любым мероприятием, мы должны будем остановить не только эксперименты на ускорителях, но и множество других видов человеческой активности. Прогресс станет невозможным, жизнь станет безжизненной. Может быть – но я был бы осторожен насчёт слишком лёгкого принятия такого рода пораженчества. Мы начинаем с такого положения дел, при котором границы рисков в 10-6 используются довольно широко, например, в рекомендациях по захоронению твёрдых радиоактивных отходов, цитированных выше. Мне не кажется очевидным, что, при внимательном подходе к проблемам, мы не сможем обеспечить то, что риски катастроф, связанные с конкретными механизмами, будут на много порядков меньше. Наоборот, кажется очевидным, что в некоторых случаях границы рисков катастроф могут быть значительно снижены. Эксперименты на RHIC являются прекрасным примером этого: если бы проблема снижения границ риска была бы принята серьёзно, то дальнейшие теоретические исследования, возможно, совмещённые с дополнительной экспериментальной программой, нацеленной на тщательное тестирование нашего понимания новых физических законов, используемых в экспериментах, до самого проведения экспериментов, могли бы почти наверняка снизить границы рисков очень значительно.
Конечно, это не означает, что избегание рисков является бесплат-ным. Следует признать, что более строгие критерии рисков катастроф могут действительно отложить или отменить по крайней мере некоторые интерес-ные будущие эксперименты. Мне кажется, что мы просто должны признать это как факт жизни. Никто не может оправданно принять точку зрения, кото-рая требует, чтобы любой интересный эксперимент должен был бы быть осуществлён и которая рассматривает любой анализ рисков как упражнение в оправдании этого предрешённого вывода. Человеческая жизнь, как коллек-тивная, так и индивидуальная, является, в конце концов, хрупкой. Наше по-нимание природы является ограниченным, и наверняка есть много опасно-стей, которых мы ещё не знаем. Должная предосторожность является пра-вильной. Мы не должны, в любом случае, полагаться на умозрительные по-строения о последствиях политики, более озабоченной рисками катастроф. Если станет ясно, что по сути невозможно согласовано применять политику в отношении рисков катастрофы, очевидно, что эта политика должна быть переработана. До тех пор, пока тщательно выстроенные доказательства не будут выведены, определяя конкретные примеры проблематичных катастро-фических рисков, кажется преждевременным волноваться.

• Приведённые выше построения относительно критериев риска мо-гут произвести впечатление плохих рекомендаций для политики, поскольку они предполагают, что сохранение человеческих жизней является в некото-ром смысле первоочередной ценностью, относительно которой наши дейст-вия должны оцениваться. В действительности, конечно, мы движимы мно-гими другими ценностями. Лишь немногие люди целиком посвящают себя тому, чтобы увеличить свою ожидаемую продолжительность жизни, напри-мер, широко распространены рискованные удовольствия. Возможно, мы должны принять, что то, что относится к нам, как к личностям, относится к нам и как к виду в целом: беспокойство о слишком маленьких рисках отвле-кает слишком много энергии от вопроса качества нашей жизни. Эта точка зрения вполне оправдана. С другой стороны, текущая политика в отношении рисков имеют тенденцию исчислять ущерб в человеческих жизнях по одной хорошей причине: поскольку конкретно эта ценность выглядит наиболее широко разделяемой и наиболее ценимой, чем все остальные. Невозможно адекватным образом репрезентировать разнообразие индивидуальных цен-ностей, которые мы привносим в любую дискуссию о политике, но эта мера, по общему согласию, является очень важной. Создание широко одобряемой политики относительно рисков вымирания на неком другом базисе потребу-ет установления весьма твёрдого консенсуса о том, каков именно этот базис должен быть. Никакого такого консенсуса в настоящий момент не существу-ет.

• Существует то, что можно назвать аргументом о доминантном рис-ке. Мы сталкиваемся со множеством других рисков вымирания, некоторые из которых являются естественными (крупное столкновение с астероидом), некоторые полностью или частично созданными людьми (глобальная ядер-ная война, катастрофическое вымирание видов в результате человеческого воздействия на глобальную экосистему, катастрофические изменения клима-та в результате воздействия на глобальную окружающую среду). Есть взгляд, состоящий в том, что новый риск является приемлемым, если он меньше, чем существующие риски. Усовершенствованием этого взгляда является та точка зрения, что новый искусственный риск приемлем, только если он меньше уже существующих природных рисков. В двух последующих вариантах этих точек зрения слова «меньше, чем» были заменены словами «очень маленькие в сравнении с». Большое столкновение с астероидом кажется самым значительным природным риском, который может быть разумным образом оценен. Риск столкновения Земли с астероидом диаметром 10 км оценивается в 10-8 в год. [17]. Такое столкновение будет настолько разрушительно, что общепринятая точка зрения состоит в том, что оно приведёт к массовым вымираниям видов, и, весьма вероятно, что мы окажемся одним из вымерших видов. Принимая эту последнюю гипотезу, возможно, по цене ещё одного порядка величины, мы получаем оценку 10-8 -10-9 в год для этого природного риска вымирания. Если следовать рассуждению о «доминантном риске» это приведёт к так называемому «астероидному тесту», согласно которому искусственный риск вымирания является приемлемым, если он меньше, чем 10-9 в год, или согласно более консервативной версии, очень мал в сравнении  с 10-9 .
 Моё впечатление, сложившееся в ходе дискуссий, состоит в том, что многие мыслящие люди находят некоторые версии теории «доминирующего риска» разумными, тогда как другие, не менее мыслящие люди находят этот ход рассуждений совершенно иррациональным. Я разделяю взгляды послед-них. Почему существование одного риска, который может быть пугающе высоким, оправдывает принятие ещё одного легко избегаемого риска, кото-рый, будучи, гораздо ниже, остаётся всё ещё неприемлемо высоким. Неиз-бежные природные риски обычно не считаются оправданием сознательного создания рисков, которые можно было бы избежать, в отношении третьей стороны.
Любой человек, живущий сейчас, почти наверняка умрёт в течение ближайших 120 лет, и почти наверняка умрёт в течение этого промежутка времени от естественных причин, даже если не будет подвергнут никаким другим рискам. Некое индустриальное производство, которое слегка повы-шает естественный уровень смертности, ежегодно убивая 10 000 человек, у которых не было выбора, принимать или нет этот дополнительный риск, не заслужит общественной симпатии за утверждения, что эти дополнительные смерти теряются в шуме в сравнении с естественной смертностью. Другая проблема, связанная с астероидным тестом, состоит в том, что предполагается, что риски вымирания, связанные с астероидом, являются либо непредотвратимыми, либо, теоретически предотвратимыми, но достаточно малыми, чтобы ими можно было пренебречь. В действительности же, астероидная угроза не является непредотвратимой с современной и будущей технологией, и пассивные и активные контрмеры активно рассматриваются. С другой стороны, позвольте мне повторить, что многие люди по-видимому глубоко убеждены той или иной версией аргумента о доминирующем риске. Нет сомнений, что эта проблема заслуживает более тщательной дискуссии, чем дана здесь. Приведённый выше краткий обзор контраргументов не предназначен для того, чтобы опрокинуть «астероидный тест» и подобные критерии, но только чтобы отметить, что имеются серьёзные контраргументы. Я не думаю, что эти критерии сколько-нибудь выражают общую точку зрения. До тех пор, пока не станет ясно, что эти критерии отражают консенсус, они не могут законным образом использоваться для оправдания рисков катастрофы.

XI. ЗАКЛЮЧИТЕЛЬНЫЕ КОММЕНТАРИИ.

Конкретный антропогенный риск вымирания, рассмотренный в этой статье, является гипотетическим, и есть хорошие основания полагать, что действительный риск мал или равен нулю. Однако, как уже отмечалось вы-ше, мы сталкиваемся с другими, несомненно реальными и не обязательно маленькими антропогенными рисками вымирания. Приведённые выше аргу-менты, которые показывают, что подлинная цена вымирания обычно недо-оценивается, очевидно могут применяться и в других случаях. Например, хотя серьезный ущерб, связанный с антропогенным глобальным потеплени-ем широко (хотя и не достаточно широко) принимается, но дополнительный ущерб, ассоциируемый с малым риском действительно катастрофических климатических изменений, судя по всему, не особенно рассматривается. Од-нако может так оказаться, что, при правильном подсчёте, ожидаемый ущерб риска климатической катастрофы будет больше. Подобным же образом, хотя некоторое (но недостаточное) внимание уделяется ущербу, ассоциируемому с утратой биоразнообразия, вызванным человеческим влиянием на окружающую среду, возможный ущерб от риска катастрофического коллапса глобальной экосистемы, судя по всему, повсеместно игнорируется. В этой и других областях, где возможно моделирование, приведённые выше рассуждения означают, что мы должны побуждать и обращать внимание на исследования маловероятных, но не немыслимых катастрофических исходов, и пытаться вычислить риск, который они представляют, вместо того, чтобы концентрироваться только на более вероятных исходах, которые могут быть разрушительными, но не подлинно катастрофическими.

Выражения признательности

Многие друзья, коллеги и эксперты в других областях потратили значительное время и приложили значительные усилия, чтобы помочь мне с подготовкой этой статьи. Я особенно благодарен Clark Chapman за большое количество ценных советов в отношении научных вопросов и проблем управления рисками и за много полезных предложений. Я также очень бла-годарен Andy Baker,  за предоставленные ссылки оценок рисков хранения ядерных отходов; Hans Bethe и Kurt Gottfried, за прояснения истории работ в Лос-Аламосе над проблемами поджигания атмосферы и океана; Guido Altarelli, John Ellis, Jean-Pierre Revol, Jurgen Schukraft и Gavin Salam  за зада-вание правильных вопросов; Conor Houghton и KatinkaRidderbos за очень полезную критику; Richard Binzel, Hans Rickman и David Morrison за полез-ные объяснения рисков метеоритного удара и исследований восприятия рис-ков обществом; Holger Bech Nielsen, за несколько интересных дискуссий о рисках коллайдеров; Francesco Calogero за полезную критику и дискуссии и за предоставление черновика статьи по ссылке [18]. Также очень приятно поблагодарить Stephen Adler, Michael Atiyah, Guido Bacciagaluppi, David Bai-lin, Jon Barrett, John Barrow, Dorothy Bishop, James Blodgett, Charlotte Bonardi, Harvey Brown, Jeremy Butterfield, Joanne Cohn, Jane Cox, Ian Crotty, Matthias D;orrzapf, Fay Dowker, Ian Drummond, Michael Froomkin, Nicolas Gisin, Peter Goddard, Stephen Gratton, Lucien Hardy, Julia Hawkins, Ron Horgan, Tobias Hurth, Simon Judge, Anjali Kumar, Peter Landshoff, Nathan Lepora, Karen McDonald, Jane MacGibbon, David Mermin, Hugh Osborn, Sandu Popescu, Pa-trick Rabbitt, Martin Rees, Stefan Reimoser, Peter Ruback, Paul Saffin, Hugh Shanahan, Graham Shore, Tony Sudbery, John Taylor, Daniel Waldram, Peter West и Toby Wiseman за полезные дискуссии и переписку. Я также хочу под-черкнуть, что те, кого я отблагодарил, не обязательно высказались в под-держку приведённого выше анализа и не обязательно разделяют какие-либо высказанные здесь взгляды. Я благодарю CERN за финансовую и другую помощь, оказанную в ходе этой работы, которая была также поддержана университетским сообществом королевского общества (Royal Society University Research Fellowship) и Советом Объединённого Королевства по физике частиц и астрономии (UK Particle Physics and Astronomy Research Council).

 [1] W. Busza et al., Review of Speculative ’Disaster Scenarios’ at RHIC, archived at www.arxiv.org/abs/hep-ph/9910333v1.
[2] A. Dar et al., Will relativistic heavy ion colliders destroy our planet?, Phys. Lett. B, 470 142-148 (1999); archived at hep-ph/9910471.
[3] E. Konopinski, C. Marvin and E. Teller, Ignition of the Atmosphere with Nuclear Bombs, Los Alamos Laboratory report LA-602. Когда был написан первый черновик этой статьи, эта ссылка была в архиве  и в свободном дос-тупе по адресу http://libwww.lanl.gov/la-pubs/00329010.pdf. Согласно библиотеке Лос-Аламоса, доступ в настоящее время закрыт, в соответствии с директивой национального центра ядерной безопасности. Я полагаю, что это следствие повысившихся норм безопасности после 11 сентября.  .
[4] Pearl Buck, The bomb — the end of the world?, American Weekly, March 8, 1959, pp 8-11.
[5] I am most grateful to Hans Bethe and Kurt Gottfried for this email correspondence.
[6] P. Hut and M. Rees, How stable is our vacuum?, Nature 302, 508-509 (1983).
[7] P. Hut, Is it safe to disturb the vacuum?, Nucl. Phys. A 418, 301c-311c (1984).
[8] R. Jaffe et al., Review of Speculative ’Disaster Scenarios’ at RHIC, archived at www.arxiv.org/abs/hep-ph/9910333v2.Further minor alterations were made for the final published version: Rev. Mod. Phys. 72, 1125-1140 (2000), arc-hived atwww.arxiv.org/abs/hep-ph/9910333v3,
[9] See for example Black Holes at Brookhaven?, letter to the Editors, Scientific American, July 1999, p.5; Big Bang machinecould destroy Earth, article in The Sunday Times (London), 18.7.99, p.26.
[10] Apocalypse Deferred, Scientific American, December 1999.
[11] Black Hole Ate My Planet, New Scientist, 28 August 1999, pp. 24-27.
[12] Committee Report on Speculative “Disaster Scenarios” at RHIC: synopsis, J. Marburger, 6.10.99. Archived for some while at http://www.bnl.gov/bnlweb/rhicreport.html.
[13] S. Glashow and R. Wilson, Taking serious risks seriously, Nature 402, 596-597 (1999).
[14] A. Kent, Problems with empirical bounds for strangelet production at RHIC, hep-ph/0009130.
[15] Gambling with the Earth, New Scientist 7.10.00, p. 4.
[16] Board Statement on Radiological Protection Objectives for the Land-based Disposal of Solid Radioactive Wastes, Documents of the NRPB 3, 3 (1992). Abstract available at http://www.nrpb.org.uk/Absd3-3.htm
[17] C. Chapman and D. Morrison, Impacts on the Earth by asteroids and comets: assessing the hazard, Nature 367, 33-40 (1994).
[18] F. Calogero, Might a laboratory experiment now being planned de-stroy planet Earth?, Interdisciplinary Science Reviews 25,191-202 (2000).













 
ЧАСТЬ 3. ГЛОБАЛЬНЫЕ РИСКИ И НОВЫЕ
ТЕХНОЛОГИИ
;
Eлиезер Юдковски. Искусствен-ный интеллект как позитивный и негативный фактор глобального риска

Eliezer Yudkowsky
Artificial Intelligence as a Positive and Negative Factor in Global Risk
Вышла в 2008 году в сборнике Риски глобальной катастрофы
под редакцией Ника Бострома и Милана Цирковича, Оксфорд.
Перевод: А.В. Турчин. (avturchin@mail.ru)
Разрешено некоммерческое использование перевода.
Док файл с форматированием:
www.avturchin.narod.ru/ai.doc
Оригинал: http://www.singinst.org/reading/corereading


Введение 

До сих пор главной проблемой с искусственным интеллектом (ИИ) было то, что люди слишком рано делали вывод, что они его понимают. Разу-меется, эта проблема не ограничена ИИ. Жак Моно писал: «забавным аспек-том теории эволюции является то, что каждый думает, что понимает её». (Monod, 1974.) Мой отец, физик, жаловался на людей, придумывавших свои собственные физические теории: «интересно знать, почему люди не приду-мывают свои собственные теории химии?» (Но на самом деле это тоже быва-ет.) Тем не менее, проблема является особенно актуальной в области ИИ. Область ИИ имеет репутацию о том, что она даёт огромные обещания и не исполняет их. Большинство наблюдателей считают, что ИИ труден, и это на самом деле так. Но запутанность не происходит из трудности. Трудно сде-лать звезду из водорода, но звездная астрофизика не имеет ужасной репута-ции обещать сделать звезду и затем не смочь. Главным выводом является не то, что ИИ труден, а то, что, по неким причинам, людям очень легко думать, что они знают об Искусственном Интеллекте гораздо больше, чем на самом деле.
В другой моей статье о рисках глобальной катастрофы «Когнитив-ные искажения, влияющие на оценку глобальных рисках», я начинаю с замечания, что немногие люди предпочли бы нарочно уничтожить мир; сце-нарий же уничтожения Земли по ошибке кажется мне очень беспокоящим. Немногие люди нажмут кнопку, которая, как они точно знают, вызовет гло-бальную катастрофу. Но если люди склонны быть абсолютно уверены, что эта кнопка делает нечто, совершенно отличное от её реального действия, это действительно причина для тревоги.
Гораздо труднее писать о глобальных рисках искусственного интел-лекта, чем о систематических ошибках мышления. Ошибки мышления – это твёрдо установленное знание; достаточно процитировать литературу. ИИ – это не твёрдо установленное знание; ИИ относится к передовым исследова-ниям, а не к учебникам. И, по причинам, объясняющимся в следующей главе, проблема глобальных рисков в связи с искусственным интеллектом фактиче-ски не обсуждается в существующей технической литературе.
Я вынужден анализировать тему со своей точки зрения, делать мои собственные выводы и делать всё, от меня зависящее, чтобы доказать их в ограниченном пространстве этой статьи.
Дело не в том, что я пренебрегаю необходимостью цитировать суще-ствующие источники на эту тему, но в том, что таких источников, несмотря на все мои попытки их найти, обнаружить не удалось (на январь 2006 года).
Соблазнительно игнорировать ИИ, потому что это наиболее трудная тема для обсуждения. Мы не можем обратиться к статистическим данным, чтобы вычислить маленькую годовую вероятность катастрофы, как в случае астероидных ударов. Мы не можем использовать вычисления на основании точных, точно подтверждённых моделей, чтобы исключить некие события или установить бесконечно малые верхние границы их вероятности, как в случае возможных физических катастроф. Но это делает катастрофы с ИИ ещё более беспокоящими, а не менее.
Эффекты когнитивных искажений, как оказалось, имеют тенденцию увеличиваться при недостатке времени, при занятости ума или при недостат-ке информации. Это говорит, что чем труднее аналитическая задача, тем важнее избежать или ослабить когнитивные искажения. Поэтому я усиленно рекомендую прочесть статью «Когнитивные искажения, влияющие на оценку глобальных рисках» до прочтения этой статьи (см. 1 часть сборни-ка).

1. Систематическая ошибка, связанная с антропоморфизмом

Когда нечто очень широко распространено в нашей повседневной жизни, мы принимаем это как само собой разумеющееся вплоть до того, что забываем о существовании этого. Представьте себе сложную биологическую адаптацию, состоящую из 10 необходимых частей.
Если каждый из 10 генов независим и имеет 50% частоту в наборе генов – то есть каждый ген имеется только у половины особей вида – тогда в среднем только одна особь из 1024 будет обладать полнофункциональной адаптацией. Меховая шуба не является значительным эволюционным приобретением, пока окружающая среда не начнёт подвергать организмы отбору холодом. Точно так же, если ген Б зависит от гена А, тогда ген Б не имеет значительного преимущества, пока ген А не станет надёжной частью генетического окружения. Сложное, взаимозависимое устройство должно быть у всех половым образом воспроизводящихся видов; оно не может развиться в противном случае. (Tooby и Cosmides, 1992.) Одна малиновка может иметь более гладкие перья, чем другая, но у обеих должны быть крылья. Естественный отбор, двигаемый разнообразием, сужает это разнообразие. (Sober, 1984.) В каждой известной культуре люди испытывают грусть, отвращение, ярость, страх и удивление (Brown, 1991), и передают эти эмоции одними и теми же выражениями лица. У нас у всех под капотом один и тот же мотор, хотя мы можем и быть раскрашены разными красками; этот принцип эволюционные психологи называют психическим единством человечества. (Tooby and Cosmides, 1992). Это описание и объясняется, и требуется законами эволюционной биологии.
Антрополог не будет восторженно писать о новооткрытом племени: «Они едят еду! Они дышат воздухом! Они используют инструменты! Они рассказывают друг другу истории!» Мы, люди, забываем, как мы подобны друг другу, живя в мире, который напоминает нам только о наших различи-ях.
Люди научились моделировать других людей, чтобы соревноваться и кооперироваться со своими сородичами. Это было надёжным инструмен-том в мире наших предков, где любой сильный ум, который вам попадался, был тоже человеком. Мы развили способность понимать наших ближних путём эмпатии, помещая себя на их место; для этого то, что моделируется, должно быть похоже на моделирующего. Не удивительно, что люди часто очеловечивают, – то есть ожидают человекоподобных качеств от того, что не является человеком. В фильме «Матрица» (братья Вачовские, 1999) представитель искусственного интеллекта Агент Смит вначале кажется совершенно холодным и собранным, его лицо неподвижно и неэмоционально. Но позже, допрашивая человека Морфеуса, Агент Смит даёт выход свому отвращению к человечеству – и его лицо выражает общечеловеческое выражение отвращения. Опрашивание своего собственного ума работает хорошо, в качестве инстинкта адаптации, когда вам нужно предсказывать других людей.
Но если вы исследуете некий другой процесс оптимизации, – если вы, например, теолог 18 века William Paley – то тогда антропоморфизм – это липучка для мух для неосторожных учёных, столь липкая западня, что нужен Дарвин, чтобы из неё выбраться.
Эксперименты по исследованию антропоморфизма показали, что ис-пытуемые часто антропоморфизируют неосознанно, вопреки своим базовым установкам. Barrett и Keil (1996) провели эксперименты на субъектах, испо-ведовавших веру в неантропоморфные качества Бога – что Бог может быть более чем в одном месте одновременно, или одновременно наблюдать мно-жество вещей. Barrett and Keil предложили этим испытуемым истории, в ко-торых Бог спасает людей от утопления. Испытуемые отвечали на вопросы об историях или пересказывали их своими словами, таким образом, что это предполагало, что Бог был только в одном месте в одно время и выполнял задачи последовательно, а не параллельно. К счастью для целей нашего исследования, Barrett и Keil в другой группе использовали в прочих отношениях аналогичные истории о суперкомпьютере по имени "Uncomp". Например, чтобы изобразить свойство всезнания, говорилось, что сенсоры Uncomp’а покрывают каждый квадратный сантиметр земли, и никакая информация не теряется. Испытуемые в этих условиях всё равно демонстрировали сильный антропоморфизм, хотя и значительно меньший, чем в «группе Бога». С нашей точки зрения, главным результатом является то, что хотя люди сознательно полагали ИИ не подобным человеку, они по-прежнему представляли себе такие сценарии, как если бы ИИ был человекоподобным (хотя и не настолько человекоподобным, как Бог).
Ошибка антропоморфизма подкрадывается незаметно: она происхо-дит без нарочного намерения, не осознанно и вопреки очевидному знанию.
В эпоху бульварной научной фантастики обложки журналов часто изображали монструозного инопланетянина – собирательно известного как жукоглазый монстр (ЖГМ) – тащащего привлекательную полуобнажённую женщину. Может показаться, что художник верил, что негуманоидный ино-планетянин, с полностью другой эволюционной историей, может сексуально желать женщину-человека. Такие ошибки происходят не из-за того, что люди явным образом рассуждают подобно следующему: «Все умы, скорее всего, возбуждаются похожим образом, и поэтому, вероятно, ЖГМ находит женщину-человека сексуально привлекательной». Скорее, художник просто не задался вопросом о том, действительно ли гигантский жук воспринимает женщин-людей привлекательными. Наоборот, полуобнажённая женщина является сексуальной – изначально, потому что это неотъемлемо присущее ей свойство. Те, кто делают эту ошибку, не думают об уме насекомообразно-го существа; они концентрируются на задранных одеждах женщины. Если бы одежды не были задраны, женщина была бы менее сексуальна, но ЖГМ этого не понимает. (Это частный случай глубокой, запутывающей и чрезвы-чайно распространённой ошибки, которую E. T. Jaynes назвал ошибочно-стью, связанной с умственной проекцией (mind projection fallacy). (Jaynes and Bretthorst, 2003.) Jaynes, специалист по байесовской теории достоверности, определил «ошибочностью, связанную с умственной проекцией» как ошибку, связанную с тем, что состояния знания перепутаны со свойствами объектов. Например, фраза «мистический феномен» подразумевает, что мистичность – это свойство самого феномена. Если я неосведомлен относительно некого феномена, то это факт о моём состоянии сознания, а не о самом феномене.)
Людям нет нужды понимать, что они антропоморфизируют (или хо-тя бы понимать, что они вовлечены в сомнительный акт предсказания со-стояния чужого ума) для того, чтобы антропоморфизм повлиял на мышле-ние. Когда мы пытаемся рассуждать о чужом сознании, каждый шаг рассуж-дений может быть соединён с предположениями, настолько очевидными для человеческого опыта, что мы обращаем на них внимания не больше, чем на воздух или гравитацию. Вы возражаете журнальному иллюстратору: «Не является ли более правдоподобным, что огромный жук-самец будет сексу-ально желать огромных жуков-самок?» Иллюстратор немного подумает и скажет: «Но даже если бы инопланетные инсектоиды начинали с любви к твёрдым экзоскелетам, после того, как инсектоид повстречает женщину-человека, он вскоре поймёт, что у неё гораздо более мягкая и нежная кожа. Если у инопланетян имеется достаточно продвинутая технология, они могут генетически изменить себя, чтобы любить мягкую кожу, а не твёрдые экзо-скелеты».
Это – ошибочность-один-шаг-назад (fallacy-at-one-remove). После того, как указано на антропоморфичность мышления инопланетянина, жур-нальный иллюстратор делает шаг назад и пытается представить умозаключения инопланетянина как нейтральный продукт его мышления. Возможно, продвинутые инопланетяне могут перестроить себя (генетически или как-то иначе), чтобы любить мягкую кожу, но захотят ли они? Инопланетянин-инсектоид, любящий жёсткие скелеты, не будет хотеть переделать себя, чтобы любить мягкую кожу вместо этого, – кроме как в случае, если естественный отбор каким-то образом породит в нём определённо человеческое чувство метасексуальности. При использовании длинных сложных цепочек рассуждений в поддержку антропоморфических выводов, каждый шаг таких рассуждений является ещё одной возможностью, чтобы прокралась ошибка.
И ещё одной серьёзной ошибкой является начинать с вывода и ис-кать кажущуюся нейтральной линию рассуждений, ведущую к нему; это называется рационализацией. Если первое, что приходит на ум, при вопросе на эту тему, это образ инсектоида, преследующего женщину-человека, то тогда антропоморфизм является первопричиной этого восприятия, и никакое количество рационализации не изменит этого.
Любой, кто бы хотел уменьшить систематическую ошибку антропо-морфизма в себе, должен был бы изучить эволюционную биологию для практики, желательно, эволюционную биологию с математическими выклад-ками. Ранние биологи часто очеловечивали естественный отбор – они пола-гали, что эволюция будет делать тоже, что и они сами; они пытались пред-сказать эффекты эволюции, ставя себя на её место. В результате получался по большей части нонсенс, который начали изгонять из биологии только в поздние 1960-е годы, например, это делал Williams (1966). Эволюционная биология предлагает обучение на основе как математики, так и конкретных примеров, помогающие выбить из себя ошибку очеловечивания.

 
1.1: Широта пространства возможных устройств ума

Эволюция жёстко сохраняет некоторые структуры. В той мере, как развитие других генов опирается на ранее существовавший ген, этот ранний ген полностью цементируется: он не может мутировать, не нарушая множе-ство форм адаптации. Гомеотические (Homeotic) гены – гены, контролирую-щие развитее структуры тела эмбриона – говорят множеству других генов, когда активироваться. Мутация гомеотического гена может привести к тому, что эмбрион плодовой мушки разовьётся нормально, за исключением того, что у него не будет головы. В результате гомеотические гены столь точно сохраняются, что многие из них одни и те же у человека и плодовой мушки – они не изменились со времён последнего общего предка человека и насеко-мых. Молекулярные механизмы синтеза АТФ по существу одни и те же в митохондриях животных, хлоропластах растений и у бактерий; синтез АТФ не претерпел значительных изменений с развития эукариотов 2 миллиарда лет назад.
Любые два устройства ИИ могут быть менее похожи друг на друга, чем вы и садовый цветок петуния.
Термин ИИ относится к гораздо большему пространству возмож-ностей, чем термин "Homo sapiens". Когда мы говорим о разных ИИ, мы го-ворим об умах вообще, или о процессах оптимизации вообще. Представьте себе карту возможных устройств ума. В одном углу маленький кружочек означает всех людей. И вся эта карта находится внутри ещё большего про-странства, пространства процессов оптимизации. Естественный отбор соз-даёт сложные функционирующие механизмы не привлекая процесса дума-ния; эволюция находится внутри пространства процессов оптимизации, но за пределами пространства умов.
Этот гигантский круг возможностей исключает антропоморфизм как законный способ мышления.


2: Предсказание и устройство

Мы не можем спрашивать наш собственный мозг о нечеловеческих процессах оптимизации – ни о насекомоглазых монстрах, ни о естественном отборе, ни об искусственном интеллекте. И как же мы будем продолжать? Как мы можем предсказать, что ИИ будет делать? Я нарочно задаю этот вопрос в форме, которая делает его труднообрабатываемым. При такой постановке проблемы невозможно предсказать, будет ли произвольная вычислительная система выполнять хоть какие-нибудь функции ввода-вывода, включая, например, простое умножение (Rice, 1953.) Так как же возможно, что компьютерные инженеры могут создавать микросхемы, которые надёжно выполняют вычисления? Потому что люди-инженеры нарочно используют те проекты, которые они могут понять.
Антропоморфизм заставляет людей верить, что они могут делать предсказания, не имея никакой другой информации, кроме как о самом факте «интеллектуальности» (intelligence) чего-то – антропоморфизм продолжает генерировать предсказания, не взирая ни на что, в то время как ваш мозг ав-томатически ставит себя на место этой самой «интеллектуальности». Это может быть одним из факторов вызывающей замешательство истории ИИ, которая происходит не из трудности ИИ как такового, но из загадочной лёг-кости обретения ошибочной веры в то, что некий данный дизайн ИИ срабо-тает.
Для того, чтобы сделать утверждение о том, что мост выдержит вес автомобилей в 30 тонн, гражданские инженеры имеют два оружия: выбор изначальных условий и запас прочности для безопасности. Им нет необхо-димости предсказывать, может ли выдержать вес в 30 тонн произвольная конструкция, но только проект данного конкретного моста, относительно которого они делают это заявление. И хотя это показывает с лучшей стороны инженера, который может вычислить точный вес, который мост может выдержать, также приемлемо вычислить, что мост выдержит автомобили не менее, чем в 30 тонн – хотя для того, чтобы доказать это расплывчатое утверждение строго, может потребоваться большая часть того теоретического понимания, которое входит в точное вычисление.
Гражданские инженеры придерживаются высоких стандартов в предсказании того, что мосты выдержат нагрузку. Алхимики прошлого при-держивались гораздо более низких стандартов в предсказании того, что по-следовательность химических реагентов трансформирует свинец в золото. Какое количество свинца в какое количество золота? Каков причинный ме-ханизм этого процесса? Вполне понятно, почему исследователь-алхимик хотел золото больше, чем свинец, но почему данная последовательность реагентов превращает свинец в золото, а не золото в свинец или свинец в воду?
Ранние исследователи ИИ полагали, что искусственная нейронная сеть из слоёв пороговых устройств, обученная посредством обратного рас-пространения, будет «интеллектуальной» (intelligent). Использованное при этом мышление, обусловленное результатом (wishful thinking), ближе к ал-химии, чем к гражданском строительству. Магия входит в список человече-ских универсалий Дональда Брауна (Brown, 1991); наука – нет. Мы инстинк-тивно не понимаем, что алхимия не работает. Мы инстинктивно не различа-ем строгие рассуждения и хорошее рассказывание историй. Мы инстинктив-но не замечаем ожидание положительных результатов, висящее в воздухе. Человеческий вид возник посредством естественного отбора, функциони-рующего посредством неслучайного сохранения случайных мутаций.
Один из путей к глобальной катастрофе – когда кто-то нажимает кнопку, имея ошибочное представление о том, что эта кнопка делает – когда ИИ возникнет посредством подобного сращения работающих алгоритмов, с исследователем, не имеющим глубокого понимания, как вся система работа-ет. Нет сомнения, они верят, что ИИ будет дружественным, без ясного пред-ставления о точном процессе, вовлечённом в создание дружественного пове-дения, или какого-либо детального понимания того, что они имеют в виду под дружественностью. Несмотря на то, что ранние исследователи ИИ имели сильно ошибочные, расплывчатые ожидания об интеллектуальности своих программ, мы можем представить, что этим исследователям ИИ удалось сконструировать интеллектуальную программу, но они имели сильно ошибочные расплывчатые ожидания относительно дружественности своих программ.
Не знание того, как сделать дружественный ИИ, не смертельно само по себе, в том случае, если вы знаете, что вы не знаете. Именно ошибочная вера в то, что ИИ будет дружественным, означает очевидный путь к глобаль-ной катастрофе.


3: Недооценка силы интеллекта

Мы склонны видеть индивидуальные различия вместо общечелове-ческих качеств. Поэтому, когда кто-то говорит слово «интеллект» (intelligence), мы думаем скорее об Эйнштейне, чем о людях. Индивидуаль-ные различия в человеческом интеллекте имеют стандартное обозначение, известные как G-фактор Шпеермана (Spearman's G-factor), это – спорная ин-терпретация твёрдых экспериментальных фактов о том, что различные тесты интеллекта высоко коррелируют друг с другом, а также с результатами в реальном мире, такими, как суммарный доход за жизнь. (Jensen, 1999.) G-фактор Шпеермана является статистической абстракцией индивидуальных различий в интеллекте между людьми, которые, как вид, гораздо более интеллектуальны, чем ящерицы. G-фактор Шпеермана выводится из миллиметровых различий в высоте среди представителей вида гигантов.
Мы не должны путать G-фактор Шпеермана с общечеловеческой ин-теллектуальностью, то есть нашей способностью обрабатывать широкий круг мыслительных задач, непостижимых для других видов. Общая интел-лектуальность – это межвидовое различие, комплексная адаптация и обще-человеческое качество, обнаруживаемое во всех известных культурах. Воз-можно, ещё нет академического согласия об интеллектуальности, но нет со-мнения в существовании, или силе, такой вещи, которая должна быть объяс-нена. Есть что-то такое в людях, что позволяет нам оставлять следы ботинок на Луне.
Но слово «интеллектуальность» обычно вызывает образы голодаю-щего профессора с IQ в 160 единиц и миллиардера-главу компании с IQ едва ли в 120. В действительности, существуют различия в индивидуальных спо-собностях помимо качеств из «книжек про карьеру», которые влияют на от-носительный успех в человеческом мире: энтузиазм, социальные навыки, музыкальные таланты, рациональность. Отметьте, что каждый из названных мною факторов является когнитивным. Социальные навыки присущи мозгу, а не печени. И – шутки в сторону – вы не обнаружите много глав компаний, ни даже профессоров академии, которые были бы шимпанзе. Вы не обнаружите много ни прославленных мыслителей, ни художников, ни поэтов, ни лидеров, ни опытных социальных работников, ни мастеров боевых искусств, ни композиторов, которые были бы мышами. Интеллектуальность – это ос-нование человеческой силы, мощь, которая наполняет другие наши искусст-ва.
Опасность перепутать общую интеллектуальность с g-фактором со-стоит в том, что это ведёт к колоссальной недооценки потенциального воз-действия ИИ. (Это относится как к недооценке потенциально хороших воз-действий, равно как и плохих воздействий.) Даже фраза «трансгуманистиче-ский ИИ» или «искусственный суперинтеллект» по-прежнему может созда-вать впечатление о «ящике с книгами как сделать карьеру»: ИИ, который реально хорош в когнитивных задачах, обычно ассоциируется с «интеллек-туальностью», подобной шахматам или абстрактной математике. Но не со сверхчеловеческой убедительностью, или со способностью гораздо лучше, чем люди, предсказывать и управлять человеческими институтами, или не-человечески умом в формулировании длительных стратегий. Так что, может, нам следует подумать не об Эйнштейне, а о политическом и дипломатиче-ском гении 19 века Отто фон Бисмарке? Но это только малая часть ошибки. Весь спектр от деревенского идиота до Эйнштейна, или от деревенского идиота до Бисмарка, уменьшается в маленькую точку на отрезке между амё-бой и человеком.
Если слово «интеллектуальность» ассоциируется с Эйнштейном, а не с людьми, то может показаться осмысленным заявление, что интеллектуальность не имеет отношения к ружьям, как если бы ружья росли на деревьях. Может показаться осмысленным заявление о том, что интеллектуальность не имеет ничего общего с деньгами, как если бы мыши использовали деньги. Человеческие существа начинали, не обладая большими активами зубов, когтей, вооружений, или каких-либо других преимуществ, которые были ежедневной валютой для других видов. Если вы взгляните на людей с точки зрения остальной экосферы, не было никакого намёка на то, что мягкие розовые твари в конце концов закроют себя в бронированные танки. Мы создали поле битвы, на котором мы победили львов и волков. Мы не сражались с ними посредством когтей и зубов; у нас было собственное представление о том, что действительно важно. Такова сила творчества.
Винж (Vinge, 1993) уместно замечает, что будущее, в котором суще-ствуют умы, превосходящие человеческие, отличается качественно. ИИ – это не удивительный блестящий дорогой гаджет, рекламируемый в свежайших выпусках технических журналов. ИИ не принадлежит к тому же графику, который показывает прогресс в медицине, производстве и энергетике. ИИ – это не то, что вы можете небрежно добавить в люмпен-футуристический сценарий будущего с небоскрёбами и летающими машинами и нанотехноло-гическими красными кровяными клетками, которые позволяют вам задер-жать дыхание на 8 часов. Достаточно высокие небоскрёбы не могут начать проектировать сами себя. Люди достигли господства на Земле не из-за того, что задерживали дыхание дольше, чем другие виды.
Катастрофический сценарий, произрастающий из недооценки силы интеллекта, заключается в том, что некто создаст кнопку, не достаточно за-ботясь о том, что эта кнопка делает, потому что он не думает, что эта кнопка достаточно сильна, чтобы повредить ему. Или, поскольку недооценка силы интеллекта ведёт к пропорциональной недооценке силы Искусственного Ин-теллекта, то (в настоящая время микроскопическая) группа озабоченных исследователей и поставщиков грантов и отдельных филантропов, занимаю-щихся рисками существованию, не будет уделять достаточно внимания ИИ.
Или широкое поле исследований ИИ не будет уделять достаточно внимания рискам сильного ИИ, и в силу этого хорошие инструменты и твёр-дые установления для Дружественности окажутся недоступными, когда воз-никнет возможность создавать мощные интеллекты.
И также следует заметить – поскольку это тоже влияет на глобаль-ные риски – что ИИ может быть мощным решением для других глобальных рисков, и по ошибке мы можем игнорировать нашу лучшую надежду на вы-живание. Утверждение о недооценке потенциального воздействия ИИ сим-метрично относительно потенциально хороших и потенциально плохих воз-действий. Именно поэтому название этой статьи – «Искусственный интел-лект как позитивный и негативный фактор глобального риска», а не «Гло-бальные риски Искусственного интеллекта». Перспектива ИИ влияет на гло-бальные риски более сложным образом; если бы ИИ был чистой помехой, ситуация была бы проще.

4: Способности и мотивы

Есть один вид ошибочности, часто встречающийся в дискуссиях об ИИ, особенно об ИИ сверхчеловеческих способностей. Кто-нибудь говорит: «Когда технологии продвинутся достаточно далеко, мы будем способны создавать интеллекты, далеко превосходящие человеческие. Очевидно, что размер ватрушки, который вы можете испечь, зависит от вашего интеллекта. Суперинтеллект может создавать гигантские ватрушки – ватрушки, размером с города – боже мой, будущее будет полно гигантских ватрушек!» Вопрос в том, захочет ли суперинтеллект создавать огромные ватрушки. Видение образа ведёт прямо от возможности к реализации, без осознавания необходимого промежуточного элемента – мотива. Следующие цепочки рассуждений, рассматриваемые в изоляции без подтверждающего доказательства, все являются примером Ошибочности Гигантской Ватрушки:
- Достаточно сильный ИИ может преодолеть любое человеческое сопротивление и истребить человечество. (И ИИ решит сделать это.) Поэто-му мы не должны строить ИИ.
- Достаточно сильный ИИ может создать новые медицинские техно-логии, способные спасти иллионы человеческих жизней. (И он решит сде-лать это.) Поэтому мы должны  создать ИИ.
- Когда компьютеры станут достаточно дёшевы, огромное большин-ство работ будет выполняться ИИ более легко, чем людьми. Достаточно сильный ИИ даже будет лучше нас в математике, конструировании, музыке, искусстве и во всех других работах, которые нам кажутся важными (И ИИ решит выполнять эти работы.) Таким образом, после изобретения ИИ, людям будет больше нечего делать, и мы будем голодать или смотреть телевизор.


4.1: Процессы оптимизации

Вышеприведенный разбор ошибочности Гигантской Ватрушки име-ет органически присущий ему антропоморфизм – а именно, идею о том, что мотивы разделимы; подразумеваемое предположение о том, что, говоря о «способностях» и «мотивах», мы разрываем связность реальности. Это удоб-ный срез, но антропоморфический.
Для того, чтобы рассмотреть проблему с более общей точки зрения, я ввёл концепцию процесса оптимизации: системы, которая поражает ма-ленькие цели в большом пространстве поиска, чтобы порождать согласован-ные эффекты в реальном мире.
Процесс оптимизации направляет будущее в определённые регионы возможного. Когда я посещаю удалённый город, мой друг из местных вызы-вается отвезти меня в аэропорт. Я не знаю окрестностей. Когда мой друг вы-езжает на перекрёсток, я не могу предсказать его повороты, ни в последова-тельности, ни по отдельности. Но я могу предсказать результат непредска-зуемых действий моего друга: мы прибудем в аэропорт. Даже если дом моего друга находится в другом месте города, так что моему другу придётся совершить совершенно другую последовательность поворотов, я могу с той же степенью уверенности предсказать, куда мы конце концов прибудем. Не странная ли эта ситуация, научно говоря? Я могу предсказать результат процесса, будучи неспособным предсказать ни один из его промежуточных этапов. Я буду называть область, в которую процесс оптимизации направля-ет будущее, целью оптимизации.
Рассмотрим автомобиль, например, Тойоту Кароллу. Из всех воз-можных комбинаций атомов, которые её составляют, только бесконечно ма-лая часть будет работающим автомобилем. Если вы будете собирать атомы в случайном порядке, много много возрастов вселенной пройдёт, пока вам удастся собрать автомобиль. Малая доля пространства проектов описывает автомобили, которые мы могли бы признать как более быстрые, более эф-фективные и более безопасные, чем Королла. Таким образом, Королла не является оптимальной с точки зрения целей своего конструктора. Но Корол-ла является, однако, оптимизированной, поскольку конструктор должен был попасть в сравнительно бесконечно малую область в пространстве возмож-ных конструкций, только чтобы создать работающий автомобиль, не говоря уже о машине качества Короллы. Вы не можете даже построить эффектив-ную тележку, распиливая доски случайно и сколачивая их по результатам броска монеты. Чтобы достичь такой малой цели в пространстве конфигура-ций, необходим мощный оптимизационный процесс.
Понятие о «процессе оптимизации» является предсказательно по-лезным, поскольку легче понять цель процесса оптимизации, чем его поша-говую динамику. Обсуждение Короллы выше неявно предполагает, что кон-структор Короллы пытался создать «автомобиль», средство транспорта. Это предположение следует сделать явным, но оно не ошибочно и оно очень по-лезно для понимания Короллы.


4.2: Наведение на цель

Есть соблазн спросить, что ИИ будет хотеть, забывая о том, что про-странство умов-вообще гораздо больше, чем малая человеческая точка. Сле-дует сопротивляться соблазну распространить количественные ограничения на все возможные умы. Рассказчики историй накручивают сказки об отда-лённой и экзотичной земле, называемой Будущее, говоря, каким будущее должно быть. Они делают предсказания. Они говорят: «ИИ нападёт на лю-дей с помощью армий марширующих роботов» или «ИИ изобретёт лекарство от рака». Они не предлагают сложных отношений между изначальными ус-ловиями и результатами – так они могли бы потерять аудиторию. Но мы ну-ждаемся в понимании соотношений, чтобы управлять будущим, направляя его в область, приятную человечеству. Если не рулить, мы рискуем попасть туда, куда нас занесёт.
Главный вызов состоит не в том, чтобы предсказать, что ИИ атакует людей с помощью армий роботов, или, наоборот, введёт лекарство от рака. Задача состоит даже не в том, чтобы сделать это предсказание для произ-вольного устройства ИИ. Скорее, задача состоит в том, чтобы выбрать и создать такой процесс оптимизации, чьи позитивные эффекты могут быть твёрдо доказаны.
Я усиленно призываю своих читателей не начинать придумывать причины, почему универсальный процесс оптимизации должен быть друже-ственным. Естественный отбор не является дружественным, ни ненавидит вас, ни оставляет вас в одного. Эволюция не может быть так антропоморфи-зирована, она не работает, как вы.
Многие биологи до 1960-х годов ожидали, что естественный отбор создаст полный набор всех хороших вещей, и выдумывали всевозможные усложнённый причины, почему он должен сделать это. Они были разочаро-ваны, поскольку естественный отбор сам по себе не начинает со знания, что от него хотят приятного человеку результата, и затем не придумывает слож-ные пути, чтобы создать приятные результаты, используя давление отбора. Таким образом, события в природе были результатами совершенно других по своим причинам процессов, чем те, что приходили в голову биологам до 1960-х годов, и поэтому предсказания и реальность расходились.
Мышление, привязанное к цели (wishful thinking), добавляет детали, ограничивает предсказания и таким образом отягощает невозможностью. Как насчёт инженера гражданских сооружений, который надеется, что мост не упадёт? Следует ли инженеру доказывать это тем, что мосты обычно не падают? Но природа сама по себе не предлагает разумных причин, почему мосты не должны падать. Скорее, это инженер преодоляет тяжесть недосто-верности (burden of improbability) посредством специфического выбора, на-правляемого специфическим пониманием. Инженер начинает с намерения создать мост. Затем он использует строгую теорию, чтобы выбрать конст-рукцию моста, которая бы выдерживала автомобили. Затем строит реальный мост, чья структура отражает рассчитанный проект. И в результате реальная структура выдерживает автомобили. Таким образом достигается гармония предсказанных позитивных результатов и реальных позитивных результатов.

5: Дружественный ИИ

Было бы очень здорово, если бы человечество знало, как создать мощный оптимизационный процесс с неким частным результатом. Или, го-воря более общими словами, было бы здорово, если бы мы знали, как создать хороший ИИ (nice AI).
Для того, чтобы описать область знания, необходимого, чтобы взяться за этот вызов, я предложил термин «Дружественный ИИ». Этот тер-мин я отношу не только к самой методике, но также и к её продукту – то есть к ИИ, созданному со специфической мотивацией. Когда я использую термин Дружественный в любом из этих двух смыслов, я пишу его с большой буквы, чтобы избегать путаницы с обычным смыслом слова «дружественный».
Типичная реакция на это людей, которую я часто встречал, заключалась в немедленном заявлении, что Дружественный ИИ невозможен, потому что любой достаточно сильный ИИ сможет модифицировать свой собственный исходный код так, чтобы разорвать любые наложенные на него ограничения.
Первую логическую несообразность, которую вы тут можете отме-тить – это ошибочность Гиганстской Ватрушки. Любой ИИ, имеющий сво-бодный доступ к своему исходному коду, в принципе, будет обладать спо-собностью изменить свой код таким образом, что изменится его цель опти-мизации. Но это не означает, что ИИ имеет побуждение изменить свои соб-ственные побуждения. Я не стану сознательно глотать пилюлю, которая по-будит меня наслаждаться убийствами, потому что я в настоящем предпочи-таю, чтобы мои собратья – люди не умирали.
Но что если я попытаюсь изменить себя и сделаю ошибку? Когда компьютерные инженеры доказывают пригодность чипа – что есть хорошая идея, если в чипе 155 миллионов транзисторов, и вы не можете выпустить патч потом – инженеры используют руководимую человеком и проверяемую машинами формальную проверку. Замечательным свойством формального математического доказательства является то, что доказательство из 10 мил-лиардов шагов в той же мере надёжно, что и доказательство из 10 шагов. Но человеческие существа недостойны доверия в том, чтобы следить за провер-кой из 10 миллиардов шагов; у нас слишком высокие шансы пропустить ошибку. Современные техники доказывания теорем не достаточно умны, чтобы спроектировать и проверить целый компьютерный чип сами по себе – современные алгоритмы испытывают экспоненциальный рост по мере уве-личения пространства поиска. Люди-математики могут доказывать теоремы гораздо более сложные, чем те, что могут осилить современные программы-доказыватели, без того, чтобы быть поверженными экспоненциальным взры-вом. Но люди-математики неформальны и ненадёжны; время от времени кто-то находит ошибку в принятом ранее неформальном доказательстве. Выход состоит в том, что люди-инженеры направляют программы-доказыватели на промежуточные шаги доказательства. Человек выбирает следующую лемму, и сложный доказыватель теорем генерирует формальное доказательство, и простой проверяльщик сверяет шаги. Таким образом современные инженеры создают надёжные механизмы со 155 миллионами независимых частей.
Проверка корректности работы компьютерного чипа требует синер-гии человеческого интеллекта и компьютерных алгоритмов, поскольку сей-час ни того, ни другого недостаточно. Возможно, подлинный ИИ будет ис-пользовать подобную комбинацию способностей, когда будет модифициро-вать свой собственный код – будет обладать как способностью вводить объ-ёмные проекты без того, чтобы потерпеть поражение от экспоненциального роста, так и способностью проверить свои шаги с высокой надёжностью. Это один из путей, которым подлинный ИИ может оставаться познаваемо (knowably) стабильным в своих целях даже после выполнения большого ко-личества самоисправлений.
Эта статья не будет разъяснять приведённую выше идею в деталях. (Также см. Schmidhuber 2003 на связанную с данной тему.) Но следует поду-мать об этом вызове, и изучить его с привлечением наилучших доступных технических данных, до того, как объявлять его невозможным – особенно, если большие ставки зависят от ответа. Неуважительно по отношению к че-ловеческой изобретательности объявлять проблему неразрешимой без вни-мательного и творческого рассмотрения. Это очень сильное заявление: ска-зать, что вы не можете сделать нечто – что вы не можете построить летаю-щую машину тяжелее воздуха, что вы не можете извлечь полезную энергию из ядерных реакций, что вы не можете летать на Луну. Такие заявления яв-ляются универсальными обобщениями, относящимися к любому возможному подходу к решению этой проблемы, который кто-либо придумал или придумает. Требуется всего один противоположный пример, чтобы опро-вергнуть универсальное обощение. Утверждение о том, что Дружественный (или дружественный) ИИ теоретически невозможен, осмеливается отно-ситься к любым возможным устройствам ума и любым возможным процес-сам оптимизации – включая человеческие существа, которые тоже имеют ум, и многие из которых хорошие (nice) и хотят быть ещё лучше. На настоящий момент имеется неограниченное количество расплывчато убедительных аргументов, почему Дружественный ИИ может быть не под силу человеку, и всё же гораздо вероятнее, что проблема разрешима, но никто не соберётся решить её вовремя. Но не следует слишком быстро списывать проблему, особенно учитывая масштаб ставок.


6: Техническая неудача и философская неудача

Бостром (Bostrom, 2001) определяет глобальную катастрофу (existential catastrophe) как такую, которая истребляет возникшую на Земле разумную жизнь или необратимо повреждает часть её потенциала. Мы можем разделить потенциальные ошибки в попытках создания Дружествен-ного ИИ на две неформальные категории, техническую ошибку и философ-скую ошибку. Техническая состоит в том, что вы пытаетесь создать ИИ, и он не работает так, как должен – вы не смогли понять, как работает на самом деле ваш собственный код. Философская неудача заключается в попытке построить неправильную вещь, так что даже если вы достигните успеха, вы всё равно не сможете никому помочь или облагодетельствовать человечест-во. Нет необходимости говорить о том, что одна ошибка не исключает дру-гую.
Граница между двумя случаями тонка, поскольку большинство фи-лософских ошибок гораздо легче объяснить при наличии технического зна-ния. В теории вы должны сначала заявить, что вы хотите, а затем обрисо-вать, как вы это достигните. На практике часто требуется глубокое техниче-ское понимание, чтобы очертить то, что вы хотите.



6.1: Пример философской ошибки

В конце 19 века многие честные и интеллигентные люди выступали за коммунизм, исходя только из лучших побуждений. Люди, которые первы-ми ввели, распространили и усвоили коммунистическую идею (meme) были, по строгому историческому счёту, идеалистами. У первых коммунистов не было предупреждающего примера Советской России. В то время, без пре-имущества знания задним числом, это должно было звучать как весьма хо-рошая идея. После революции, когда коммунисты пришли к власти и были отравлены ею, в игру могли вступить другие мотивы; но это не было пред-сказано первыми идеалистами, несмотря на то, насколько это могло быть предсказуемо. Важно понимать, что автор огромной катастрофы не должен быть злым или особо тупым. Если мы отнесём любую трагедию насчёт зла или особенной глупости, мы посмотрим на себя, правильно обнаружим, что мы не злы и не особенно тупы и скажем: «Но ведь это никогда не случится с нами».
Первые коммунисты думали, что эмпирическим последствием их ре-волюции будет то, что жизнь людей должна улучшиться: рабочие больше не будут работать долгие часы на изнурительной работе и получать за это мало денег. Это оказалось не совсем так, мягко говоря. Но то, что, по мнению первых коммунистов, должно было получится, не сильно отличалось от того, что, по мнению сторонников других политических систем, должно было быть эмпирическим последствием их любимой политической системы. Они думали, что люди будут счастливы. Они заблуждались.
Теперь представим, что кто-то запрограммирует «Дружественный» ИИ на построение коммунизма, или либертарианства, или анархо-феодализма, или любой другой любимой-политической-системы, веря, что это осуществит утопию. Любимые политические системы людей порождают сияющие солнца позитивных эмоций, так что предложение будет казаться действительно хорошей идеей для предлагающего.
Мы можем наблюдать здесь программистскую ошибку на моральном или этическом уровне – скажем, в результате того, что кто-то доверяет себе столь высоко, что неспособен принять в расчет собственную подверженность ошибкам, отказываясь рассмотреть возможность того, что, например, коммунизм может быть ошибочным в конечном счёте. Но на языке байсовской теории решений, существует дополнительный технический взгляд на проблему. С точки зрения теории решений выбор в пользу коммунизма происходит из комбинации эмпирической веры и ценностного суждения. Эмпирическая вера состоит в том, что введение коммунизма приведёт к определённому результату или классу результатов: люди станут счастливее, работать меньше часов и обладать большим материальным богатством. Это, в конечном счёт, эмпирическое предсказание: даже его часть о счастье относится к реальным состояниям мозга, хотя её трудно измерить. Если вы введёте коммунизм, это результат будет или достигнут, или нет. Ценностное суждение состоит в том, что этот результат удовлетворяет или предпочтителен в текущих обстоятельствах. При другой эмпирической вере о действительных последствиях коммунистической системы в реальном мире, решение может претерпеть соответствующие изменения.
Мы можем ожидать, что подлинный ИИ, Искусственный Универ-сальный Интеллект, будет способен изменять свои эмпирические верования. (Или свою вероятностную модель мира и т. д.) Если бы каким-то образом Чарльз Баббадж (Charles Babbage) жил до Николая Копериника, и если бы каким-то образом компьютеры были бы изобретены до телескопов, и каким-то образом программисты той эпохи сконструировали бы Искусственный Универсальный Интеллект, из этого не следует, что ИИ верил бы всегда, что Солнце вращается вокруг Земли. ИИ может преодолеть фактическую ошибку своих программистов, в случае, если программисты понимают теорию умо-заключений лучше, чем астрономию. Чтобы создать ИИ, который откроет орбиты планет, программистам не нужно знать математику Ньютоновской механики, а только математику Байсовой теории вероятности.
Недомыслие программирования ИИ для введения коммунизма, или любой другой политической системы, состоит в том, что вы программируете средства, а не цель. Вы программируете определённые решения без возмож-ности их переработать после обретения улучшенного эмпирического знания о результатах коммунизма. Вы даёте ИИ готовое решение без того, чтобы обучить его, как создать заново (re-evaluate), – на более высоком уровне по-нимания, – исходно ошибочный процесс, который создал это решение.
Если я играю в шахматы против более сильного игрока, я не могу предсказать точно, где мой оппонент сделает ход против меня – если бы я мог предсказать, я бы, по необходимости, был бы так же силён в шахматах сам. Но я могу предсказать конечный результат, а именно выигрыш другого игрока. Я знаю область возможных будущ, куда мой оппонент направляется, что позволяет мне предсказать конец пути, даже если я не могу видеть доро-ги. Когда я нахожусь в наиболее творческом состоянии, это тогда, когда труднее всего предсказать мои действия и легче всего предсказать последст-вия моих действий. (Предполагая, что вы знаете и понимаете мои цели.) Если я хочу сделать игрока в шахматы, превосходящего человека, я должен запрограммировать поиск выигрышных ходов. Мне не следует программировать конкретные шаги, потому что в этом случае шахматный игрок не будет чем-либо лучше меня. Когда я начинаю поиск, я по необходимости жертвую своей способностью предсказать точный ответ заранее. Чтобы получить по настоящему хороший ответ, вы должны пожертвовать своей способностью предсказать ответ, но не своей способностью сказать, каков вопрос.
Такая путаница, как непосредственное программирование комму-низма, вероятно, не соблазнит программиста универсального ИИ, который говорит на языке теории решений. Я бы назвал это философской ошибкой, но обвинил бы в этом недостаток технического знания.


6.2: Пример технической неудачи

«Вместо законов, ограничивающих поведение интеллектуальных машин, мы должны дать им эмоции, которые будут руководить их обучени-ем поведению. Они должны хотеть, чтобы мы были счастливы и процветали, – что есть эмоция, которую мы называем любовью. Мы можем спроектиро-вать интеллектуальные машины так, что их основная, врождённая эмоция будет безусловная любовь ко всем людям. В начале мы можем сделать отно-сительно простые машины, которые научатся распознавать выражения сча-стья и несчастья на человеческом лице, человеческие голоса и человеческий язык жестов. Затем мы можем жёстко привязать результат этого обучения в качестве изначально присущих эмоциональных ценностей более сложным интеллектуальным машинам, позитивно подкрепляемым, когда мы счастли-вы, и негативно – когда несчастливы. Машины могут обучиться алгоритмам приблизительного предсказания будущего, как, например, инвесторы ис-пользуют сейчас обучающиеся машины, чтобы предсказать будущие цены облигаций. Таким способом мы можем запрограммировать интеллектуаль-ные машины обучиться алгоритмам предсказания будущего человеческого счастья, и использовать эти предсказания, как эмоциональные ценности».
 Bill Hibbard (2001), Сверх-интеллектуальные машины (Super-intelligent machines.)
Однажды американская армия захотела использовать нейронную сеть для автоматического обнаружения закамуфлированных танков. Иссле-дователи натренировали нейронную сеть на 50 фотографиях закамуфлиро-ванных танков среди деревьев, и на 50 фото деревьев без танков. Использую стандартные методики контролируемого обучения, исследователи обучили нейронную сеть взвешиванию, которое правильно опознавало тренировоч-ный набор – ответ «да» – для 50 фотография закамуфлированных танков, и ответ «нет» для 50 фотографий леса. Это не гарантировало, ни даже означа-ло, что новые образцы будут классифицированы правильно. Нейронная сеть могла обучиться ста отдельным случаям, которые могли не обобщаться ни на одну новую задачу. Предусмотрительные исследователи сделали в начале 200 фото, 100 фото танков и 100 деревьев. Они использовали только 50 из каждой группы для тренировочного набора. Исследователи запустили в нейронную сеть оставшиеся 100 фото, и без дальнейшей тренировки нейронная сеть распознала все оставшиеся фотографии правильно. Успех подтвердился! Исследователи направили законченную работу в Пентагон, откуда её вскоре вернули, жалуясь, что в их собственной серии тестов нейронная сеть была не лучше, чем случай, в отборе фотографий.
Оказалось, что в наборе данных исследователей фотографии зака-муфлированных танков были сделаны в облачные дни, тогда как фотографии чистого леса были сделаны в солнечные дни. Нейронная сеть обучилась различать облачные и солнечные дни вместо того, чтобы научиться различать закамуфлированные танки от пустого леса. 
Технический провал имеет место, когда код не делает то, что, вы ду-маете, он делает, хотя он четно выполняет то, на что вы его запрограммиро-вали. Одни и те же данные могут соответствовать разным моделям. Допус-тим, что мы обучаем нейронную сеть различать улыбающиеся человеческие лица и отличать их от хмурящихся лиц. Будет ли эта сеть распознавать ма-ленькую картинку смеющегося лица как такой же аттрактор, как и смеющее-ся человеческое лицо? Если ИИ, жёстко фиксированный на таком коде, обре-тёт власть – и Hibbard (2001) говорит о сверхинтеллекте – не закончит ли галактика тем, что будет покрыта малюсенькими молекулярными картинка-ми улыбающихся лиц? 
Эта форма провала особенно опасна, потому что система выглядит работающей в одном контексте, и проваливается при смене контекста. Соз-датели «определителя танков» обучали свою нейронную сеть до тех пор, пока она не начинала правильно распознавать данные, затем проверили сеть на дополнительных данных (без дальнейшего обучения). К несчастью, данные и для обучения, и для проверки содержали предположение, которое относилось ко всей информации, использованной в разработке, но не к ситуациям реального мира, где нейронная сеть была призвана работать. В истории с определителем танков это предположение состояло в том, что танки фотографируются в облачные дни.
Предположим, мы стремимся создать усиливающийся ИИ. Этот ИИ будет иметь фазу развития, когда люди-программисты будут сильнее его – не только в смысле физического контроля над электропитанием ИИ, но в смысле, что люди-программисты умнее, хитрее и более творческие, чем этот ИИ. Мы предполагаем, что в течение фазы развития программисты будут обладать способностью изменять исходный код ИИ без его согласия. После этого момента мы должны полагаться на установленную до того систему целей, потому что, если ИИ заработает достаточно непредсказуемым образом, то он сможет активно сопротивляться нашим попыткам корректировать его – и если ИИ умнее человека, то, скорее всего, он победит.
Попытки контролировать растущий ИИ посредством тренировки нейронной сети, чтобы создать его систему целей сталкиваются с пробле-мой большой смены контекста при переходе от стадии развития ИИ к ста-дии после его развития (postdevelopmental stage). На стадии развития, ИИ может быть только способен создавать реакции, попадающие в категорию «улыбающихся человеческих лиц», решая предоставленные людьми задачи, как задумали его создатели. Вскоре, когда ИИ станет сверхчеловечески ин-теллектуален и создаст свою собственную нанотехнологическую инфра-структуру, он станет способен создавать столь же притягательные для него стимулы, покрывая всю галактику маленькими улыбающимися лицами.
Таким образом, ИИ кажется работающим правильно на стадии раз-работки, но создаёт катастрофические результаты, когда он становится умнее программистов(!)
Есть соблазн подумать: «Но наверняка ИИ будет знать, что это не то, что мы имеем в виду?» Но код не дан ИИ, чтобы он его просмотрел и вернул, если выяснится, что он работает неправильно. Код и есть ИИ. Возможно, приложив достаточно усилий и понимания, мы можем написать код, который следит, чтобы мы не написали неправильный код – легендарная DWIM-инструкция, которая среди программистов означает делай-то-что-я-имею-в-виду. (Do-What-I-Mean. (Raymond, 2003.)) Но требуются усилия, чтобы описать механику работы DWIM, и нигде в предложении Хиббарда нет упоминаний о создании ИИ, который делает то, что мы имеем в виду, а не то, что мы говорим. Современные чипы не выполняют DWIM над своим кодом; это не автоматическое свойство. И если у вас проблемы с самим DWIM, вы пострадаете от последствий. Предположим, например, что DWIM был определён так, чтобы максимизировать удовлетворение программиста от своего кода; когда этот код запустится как сверхинтеллект, он может переписать мозги программиста, чтобы он был максимально удовлетворён этим кодом. Я не говорю, что это неизбежно; я только говорю, что Делай-то-что-я-имею-в-виду – это большая и не тривиальная техническая проблема на пути к Дру-жественному ИИ.


7: Темпы усиления интеллекта

С точки зрения глобальных рисков, одно из наиболее критических обстоятельств в связи с ИИ, это то, что ИИ может усилить свой интеллект чрезвычайно быстро. Очевидная причина подозревать такую возможность – это рекурсивное само-улучшение (Good, 1965) ИИ становится умнее, в том числе умнее в отношении написания внутренней когнитивной функции ИИ, так что ИИ может переписать свою существующую когнитивную функцию, чтобы она работала лучше. Это сделает ИИ ещё умнее, в том числе умнее в отношении задачи переделывания себя, так что он сделает ещё больше улучшений.
Люди по большому счёту не могут улучшать себя рекурсивно. В ог-раниченном объёме мы себя улучшаем: мы учимся, мы тренируемся, мы за-тачиваем свои навыки и знания. В небольшом отношении эти само-улучшения улучшают нашу способность улучшаться. Новые открытия могут увеличить нашу способность делать дальнейшие открытия – в этом смысле знание само себя питает. Но есть более нижний уровень, которого мы даже не коснулись. Мы не переписываем человеческий мозг. Мозг является, в конечном счёте, источником открытий (the source of discovery), и наши мозги сейчас почти такие же, как они были 10 тысяч лет назад.
Похожим образом, естественный отбор улучшает организмы, но процесс естественного отбора не улучшает сам себя – по большому счёту. Одна адаптация может открыть дорогу к дополнительным адаптациям. В этом смысле адаптация питает сама себя. Но даже когда генетический океан (pool) кипит, там всё равно присутствует нижестоящий нагреватель, а имен-но процессы рекомбинации, мутации и селекции, которые сами себя не пере-проектируют. Несколько редких нововведений увеличили скорость эволю-ции самой по себе, например, появление половой рекомбинации. Но даже пол не изменил сущностной природы эволюции: её отсутствие абстрактного интеллекта, её зависимость от случайных мутаций, её слепоту и постепен-ность, её сосредоточенность на частоте аллелей. Точно также появление науки не изменило сущностного характера человеческого мозга: его лимбическое ядро, церебральный кортекс, его префронтальные собственные модели (prefrontal self-models), его характеристическую скорость в 200 ГЦ.
ИИ может переписать свой код с самого начала – он может изменить лежащую в основе динамику процесса оптимизации. Такой процесс оптими-зации будет закручиваться гораздо сильнее, чем эволюционные накапли-вающие адаптации, равно как и человеческие накапливающиеся знания. Главным последствием с точки зрения наших целей является то, что ИИ мо-жет совершить огромный прыжок в интеллектуальности после достижения некого порога критичности.
Часто встречающееся скептическое мнение об этом сценарии, – ко-торый Good (1965) назвал «интеллектуальным взрывом» – происходит из того, что прогресс в области ИИ имеет репутацию очень медленного.
Здесь полезно рассмотреть свободную историческую аналогию об одном неожиданном открытии. (Дальнейшее взято главным образом из Rhodes, 1986.)
В 1933 году лорд Эрнст Резерфорд заявил, что никто не должен ожидать, что когда-нибудь удастся извлечь энергию из распада атома: «Лю-бой, кто искал источник энергии в трансформации атомов, говорил вздор». В те времена требовались дни и недели работы, чтобы расщепить небольшое количество ядер.
Вскоре, в 1942 году, на теннисном корте под Стаг Филдом около университета Чикаго физики строят агрегат в форме гигантской шарообраз-ной дверной ручки из чередующихся слоёв графита и урана, намереваясь запустить первую само-поддерживающуюся ядерную реакцию. За проект отвечает Энрико Ферми.
Ключевым числом для реактора является K,  эффективный фактор умножения нейтронов: то есть среднее значение числа нейтронов из реакции деления, которое вызывает другую реакцию деления. Пока К меньше едини-цы, реактор является субкритическим. При К >=1 реактор должен поддержи-вать критическую реакцию. Ферми рассчитал, что реактор достигнет К=1 при числе слоёв между 56 и 57.
Рабочая группа, руководимая Гербертом Андерсоном, закончила 57 слой в ночь 1 декабря 1942 года. Контрольные стержни – бруски дерева, покрытые поглощающей нейтроны кадмиевой фольгой, – предохраняли реактор от достижения критичности. Андерсон убрал все стержни, кроме одного и замерил радиацию реактора, подтвердив, что реактор готов к цепной реакции на следующий день. Андерсон вставил все стержни, запер их на висячие замки, запер теннисный корт и пошёл домой.
На следующий день, 2 декабря 1942 года, ветреным и морозным Чи-кагским утром, Ферми начал окончательный эксперимент. Все, кроме одно-го, стержни были подняты. В 10:37 Ферми приказал поднять последний кон-тролирующий стержень на половину высоты. Счётчики Гейгера застучали чаще, и самописец дёрнулся вверх. «Это не то, – сказал Ферми, – график дойдёт до вот этой точки и выровняется», – указывая на точку на графике. Через несколько минут самописец дошёл до указанной точки, и не пошёл выше. Через несколько минут Ферми приказал поднять стержень ещё на один фут. Опять радиация усилилась, но затем выровнялась. Стержень подняли ещё на 6 дюймов, затем ещё и ещё.
В 11:30 медленный подъём самописца прервался колоссальным ПА-ДЕНИЕМ – защитный контролирующий стержень, запущенный ионизацион-ным датчиком, активировался и опустился в реактор, который был всё ещё некритичен. Ферми тихо приказал команде сделать перерыв на обед.
В два часа пополудни команда собралась снова, вынула и заперла защитный стержень, и вывела контролирующий стержень на его последнюю позицию. Ферми сделал несколько измерений и вычислений, и затем опять начал процесс подъёма стержня небольшими шагами. В 15:25 Ферми прика-зал поднять стержень ещё на 12 дюймов. «Это должно дать результат», – сказал Ферми. «Сейчас она станет самоподдерживающейся. График будет расти и расти, не выравниваясь».
Герберт Андерсон рассказывает (Rhodes, 1986):
«В начале вы могли слышать звук нейтронного счётчика, щёлк-щёлк. Затем щёлчки стали появляться всё чаще и через некоторое время они слились в рёв; счётчик за ними больше не успевал. Теперь надо было пере-ключаться на графический регистратор. Но когда это было сделано, все уставились во внезапной тишине на возрастающее отклонение пера самописца. Это была значительная тишина. Каждый понимал значительность этого переключения; мы были на режиме высшей интенсивности и счётчики больше не могли справляться с этой ситуацией. Снова и снова шкала самописца должна была сменяться, чтобы подстраиваться под интенсивность нейтронов, которая возрастал всё более и более быстро. Внезапно Ферми поднял свою руку. «Реактор достиг критичности», – объявил он. Никто из присутствующих не имел на этот счёт никаких сомнений».
Ферми дал проработать реактору 28 минут, при скорости удвоения интенсивности нейтронов в две минуты. Первая критическая реакция имела К в 1,0006. Но даже при К=1,0006 реактор был контролируем только потому, что некоторые из нейтронов из деления урана задерживаются – они получаются при распаде короткоживущих продуктов деления. На каждые 100 распадов U235 242 нейтрона испускаются почти мгновенно (0,0001 сек) и 1,58 нейтронов испускаются в среднем через десять секунд. Поскольку среднее время жизни нейтрона ~0,1 секунды, что означает 1200 поколений  за 2 минуты, и время удвоения в 2 минуты, потому что умножение 1,0006 на 1200 примерно даёт 2. Ядерная реакция, являющаяся мгновенно критичной (prompt critical), достигает критичности без вклада отложенных нейтронов. Если бы реактор Ферми был бы мгновенно критичным с k=1,0006, интенсив-ность нейтронов удваивалась бы каждую десятую долю секунды.
Первая мораль этой истории состоит в том, что смешение скорости исследований ИИ со скоростью реального ИИ подобно смешению скорости физических исследований со скоростью ядерных реакций. Происходит сме-шение карты и территории. Потребовались годы, чтобы построить этот пер-вый реактор, усилиями небольшой группы физиков, которые не публиковали много пресс-релизов. Но когда реактор был построен, интересные события произошли на временной шкале ядерных взаимодействий, а не на временной шкале человеческого общения. В ядерной области элементарные взаимодей-ствия происходят гораздо быстрее, чем срабатывают человеческие нейроны. Тоже может быть сказано о транзисторах.
Другая мораль в том, что есть колоссальная разница между ситуацией, когда одно самоулучшение запускает в среднем 0,9994 дальнейших самоулучшений, и когда одно самоулучшение запускает 1,0006 дальнейших самоулучшений. Ядерный реактор перешёл порог критичности не потому, что физики внезапно заложили в него много дополнительного вещества. Физики вводили вещество медленно и равномерно. Даже если имеется гладкая кривая интеллектуальности мозга как функции оптимизационного давления, оказанного до того на этот мозг, то кривая рекурсивного самоулучшения может содержать огромный скачок.
Есть и другие причины, по которым ИИ может совершить внезапный огромный скачок в интеллектуальности. Вид Homo sapiens совершил боль-шой прыжок в эффективности интеллекта, как результат естественного отбо-ра, оказывавшего более-менее равномерное давление на гоминидов в течение миллионов лет, постепенно расширяя мозг и лобовую кору, настраивая программную архитектуру. Несколько десятков тысяч лет назад интеллект гоминидов пересёк некий ключевой порог и сделал огромный прыжок в эффективности в реальном мире; мы перешли от пещер к небоскрёбам за мгновение ока эволюции. Это произошло при неизменном давлении отбора – не было большого прыжка в оптимизирующей силе эволюции, когда появились люди. Наша соответствующая мозговая архитектура тоже развивалась плавно – объём нашего черепа не увеличился вдруг на два порядка величины. Так что может так случиться, что даже если ИИ будет развивать снаружи силами людей-инженеров, кривая его интеллектуальной эффективности совершит резкий скачок.
Или, возможно, некто построит прототип ИИ, который покажет не-кие многообещающие результаты, и эта демо-версия привлечёт дополни-тельные 100 миллионов долларов венчурного капитала, и на эти деньги будет закуплено в тысячу раз больше суперкомпьютеров. Я сомневаюсь, что усиление оборудования в 1000 раз приведёт к чему-либо подобному усилению интеллектуального потенциала в 1000 раз – но само это сомнение не надёжно при отсутствии какой-либо возможности произвести какие-либо аналитические вычисления.
В сравнении с шимпанзе, человек имеет трёхкратное преимущество в мозге и шестикратное – в лобовой коре, что означает (а) программы важнее оборудования и (б) малые увеличения оборудования могут поддержать большие улучшения программного обеспечения. И есть ещё один момент, который надо рассмотреть.
В конечном счёте, ИИ может сделать кажущийся резким скачок в интеллектуальности только по причине антропоморфизма, то есть человече-ской склонности думать о «деревенском идиоте» и Эйнштейне как о крайних границах интеллектуальной шкалы, а не как о почти неразличимых точках на шкале умов-вообще.
Любой объект, более немой, чем немой человек, может показаться нам просто немым. Можно представить «стрелу ИИ», медленно ползущую по шкале интеллекта, проходящую уровни мыши и шимпанзе, и при этом ИИ остаётся всё ещё немым, потому что ИИ не может свободно говорить или писать научные статьи, и затем стрела ИИ пересекает тонкую грань между ультра-идиотом и Эйнштейном в течение месяца или такого же малого пе-риода. Я не думаю, что этот сценарий убедителен, в основном, потому что я не ожидаю, что кривая рекурсивного самоулучшения будет ползти линейно. Но я не буду первым, кто укажет, что ИИ – это двигающаяся цель. Как толь-ко веха достигнута, она перестаёт быть ИИ. Это может только вдохновлять промедление.
Давайте допустим, для продолжения дискуссии, что, исходя из всего, что мы знаем (и это кажется мне реально возможным), ИИ обладает способ-ностью совершить внезапный, резкий, огромный скачок в интеллектуально-сти. Что из этого следует? Первое и главное: из этого следует, что реакция, которую я часто слышал: «Нам не следует заботится о Дружественном ИИ, потому что у нас ещё нет самого ИИ» – неверна или просто самоубийствен-на. Мы не можем полагаться на то, что у нас будут заранее предупреждающе сигналы до того, как ИИ будет создан; прошлые технологические революции обычно не телеграфировали о себе людям, жившим в том время, что бы потом ни говорилось. Математика и техника Дружественного ИИ не появится из ниоткуда, когда она будет нужна; требуются годы, чтобы установить твёрдые основания. И мы должны разрешить проблему Дружественного ИИ до того, как универсальный ИИ появится, а не после; мне даже не следует говорить об этом. Будут трудности с Дружественным ИИ, потому что поле исследований ИИ само по себе имеет мало согласия и высокую энтропию. Но это не значит, что мы не должны беспокоиться о Дружественном ИИ. Это означает, что будут трудности. Эти два утверждения, к сожалению, даже отдалённо не эквивалентны.
Возможность резкого скачка в интеллектуальности также требует высоких стандартов для техники Дружественного ИИ. Техника не может полагаться на способность программиста наблюдать ИИ против его воли, переписывать ИИ против его воли, угрожать превосходящей военной силой, ни на то, что программисты смогут контролировать «кнопку вознагражде-ния», которую умный ИИ отберёт у программистов, и так далее. В действи-тельности, никто не должен исходить из этих предположений. Необходимой защитой является ИИ, который не хочет вам повредить. Без этого ни одна дополнительная защита не является безопасной. Ни одна система не является безопасной, если она ищет способы разрушить свою безопасность. Если ИИ повредит человечеству в любом смысле, вы должны были сделать что-то неправильно на очень глубоком уровне, искривив свои основные посылки. Вы делаете дробовик, направляете его на свою ступню и спускаете крючок. Вы осознанно приводите в движение некую когнитивную динамику, которая, при некоторых обстоятельствах, будет стремиться вам повредить. Это – неправильное поведение для данной динамики; напишите вместо этого код, который делает что-то другое.
Примерно по тем же причинам, программисты Дружественного ИИ должны предполагать, что ИИ имеет полный доступ к своему исходному коду. Если ИИ хочет модифицировать себя, чтобы не быть больше Дружест-венным, Дружественность уже потерпела неудачу в тот момент, когда ИИ создал такое намерение. Любое решение, которое полагается на то, что ИИ не будет способен модифицировать сам себя, будет разрушено тем или иным способом, и будет разрушено даже в том случае, если ИИ решит никогда себя не модифицировать. Я не говорю, что это должна быть единственная предосторожность, но главной и незаменимой предосторожностью будет то, что вы создадите ИИ, который не захочет вредить человечеству.
Чтобы избежать ошибочности Гигансткой Ватрушки, мы должны сказать, что способность улучшать себя не означает выбора делать это. Ус-пешное воплощение техники Дружественного ИИ может создать ИИ, который обладает потенциалом расти более быстро, но выбирающего вместо этого расти медленнее и по более управляемой кривой.
Даже в этом случае, после того, как ИИ пройдёт критический порог рекурсивного самоулучшения, вы окажетесь действующими в гораздо более опасном режиме. Если дружественность потерпит неудачу, ИИ может ре-шить направиться с полной скоростью в сторону самоулучшения – метафо-рически говоря, он станет мгновенно критичным.
Я склонен предполагать потенциально произвольно большие прыж-ки в интеллектуальности, потому что это (а) консервативное предположение; (б) это отвергает предложения построить ИИ без реального понимания его; и (с) большие скачки потенциала (large potential jumps) кажутся мне наиболее вероятными в реальном мире. Если я обнаружу некую область знаний, в которой консервативной точкой зрения по поводу перспектив управления рисками предполагается медленное улучшение ИИ, тогда я потребую, чтобы этот план не стал катастрофическим, если ИИ замедлится на около-человеческой стадии на годы или дольше. Это не та область, относительно которой бы мне хотелось предлагать узкие интервалы уверенности.


8: Оборудование

Люди склонны думать о больших компьютерах как о ключевом фак-торе ИИ. Это, мягко говоря, очень сомнительное утверждение. Не-футурологи, обсуждая ИИ, говорят обычно о прогрессе компьютерного обо-рудования, потому что его легко измерить – в отличие от понимания интел-лекта. Не потому что здесь нет прогресса, а потому что этот прогресс не мо-жет быть выражен в аккуратных графиках компьютерных презентаций. Трудно сообщать об улучшениях в понимании, и поэтому об этом меньше сообщают. Вместо того, чтобы думать о «минимальном» уровне оборудова-ния, которое «необходимо» для ИИ, задумаемся лучше о минимальном уров-не понимания исследователя, который уменьшается по мере улучшения обо-рудования. Чем лучше компьютерное оборудование, тем меньше понимания вам нужно, чтобы построить ИИ. Крайним случаем является естественный отбор, который использовал удивительные количества грубой компьютерной силы, чтобы создать человеческий интеллект, не используя никакого понимания, только неслучайное сохранение случайных мутаций.
Увеличивающаяся компьютерная мощность делает изготовление ИИ проще, но нет очевидных причин, по которым увеличивающая компьютерная мощь поможет сделать ИИ Дружественным. Возрастающая сила компьютеров делает более простым применение грубой силы, а также совмещение плохопонятных, но работающих техник. Закон Мура устойчиво снижает барьер, который предохраняет нас от построения ИИ без глубокого понимания мышления.
Приемлемо провалиться в попытках создания как ИИ, так и Друже-ственного ИИ. Приемлемо достичь успеха и в ИИ, и в Дружественном ИИ. Что неприемлемо – это создать ИИ и провалиться в создании Дружественно-го ИИ. Закон Мура делает именно последнее гораздо проще. «Проще», но, слава богу, не просто. Я сомневаюсь, что ИИ будет прост, когда его, наконец, построят – просто потому что есть группы людей, которые приложат огромные усилия, чтобы построить ИИ, и одна из них достигнет успеха, когда ИИ, наконец, станет возможным достичь посредством колоссальных усилий.
Закон Мура является посредником (interaction) между Дружествен-ным ИИ и другими технологиями, что добавляет часто пропускаемый гло-бальный риск к другим технологиям. Мы можем представить себе, что моле-кулярная нанотехнология развивается силами мягкого многонационального правительственного консорциума и им удалось успешно избежать опасно-стей физического уровня нанотехнологий. Они непосредственно не допусти-ли случайное распространение репликатора, и с гораздо большими трудно-стями разместили глобальную защиту на местах против враждебных репли-каторов; они ограничили доступ к базовому уровню нанотехнологии, в то же время распространяя настраиваемые наноблоки и так далее. (См. Phoenix и Treder, в этом же сборнике.) Но, тем не менее, нанокомпьютеры становятся широко распространены, потому что предпринятые ограничения обходятся, или потому что никаких ограничений не введено. И затем кто-то добивается грубой силой ИИ, который не Дружественен, и дело закончено. Этот сцена-рий является особенно беспокоящим, потому что невероятно мощные нано-компьютеры будут среди первых, простейших и кажущихся безопаснейшими применений нанотехнологии.
Как насчёт регуляторного контроля над суперкомпьютерами? Я бы определённо не стал на него полагаться, чтобы предотвратить создание ИИ; вчерашние суперкомпьютеры – это завтрашние лэптопы. Стандартный ответ на предложение о регулировании состоит в том, что когда нанокомпьютеры будут вне закона, только стоящие вне закона люди будут ими обладать.
Трудно доказать, что предполагаемые преимущества от ограничения распространения перевешивают неизбежные риски от неточного распространения. Я сам точно не буду выступать в пользу регулятивных ограничений на использование суперкомпьютеров для исследований ИИ; это предложение сомнительной полезности будет встречено в штыки всем ИИ-сообществом. Но в том маловероятном случае, если это предложение будет принято – что весьма далеко от текущего политического процесса – я не буду прикладывать значительных усилий, чтобы бороться с ним, поскольку я не думаю, что хорошим ребятам нужен доступ к современным им суперкомпьютерам. Дружественный ИИ – это не про грубую силу.
Я могу представить регулирующие органы, эффективно контроли-рующие небольшой набор сверхдорогих компьютерных ресурсов, которые нынче называются суперкомпьютеры. Но компьютеры везде. Это не похоже на ядерное нераспространение, где основное направление – это контроль плутония и обогащённого урана. Исходные материалы для ИИ уже есть вез-де. Эта кошка так далеко выскочила из мешка, что она уже в ваших наруч-ных часах, сотовом телефоне и посудомоечной машине. Это тоже является особенным и необычным фактором ИИ как глобального риска. Мы отделены от рискованного процесса не большими видимыми установками, такими как изотопные центрифуги или ускорители частиц, но только недостаточным знанием. Если использовать слишком драматичную метафору, это подобно тому, как если бы субкритические массы обогащённого урана приводили бы в движение машины и корабли по всему миру до того, как Лео Сцилард впервые подумал бы о цепной реакции.

9: Угрозы и перспективы

Это рискованное интеллектуальное предприятие, – пытаться пред-сказать конкретно, как именно благожелательный ИИ поможет человечеству, или недружественный ИИ повредит. Здесь есть риск систематической ошибки наложения: каждая добавленная деталь обязательно уменьшает общую вероятность всей истории, но испытуемые склонны приписывать большую вероятность историям, которые включают чёткие добавленные детали. (См. Элизер Юдковский. Систематические ошибки в рассуждениях, потенциально влияющие на оценку глобальных рисков.) Есть риск – почти наверняка – потерпеть неудачу, пытаясь вообразить сценарий будущего; и есть риск ошибочности Гигантской Ватрушки, который превращается из возможности в мотивирующую силу (that leaps from capability to motive).
Тем не менее, я попробую очертить угрозы и перспективы. Будущее имеет репутацию совершать подвиги, которые прошлое считало невозмож-ными. Будущие цивилизации даже нарушали то, что прошлые цивилизации считали (неверно, разумеется) законами физики. Если пророки 1900 года – и даже не думайте о 1000 годе – пытались ограничить силу человеческой ци-вилизации через миллиард лет, то некоторые из названных ими невозможно-стей были бы преодолены до конца столетия; превращение свинца в золото, например. Мы помним, что будущие цивилизации удивляли прошлые циви-лизации, и поэтому стало клише, что мы не можем накладывать ограничений на своих праправнуков. И всё же все в 20 веке, в 19 веке и в 11 веке мы были людьми.
Мы можем различить три семейства ненадёжных метафор для пред-ставления возможностей превосходящего человека ИИ:
- метафора G-фактора: вдохновлена различиями индивидуального уровня интеллекта между людьми. ИИ будет патентовать новые технологии, публиковать прорывные статьи, делать деньги на фондовом рынке или воз-главлять политические блоки.
- историческая метафора: вдохновлена знанием различий между прошлыми и будущими человеческими цивилизациями. ИИ быстро введёт набор возможностей, который обычно связывается с человеческой цивилиза-цией через сто или тысячу лет: молекулярную нанотехнологию; межзвёздные путешествия; компьютеры, выполняющие 1025 операций в секунду.
- Видовая метафора: вдохновлена различиями в архитектуре мозга между видами. ИИ овладеет магией.
Метафора G-фактора наиболее популярна в современной футуроло-гии: когда люди думают об интеллектуальности, они думают о человеческом гении, а не о людях вообще. В историях о враждебном ИИ G-метафоры ответственны за «хорошую историю» в духе Бострома: а именно, за оппонента, достаточно могущественного, чтобы создать драматическое напряжение, но не достаточно могущественного, чтобы мгновенно истребить героев, как мух, и, в конечном счёте, достаточно слабого, чтобы проиграть в последних главах книги. Голиаф против Давида – пример хорошей истории, но Голиаф против плодовой мушки – нет.
Если мы предполагаем метафору G-фактора, то риски глобальной катастрофы в этом сценарии относительно умеренные: враждебный ИИ – не большая угроза, чем враждебный человеческий гений.
Если мы предполагаем множественность ИИ, то тогда мы имеем ме-тафору конфликта между племенем ИИ и человеческим племенем. Если пле-мя ИИ выиграет в военном конфликте и истребит людей, то это глобальная катастрофа по типу Взрыва (Bostrom, 2001). Если племя ИИ будет доминиро-вать над миром экономически и обретёт эффективный контроль над судьбой возникшей на Земле разумной жизни, но цели ИИ не будут для нас интерес-ными или стоящими, то это будет катастрофа в духе Сужение, Скрип и Всхлип. Но насколько вероятно, что ИИ преодолеет весь огромный разрыв от амёбы до деревенского идиота, и затем остановится на уровне человече-ского гения? Быстрейший из наблюдавшихся нейронов срабатывает 1000 раз в секунду; быстрейший аксон передаёт сигналы со скоростью 150 метров в секунду, в пол-миллионную долю от скорости света; каждая операция синапса рассеивает примерно 15 000 аттоджоулей, что в миллион раз больше термодинамического минимума для необратимых вычислений при комнатной температуре (kT300 ln(2) = 0.003 аттоджоулей на бит). Физически возможно построить мозг, вычисляющий в миллион раз быстрее человеческого, без уменьшения размера, работы при низких температурах, применения обратимых вычислений и квантового компьютера. Если человеческий ум будет таким образом ускорен, субъективный год размышлений завершится за 31 физическую секунду во внешнем мире, и тысячелетие пролетит за восемь с половиной часов. Винж (Vinge, 1993) назвал такие ускоренные умы «слабым сверхинтеллектом»: ум, думающий как человек, но гораздо быстрее.
Мы предполагаем, что возникнет чрезвычайно быстрый ум, установ-ленный в сердцевине человеческой технологической цивилизации, которая будет существовать в это время. Провалом воображения было бы сказать: «Не важно, как быстро он думает, он может влиять на мир только со скоро-стью своих манипуляций; он не может управлять машинами быстрее, чем он приказывает человеческим рукам работать; поэтому быстрый ум – это не великая опасность». Нет такого закона природы, по которому физические операции должны тянуться секундами. Характерное время для молекуляр-ных реакций измеряется в фемтосекундах, иногда в пикосекундах.
Drexler (1992) проанализировал контролируемые молекулярные ма-нипуляторы, которые будут выполнять >106 молекулярных операций в се-кунду – отметьте это в связи с основной темой о «миллионократном ускоре-нии». (Наименьшим физически значимым приращением времени обычно считается интервал Планка, 5•10-44 секунды, и на этой шкале даже танцую-щие кварки кажутся статуями.)
Представьте себе, что человечество было бы заперто в ящике и мог-ло бы воздействовать на окружающий мир только посредством заморожено медленных движений щупалец пришельца, или механических рук, которые бы двигались со скоростью несколько микрон в секунду. Тогда мы бы скон-центрировали всю нашу творческую силу на поисках наикратчайшего пути построить быстрые манипуляторы во внешнем мире. Размышляя о быстрых манипуляторах, немедленно вспоминаешь о молекулярной нанотехнологии – хотя могут быть и другие пути. Какой кратчайший путь может привести вас к нанотехнологии в медленном внешнем мире, если у вас есть эоны времени, чтобы обдумывать каждый ход? Ответ в том, что я не знаю, потому что у меня нет эонов времени на размышления. Вот один из воображаемых быстрых путей:
 – разрешить проблему свёртки белков, до той степени, чтобы быть способным создавать последовательности ДНК, чьи свёрнутые пептидные последовательности будут соответствовать специфическим функциональным задачам в сложных химических реакциях.
- Отправить по E-mail набор последовательностей ДНК в одну или несколько лабораторий, которые предлагают синтез ДНК, секвенсирование пептидов и доставку по FedEx. (Много лабораторий предлагают сейчас такие услуги, и некоторые рекламируют время в 72 часа на полный цикл.)
- Найти по крайней мере одного человека, соединённого с Интерне-том, которого можно оплатить, запугать шантажом или задурить соответст-вующей историей, чтобы он получил отправления по FedEx и смешал их в специальной среде.
- Синтезированные белки сформируют очень примитивную «влаж-ную» наносистему, вроде рибосомы, способную принимать внешние инст-рукции; возможно, модулированные акустические волны, направляемые ди-намиком на мензурку.
- Использовать эту невероятно примитивную наносистему, чтобы построить более сложную систему, развивающуюся затем в молекулярную нанотехнологию – или дальше.
Полное время на всю процедуру имело бы, вероятно, порядок недель с момента, когда быстрый интеллект смог бы решить проблему сворачивания белков. Разумеется, этот сценарий целиком выдумал я. Возможно, за 19 500 лет субъективного времени (одна неделя физического времени при ускорении в миллион раз) я бы нашёл более простой путь. Возможно, вы можете заплатить за быструю курьерскую доставку вместе FedEx. Возможно, существуют технологии, или небольшие модификации существующих технологий, которые синегретически соединяются с простыми белковыми механизмами. Возможно, если вы достаточно умны, вы можете использовать волновые электрические поля, чтобы изменять пути реакций в существующих биохимических процессах.  Я не знаю. Я не настолько умён.
Задача состоит в том, чтобы связать вместе ваши способности – аналогом чему в реальном мире является комбинирование слабых уязвимостей в компьютерной системе для получения корневого доступа. Если один путь перекрыт, вы выбираете другой, всегда ища способы увеличить свои возможности и использовать их взаимоусиливающим образом (in synergy). Подразумеваемая цель – построить быструю инфраструктуру, то есть средства манипулировать внешним миром в большом масштабе за малое время. Молекулярная нанотехнология удовлетворяет этим критериям, во-первых, потому что её элементарные операции происходят быстро, и, во вторых, потому что имеется готовый набор совершенных частей – атомов – которые могут быть использованы для самореплицирования и экспоненциального роста нанотехнологической инфраструктуры. Путь, обсуждённый выше, подразумевает ИИ, получающий скоростную инфраструктуру в течение недели – что звучит быстро для человека с 200 Гц нейронами, но является гораздо бОльшим временем для ИИ.
Как только ИИ обретает быструю инфраструктуру, дальнейшие со-бытия происходят по шкале времени ИИ, а не по человеческой временной шкале. (Кроме того случая, когда ИИ предпочтёт действовать в человеческой временной шкале.) С молекулярной нанотехнологией, ИИ может (потенциально) переписать всю Солнечную систему без какого-либо сопротивления.
Недружественный ИИ с молекулярной инфраструктурой (или другой быстрой инфраструктурой) не должен беспокоиться об армиях марширую-щих роботов, или шантаже или тонких экономических вмешательств. Не-дружественный ИИ обладает способностью переделать всё вещество Сол-нечной системы согласно своей цели оптимизации. Для нас будет фаталь-ным, если этот ИИ не будет учитывать при своём выборе то, как эта транс-формация повлияет на существующие сейчас системы, такие как биология и люди. Этот ИИ не ненавидит вас, ни любит, но вы сделаны из атомов, кото-рые он может использовать как-то по-другому. ИИ работает на другой вре-менной шкале, чем вы; к тому моменту, когда ваши нейроны закончат ду-мать слова «я должен сделать нечто», вы уже проиграли. Дружественный ИИ плюс молекулярная нанотехнология предположительно достаточно сильны, чтобы разрешить любую проблему, которая может быть разрешена путём перемещения атомов или творческого мышления. Следует соблюдать пре-досторожность в отношении возможных ошибок воображения: лечение рака – это популярная современная цель для филантропии, но из этого не следует, что Дружественный ИИ с молекулярной нанотехнологией скажет сам себе: «Теперь я буду лечить рак». Возможно, лучшее описание проблемы состоит в том, что человеческие клетки непрограммируемы. Если решить эту про-блему, то это излечит рак как частный случай, а заодно диабет и ожирение. Быстрый, позитивный интеллект, владеющий молекулярной нанотехнологи-ей, обладает силой избавиться от болезней, а не от рака.
Последнее семейство метафор связано с видами, и основывается на межвидовых различиях интеллекта. Такой ИИ обладает магией – не в смысле заклинаний или снадобий, но в том смысле, как волк не может понять, как работает ружьё, или какого рода усилия требуются, чтобы изготовить ружья, или природу человеческой силы, которая позволяет нам придумывать ружья.
Винж (Vinge, 1993) пишет: «Сильное сверхчеловечество (strong superhumanity) будет не просто разогнанным до большой скорости эквива-лентом человеческого ума. Трудно сказать, чем именно сверхчеловечество будет, но разница, вероятно, будет глубокой. Представьте себе ум собаки, работающий на огромной скорости. Дадут ли тысячелетия собачей жизни хотя бы один человеческий инсайт?»
Видовая метафора является ближайшей аналогией а приори, но она не очень пригодна для создания детальных историй. Главный совет, которая даёт нам эта метафора, состоит в том, что нам лучше всего всё-таки сделать Дружественный ИИ, что есть хороший совет в любом случае. Единственную защиту, которую она предлагает от враждебного ИИ – это вообще его не строить, что тоже очень ценный совет. Абсолютная власть является консер-вативным инженерным предположением в отношении Дружественного ИИ, который был неправильно спроектирован. Если ИИ повредит вам с помощью магии, его Дружественность в любом случае ошибочна.


10: Локальные стратегии и стратегии большинства

Можно классифицировать предлагающиеся стратегии снижения риска следующим образом:
- стратегии, требующие единодушной кооперации – стратегии, кото-рые могут быть повержены отдельными вредителями или небольшими груп-пами.
- стратегии, которые требуют совместного действия большинства (majoritarian strategy): большинства законодателей в одной стране, или боль-шинства голосующих людей, или большинства стран в ООН: стратегии, тре-бующие большинства, но не всех людей из некой большой группы, чтобы действовать определённым образом.
- Стратегии, которые требуют локальных действий – концентрации воли, таланта и финансирования, которая достигает порогового значения для некоторой конкретной задачи.
Единодушные стратегии не работоспособны, что не мешает людям продолжать предлагать их.
Мажоритарные стратегии (стратегии большинства) иногда работают, если у вас есть десятилетия на то, чтобы сделать свою работу. Следует создать движение, и пройдут годы до его признания в качестве силы в публичной политике и до его победы над оппозиционными фракциями. Мажоритарные стратегии занимают значительное время и требуют огромных усилий. Люди уже старались это сделать, и история помнит несколько успехов. Но будьте настороже: исторические книги имеют тенденцию селективно концентрироваться на тех движениях, которые имели влияние, в отличие от большинства, которое никогда ни на что не влияло. Здесь есть элемент удачи и изначальной готовности публики слушать. Критические моменты этой стратегии включают элементы, лежащие за пределами нашего контроля. Если вы не хотите посвятить всю свою жизнь продвижению некой мажоритарной стратегии, не беспокойтесь; и даже целиком посвящённой жизни недостаточно.
Обычно, локальные стратегии наиболее убедительны. Не легко по-лучить 100 миллионов долларов обеспечения, и всеобщей политической пе-ремены тоже нелегко достичь, но всё же гораздо легче получить 100 миллио-нов, чем продвинуть глобальную политическую перемену. Два предположе-ния, выдвигаемые  в пользу мажоритарной стратегии в отношении ИИ:
- Большинство из Дружественных ИИ может эффективно защитить человеческий вид от неДружественного ИИ.
- Первый построенный ИИ не может сам по себе нанести катастро-фический ущерб.
Это повторяет по существу ситуацию в человеческой цивилизации до создания ядерного и биологического оружия: большинство людей сотруд-ничают во всемирной социальной структуре, а вредители могут причинить определённый, но не катастрофический ущерб. Большинство исследователей ИИ не хотят построить неДружественный ИИ. Если кто-то знает, как сделать стабильный Дружественный ИИ – если проблема не находится полностью за пределами современных знаний и техники – исследователи будут учиться успешным результатам друг у друга и повторять их. Законодательство может (например) потребовать от исследователей публиковать свои стратегии Дружественности или наказывать тех исследователей, чьи ИИ причинили ущерб; и хотя эти законы не предотвратят всех ошибок, они могут гарантировать, что большинство ИИ будут построены Дружественными.
Мы можем также представить сценарий, который предполагает про-стую локальную стратегию:
- первый ИИ не может сам по себе причинить катастрофический ущерб.
- Если даже хотя бы один Дружественный ИИ появится, этот ИИ вместе с человеческими учреждениями может отогнать любое количество неДружественных ИИ.
Этот лёгкий сценарий выдержит, если человеческие институты смо-гут надёжно отличать Дружественный ИИ от неДружественного и дадут мо-гущую быть отменённой власть в руки Дружественного ИИ. Тогда мы смо-жем собрать и выбрать наших союзников. Единственное требование состоит в том, чтобы проблема Дружественного ИИ была разрешима (В противовес тому, что бы быть полностью за пределами человеческих возможностей.)
Оба из вышеприведённых сценариев предполагают, что первый ИИ (первый мощный, универсальный ИИ) не может сам по себе причинить гло-бально катастрофический ущерб. Более конкретные представления, которые это предполагают, используют G-метафору: ИИ как аналог особо одарённым людям. В главе 7 о скоростях усиления интеллекта, я указал несколько моментов, почему следует подозревать огромный, быстрый скачок в интеллектуальности.
- расстояние от идиота до Эйнштейна, которое выглядит большим для нас, является маленькой точкой на шкале умов вообще.
- Гоминиды сделали резкий скачок в эффективности во внешнем ми-ре, несмотря на то, что естественный отбор оказывал примерно равномерное давление на их геном.
- ИИ может впитать колоссальное количество дополнительного обо-рудования после достижения определённого уровня компетентности (то есть, съесть интернет).
- Существует критический порог рекурсивного самоулучшения. Од-но самоулучшение, дающее приращение в 1,0006 раз, качественно отличает-ся от самоулучшения, дающего приращение в 0,9994 раза.
 Как описано в параграфе 9, достаточно сильному ИИ может потре-боваться очень короткое время (с человеческой точки зрения), чтобы достичь молекулярной нанотехнологии, или другой формы быстрой инфраструктуры. Теперь мы можем представить себе всё значение того, кто начнёт первым (the first-mover effect) в суперинтеллекте. Эффект начавшего первым состоит в том, что исход возникшей на Земле разумной жизни зависит в первую очередь от особенностей (makeup) того ума, который первым достигнет определённого ключевого порога интеллектуальности – такого, как критичности (criticality) самоулучшения. Два необходимых предположения таковы:
- Первый ИИ, который достиг некого критического порога (то есть критичности самоулучшений), будучи неДружественным, может истребить человеческий вид.
- Если первый ИИ, который достигнет этого уровня, будет Дружест-венным, то он сможет не допустить возникновения враждебных ИИ или при-чинения ими вреда человеческому виду; или найдёт другие оригинальные пути, чтобы обеспечить выживание и процветание возникшей на Земле ра-зумной жизни.
Более, чем один сценарий соответствует эффекту начавшего первым. Каждый из следующих примеров отражает другой ключевой порог:
- Пост-критический, самоулучшающийся ИИ достигает сверхинтел-лекта в течение недель или меньше. Проекты ИИ достаточно редки, так что ни один другой ИИ не достигает критичности до того, как начавший первым ИИ становится достаточно сильным, чтобы преодолеть любое сопротивле-ние. Ключевым порогом является критический уровень самоулучшения. – ИИ-1 разрешает проблему свёртывания белков на три дня раньше ИИ-2. ИИ-1 достигает нанотехнологии на 6 часов раньше, чем ИИ-2. С помощью быст-рых манипуляторов веществом ИИ-1 может (потенциально) отключить ис-следования и разработку ИИ-2 до её созревания. Бегуны близки, но тот, кто первым пересекает финишную черту – побеждает. Ключевым порогом здесь является быстрая инфраструктура.
- тот ИИ, который первым поглощает интернет, может (потенциаль-но) не допустить в него другие ИИ. Затем, посредством экономического до-минирования, скрытых действий или шантажа или превосходящих способностей к социальной манипуляции, первый ИИ останавливает или замедляет другие ИИ проекты, так что никакого другого ИИ не возникает. Ключевой порог – поглощение уникального ресурса.
Человеческий вид, Homo sapiens, является начавшим первым. С точ-ки зрения эволюции, наши кузены – шимпанзе – отстают от нас только на толщину волоса. Homo sapiens заполучили все технологические чудеса, по-тому что мы попали сюда немного раньше. Эволюционные биологи всё ещё пытаются выяснить порядок ключевых порогов, потому что начавшие пер-выми виды должны были первыми пересечь столь много порогов: речь, тех-нология, абстрактное мышление. Мы всё ещё пытаемся понять, что первым вызвало эффект домино. Результат состоит в том, что Homo Sapiens движется первым без нависшего сзади соперника. Эффект движущегося первым предполагает теоретически локальную стратегию (задачу, реализуемую, в принципе, исключительно местными усилиями), нот при этом вызывает к жизни технический вызов чрезвычайной трудности. Нам нужно правильно создать Дружественный ИИ только в одном месте и один раз, а не каждый раз везде. Но создать его нужно правильно с первой попытки, до того, как кто-то построит ИИ с более низкими стандартами.
Я не могу произвести точных вычислений на основании точно под-тверждённой теории, но моё мнение сейчас состоит в том, что резкие прыжки в интеллектуальности возможны, вероятны и являют собой доминирующую возможность. Это не та область, в которой я хотел бы давать узкие ин-тервалы уверенности, и поэтому стратегия не должна потерпеть катастрофу – то есть не оставить нас в ситуации худшей, чем раньше, – если резкий пры-жок в интеллектуальности не произойдёт. Но гораздо более серьёзной про-блемой являются стратегии, представляемые для медленно растущего ИИ, которые терпят катастрофу, если здесь есть эффект движущегося первым. Это более серьёзная проблема, потому что:
- Более быстро растущий ИИ является более сложной технической задачей.
- Подобно автомобилю, едущему по мосту для грузовиков, ИИ, спроектированный, чтобы оставаться Дружественным в экстремально слож-ных условиях (предположительно) остаётся Дружественным в менее слож-ных условиях. Обратное неверно.
- Быстрые скачки в интеллектуальности контр-интуитивны с точки зрения обычной социальной жизни. Метафора G-фактора для ИИ является интуитивной, притягательной, заверяющей и, по общему согласию, требую-щей меньше конструктивных ограничений.
- Моя нынешняя догадка состоит в том, что кривая интеллектуально-сти содержит огромные, резкие (потенциально) скачки.
Моя теперешняя стратегическая точка зрения имеет тенденцию фо-кусироваться на трудном локальном сценарии: первый ИИ должен быть Дружественным. С этой мерой предосторожности, если никаких быстрых прыжков в ИИ не произойдёт, можно переключиться на стратегию, которая сделает большинство ИИ Дружественными. В любом случае, технические усилия, которые ушли на подготовку к экстремальному случаю появления первого ИИ, не сделают нам хуже.
Сценарий, который требует невозможной – требующей единодушия – стратегии:
- Единственный ИИ может быть достаточно силён, чтобы уничто-жить человечество, даже несмотря на защитные меры Дружественных ИИ.
- Ни один ИИ недостаточно могуществен, чтобы остановить людей-исследователей от создания одного ИИ за другим (или найти другой творче-ский путь решения проблемы.).
Хорошо, что этот баланс возможностей кажется невероятным а при-ори, потому что при таком сценарии мы обречены. Если вы выкладываете на стол колоду карт одна за другой, вы рано или поздно выложите туза треф.
Та же проблема относится и к стратегии намеренного конструирова-ния ИИ, которые выбирают не увеличивать свои способности выше опреде-лённого уровня. Если ограниченные ИИ недостаточно сильны, чтобы побе-дить неограниченных, или предотвратить их возникновение, то тогда огра-ниченные ИИ вычёркиваются из уравнения. Мы участвуем в игре, до тех пор, пока мы не вытащим сверхинтеллект, независимо оттого, что это – туз червей или туз треф. Мажоританые стратегии работают, только если невоз-можно для одиночного вредителя причинить катастрофический ущерб. Для ИИ эта возможность является свойством самого пространства возможных проектов (design space) – эта возможность не зависит от человеческого реше-ния, равно как скорость света или гравитационная константа.      




11: ИИ и усиление человеческого интеллекта

Я не нахожу достоверным, что Homo sapiens будут продолжать су-ществовать в неограниченном будущем, тысячи или миллионы или миллиар-ды лет, без того, чтобы возник хотя бы один ум, который бы прорвал верх-ний предел интеллектуальности. И если так, то придёт время, когда люди впервые встретятся с вызовом более умного, чем человек, интеллекта. И если мы выиграем первый уровень схватки, то человечество сможет взывать к более умному, чем человек, интеллекту в следующих раундах схватки.
Возможно, мы скорее выберем другой путь, чем ИИ, более умный, чем человек, – например, будем улучшать людей вместо этого. Чтобы рас-смотреть крайний случай, допустим, что кто-то говорит: «Перспектива ИИ меня беспокоит. Я бы предпочёл, чтобы, до того, как какой-либо ИИ был сконструирован, отдельный люди были бы отсканированы в компьютеры, нейрон за нейроном, и затем усовершенствованы, медленно, но наверняка, пока они не станут сверх-умными; и это та основа, на которой человечество должно сразиться с вызовом суперинтеллекта».
Здесь мы сталкиваемся с двумя вопросами: Возможен ли этот сцена-рий? И если да, то желателен ли он? (Разумно задавать вопросы именно в такой последовательности, по причинам рациональности: мы должны избе-гать эмоциональной привязки к привлекательным возможностям, которые не являются реальными возможностями.)
Представим, что некий человек сканирован в компьютер, нейрон за нейроном, как предлагает Moravec (1988). Отсюда однозначно следует, что использованная компьютерная мощность значительно превосходит вычислительную мощность человеческого мозга. Согласно гипотезе, компьютер выполняет детальную симуляцию биологического человеческого мозга, исполняемую с достаточной точностью, чтобы избежать каких-либо обнаружимых высокоуровневых эффектов от системных низкоуровневых ошибок.
Каждый биологический аспект, который любым образом влияет на переработку информации, мы должны тщательно симулировать с достаточ-ной точностью, чтобы общий ход процесса был изоморфен оригиналу. Чтобы симулировать беспорядочный (messy) биологический компьютер, каким является человеческий мозг, мы должны иметь гораздо больше полезной компьютерной силы, чем воплощено в самом беспорядочном человеческом мозге.
Наиболее вероятный способ, который будет создан, чтобы сканиро-вать мозг нейрон за нейроном – с достаточным разрешением, чтобы захва-тить любой когнитивно важный аспект нейронной структуры – это развитая молекулярная нанотехнология .
Молекулярная нанотехнология, возможно, позволит создать на-стольный компьютер с общей вычислительной мощностью, превосходящей суммарную мозговую мощь всей человеческой популяции.  (Bostrom 1998; Moravec 1999; Merkle и Drexler 1996; Sandberg 1999.) Более того, если техно-логия позволит нам сканировать мозг с достаточной точностью, чтобы вы-полнять этот скан в качестве кода, это означает, что за несколько лет до того эта технология была способна создать невероятно точные картины процессов в нейронных сетях, и, предположительно, исследователи сделали всё от них зависящее, чтобы понять их. Более того, чтобы проапгрейдить загруженное – трансформировать скан мозга, чтобы усилить интеллект ума внутри него – мы обязательно должны понимать во всех деталях высокоуровневые функции мозга, и какой полезный вклад они делают в интеллект.
Более того, люди не созданы для того, чтобы их улучшали, ни внеш-ние нейробиологи, ни посредством рекурсивного самоулучшения изнутри. Естественный отбор не создал человеческий мозг удобным для людей-хакеров. Все сложные механизмы в мозгу адаптированы для работы в узких параметрах конструкции мозга. Допустим, вы можете сделать человека ум-нее, не говоря уже о сверхинтеллекте; останется ли он вменяемым (sane)? Человеческий мозг очень легко разбалансировать; достаточно изменить ба-ланс нейротрансмиттеров, чтобы запустить шизофрению или другие рас-стройства. В Deacon (1997) представлено отличное описание эволюции человеческого мозга того, как деликатно элементы мозга сбалансированы, и как это отражается в дисфункциях современного мозга. Человеческий мозг немодифицируем конечным пользователем.
Всё это делает весьма невероятным, что первое человеческое суще-ство будет сканировано в компьютер и вменяемо усовершенствовано до того, как кто-нибудь где-нибудь первым построит ИИ. В тот момент, когда технология впервые станет способна осуществить загрузку, это потребует невообразимо больше компьютерной мощности и гораздо лучшей науки о мышлении, чем требуется, чтобы построить ИИ. Построить Боинг-747 с нуля непросто. Но проще ли:
- начать с существующего дизайна биологической птицы
- и путём пошаговых добавлений модифицировать этот дизайн через серию успешных стадий
- где каждая стадия независимо жизнеспособна
- так что в конечном итоге мы имеем птицу, растянутую до размеров 747ого
- которая на самом деле летает
- также быстро, как 747
- и затем провести серию трансформаций реальной живой птицы
- не убивая её и не причиняя ей невыносимых страданий.
Я не хочу сказать, что это никогда не может быть сделано. Я хочу сказать, что проще сделать 747, и, имея уже 747-ой, метафорически говоря, апгрейдить птицу. «Давайте просто увеличим птицу до размеров 747-ого» не выглядит в качестве разумной стратегии, избегающей контакта с устрашаю-ще сложной теоретической мистерией аэродинамики. Может быть, в начале, всё, что вы знаете о полёте – это то, что птица обладает загадочной сущно-стью полёта, и что материалы, из которых вы должны построить 747ой про-сто лежат здесь на земле. Но вы не можете слепить загадочную сущность полёта, даже если она уже имеется в птице, до тех пор, пока она не переста-нет быть загадочной сущностью для вас. Вышеприведённый довод предло-жен как нарочито экстремальный случай. Основная идея в том, что у нас нет абсолютной свободы выбирать путь, который выглядит позитивным и уте-шительным, или который будет хорошей историей для научно-фантастического романа. Мы ограничены тем, какие технологии будут, ско-рее всего, предшествовать другим. Я не против сканирования человеческих существ в компьютеры и делания их умнее, но кажется чрезвычайно малове-роятным, что это будет полем, на котором люди впервые столкнутся с вызо-вом превосходящего человеческий интеллекта. Из различных ограниченных наборов технологий и знаний, требуемых, чтобы загружать и усовершенст-вовать людей, можно выбрать:
- апгрейдить биологические мозги на месте (например, добавляя но-вые нейроны, которые полезным образом встраиваются в работу);
- или продуктивно связать компьютеры с биологическими человече-скими мозгами.
- или продуктивно связать мозги людей друг с другом
- или сконструировать ИИ.
Далее, это одно дело усилить среднего человека, сохраняя его здра-вомыслие, до IQ 140, и другое – развить Нобелевского лауреат до чего-то за пределами человеческого. (Отложим в сторону каламбуры по поводу IQ или Нобелевских призов как меры совершенного интеллекта; простите меня за мои метафоры.) Приём пирацетама (или питьё кофеина) может сделать, а может и не сделать, по крайней мере, некоторых людей умнее; но это не сде-лает вас существенно умнее Эйнштейна. Это не даёт нам никаких сущест-венных новых способностей; мы не переходим на следующие уровни про-блемы; мы не пересекаем верхние границы интеллекта, доступного нам, что-бы взаимодействовать с глобальными рисками. С точки зрения управления глобальными рисками, любая технология улучшения интеллекта, которая не создаёт (позитивного и вменяемого) сознания, буквально более умного, чем человек, ставит вопрос о том, стоило ли, возможно, те же время и усилия более продуктивно потратить на то, чтобы найти чрезвычайно умных совре-менных людей и натравить их на ту же самую проблему. Более того, чем дальше вы уходите от «естественных» границ конструкции человеческого мозга – от наследственного состояния мозга, к которому отдельные компо-ненты мозга адаптированы – тем больше опасность личного безумия. Если улучшенные люди существенно умнее обычных, это тоже глобальный риск. Сколько ущерба усовершенствованные в сторону зла люди может причи-нить? Насколько они творческие? Первый вопрос, который мне приходит в голову: «Достаточно творческие, чтобы создать свой собственный рекурсив-но улучшающийся ИИ?» Радикальные техники улучшения человеческого интеллекта поднимают свои вопросы безопасности. Опять, я не говорю, что эти проблемы технически не разрешимы; только указываю на то, что эти проблемы существуют. ИИ имеет спорные вопросы, связанные с безопасно-стью; тоже касается и усовершенствования человеческого интеллекта. Не всё, что лязгает – это ваш враг, и не всё, что хлюпает – друг. С одной сторо-ны, позитивный человек начинает со всей огромной моральной, этической и структурной сложности, которая описывает то, что мы называем «дружест-венным» решением. С другой стороны, ИИ может быть спроектирован для стабильного рекурсивного самоулучшения и нацелен на безопасность: есте-ственный отбор не создал человеческий мозг с множеством кругов мер пре-досторожности, осторожного процесса принятия решений и целыми поряд-ками величины полей безопасности.
Улучшение человеческого интеллекта это самостоятельный вопрос, а не подраздел ИИ; и в этой статье нет места, чтобы обсуждать его в деталях. Стоит отметить, что я рассматривал как улучшение человеческого интеллекта, так и ИИ в начале своей карьеры, и решил сосредоточить свои усилия на ИИ. В первую очередь, потому что я не ожидал, что полезные, превосходящие человеческий уровень техники улучшения человеческого интеллекта появятся достаточно вовремя, чтобы существенно повлиять на развитие рекурсивно самоулучшающегося ИИ. Я буду рад, если мне докажут, что я не прав в отношении этого. Но я не думаю, что это жизнеспособная стратегия – нарочно выбрать не работать над Дружественным ИИ, пока другие работают над усовершенствованием человеческого интеллекта, в надежде, что усовершенствованные люди решат проблему Дружественного ИИ лучше. Я не хочу вовлекаться в стратегию, которая потерпит катастрофическое поражение, если усовершенствование человеческого интеллекта потребует больше времени, чем создание ИИ. (Или наоборот.) Я боюсь, что работа с биологией займёт слишком много времени – здесь будет слишком много инерции, слишком много борьбы с плохими конструкторскими решениями, уже сделанными естественным отбором. Я боюсь, что регуляторные органы не одобрять экспериментов с людьми. И даже человеческие гении тратят годы на обучение своему искусству; и чем быстрее улучшенный человек должен учиться, тем труднее улучшить кого-либо до этого уровня.
Я буду приятно удивлён, если появятся улучшенные люди (augmented humans) и построят Дружественный ИИ раньше всех. Но тот, кто хотел бы видеть этот результат, должен, вероятно, тяжело трудиться над ускорением технологий улучшения интеллекта; будет трудно убедить меня замедлиться. Если ИИ по своей природе гораздо более сложен, чем усиление интеллекта, то никакого вреда не будет; если же построение 747-ого естест-венным путём проще, чем увеличивание птицы до его размеров, то промед-ление будет фатальным. Имеется только небольшая область возможностей, внутри которой намеренный отказ от работы над Дружественным ИИ может быть полезен, и большая область, где это будет неважно или опасно. Даже если усиление человеческого интеллекта возможно, здесь есть реальные, сложные вопросы безопасности; мне следовало бы серьёзно задаться вопро-сом, хотим ли мы, чтобы Дружественный ИИ предшествовал усилению ин-теллекта, или наоборот.
Я не приписываю высокой достоверности утверждению, что Друже-ственный ИИ проще, чем усовершенствование человека, или что он безопас-нее. Есть много приходящих на ум путей улучшить человека. Может быть, существует техника, которая прощу и безопаснее, чем ИИ, достаточно мощ-ная, чтобы оказать влияние на глобальные риски. Если так, я могу переклю-чить направление своей работы. Но я желал указать на некоторые соображения, которые указывают против принимаемого без вопросов предположения, что улучшение человеческого интеллекта проще, безопаснее и достаточно мощно, чтобы играть заметную роль.


12: Взаимодействие ИИ и других технологий

Ускорение желательной технологии – это локальная стратегия, тогда как замедление опасной технологии – это трудная мажоритарная стратегия. Остановка или отказ от нежелательной технологии имеет тенденцию требовать невозможную единодушную стратегию. Я предлагаю думать не в терминах развития или неразвития некоторых технологий, но в терминах прагматичных доступных возможностей ускорять или замедлять технологии; и задаваться вопросом, в границах этих возможностей, какие технологии мы бы предпочли бы видеть развитыми до или после одна другой.
В нанотехнологиях, обычно предлагаемая цель состоит в развитии защитных щитов до появления наступательных технологий. Я очень обеспо-коен этим, поскольку заданный уровень наступательной технологии обычно требует гораздо меньших усилий, чем технология, которая может защитить от него. Наступление превосходило оборону в течение большей части чело-веческой истории. Ружья были созданы за сотни лет до пуленепробиваемых жилетов. Оспа была использована как орудие войны до изобретения вакцины от оспы. Сейчас нет защиты от ядерного взрыва; нации защищены не благодаря обороне, превосходящей наступательные силы, а благодаря балансу угроз наступления. Нанотехнологии оказались по самой своей природе сложной проблемой. Так что, должны ли мы предпочесть, чтобы нанотехнологии предшествовали развитию ИИ, или ИИ предшествовал развитию нанотехнологий? Заданный в такой форме, это несколько мошеннический вопрос. Ответ на него не имеет ничего общего с присущей нанотехнологиям проблемностью в качестве глобального риска, или с собственной сложностью ИИ. В той мере, в какой мы беспокоимся о порядке возникновения, вопрос должен звучать: «Поможет ли ИИ нам справиться с нанотехнологиями? Помогут ли нанотехнологии нам справится с ИИ?»
Мне кажется, что успешное создание ИИ существенно поможет нам во взаимодействии с нанотехнологиями. Я не вижу, как нанотехнологии сде-лают более простым развитие Дружественного ИИ. Если мощные наноком-пьютеры сделают проще создание ИИ, без упрощения решения самостоя-тельной проблемы Дружественности, то это – негативное взаимодействие технологий. Поэтому, при прочих равных, я бы очень предпочёл, чтобы Дружественный ИИ предшествовал нанотехнологиям в порядке технологи-ческих открытий. Если мы справимся с вызовом ИИ, мы сможем рассчиты-вать на помощь Дружественного ИИ в отношении нанотехнологий. Если мы создадим нанотехнологии и выживем, нам всё ещё будет предстоять принять вызов взаимодействия с ИИ после этого.
Говоря в общем, успех в Дружественном ИИ должен помочь в реше-нии почти любой другой проблемы. Поэтому, если некая технология делает ИИ не проще и не труднее, но несёт собой определённый глобальный риск, нам следует предпочесть, при прочих равных, в первую очередь встретиться с вызовом ИИ. Любая технология, увеличивающая доступную мощность компьютеров, уменьшает минимальную теоретическую сложность, необхо-димую для создания ИИ, но нисколько не помогает в Дружественности, и я считаю её в сумме негативной. Закон Мура для Безумной Науки: каждые 18 месяцев минимальный IQ, необходимый, чтобы уничтожить мир, падает на один пункт. Успех в усилении человеческого интеллекта сделает Дружест-венный ИИ проще, а также поможет в других технологиях. Но улучшение людей не обязательно безопаснее, или проще, чем Дружественный ИИ; оно также не находится в реалистически оцененных пределах наших возможно-стей изменить естественный порядок возникновения улучшения людей и Дружественного ИИ, если одна из технологий по своей природе гораздо проще другой.


13: Ход прогресса в области Дружественного ИИ

«Мы предлагаем, чтобы в течение 2 месяцев, десять человек изучали искусственный интеллект летом 1956 года в Дармутском колледже,  Ганно-вер, Нью Гемпшир. Исследование будет выполнено на основе предположе-ния, что любой аспект обучения или любое другое качество интеллекта мо-жет быть в принципе столь точно описано, что может быть сделана машина, чтобы симулировать его. Будет предпринята попытка узнать, как сделать так, чтобы машины использовали язык, формировали абстракции и концепции, разрешали бы те проблемы, которые сейчас доступны только людям, и улучшали себя. Мы полагаем, что возможно существенное продвижение в одной или нескольких из этих работ, если тщательно подобранная группа учёных проработает над этим вместе в течение лета».
---- McCarthy, Minsky, Rochester, и Shannon (1955).
Предложение Дартмутского Летнего Исследовательского Проекта по Искусственному Интеллекту являет собой первое зафиксированное употребление фразы «Искусственный Интеллект». У них не было предыдущего опыта, который мог бы их предупредить, что проблема трудна. Я бы назвал искренней ошибкой то, что они сказали, что «значительное продвижение может быть сделано», а не есть «есть небольшой шанс на значительное продвижение». Это специфическое утверждение относительно трудности проблемы и времени решения, которое усиливает степень невозможности. Но если бы они сказали «есть небольшой шанс», у меня бы не было возражений. Как они могли знать?
Дартмутское предложение включало в себя, среди прочего, следую-щие темы: лингвистические коммуникации, лингвистические рассуждения, нейронные сети, абстрагирование, случайность и творчество, взаимодействие с окружением, моделирование мозга, оригинальность, предсказание, изобретение, открытие и самоулучшение. 
Теперь мне кажется, что ИИ, способный к языкам, абстрактному мышлению, творчеству, взаимодействию с окружением, оригинальности, предсказаниям, изобретению, открытиям, и, прежде всего, к самоулучшению, находится далеко за пределами того уровня, на котором он должен быть так же и Дружественным. В Дармутском предложении ничего не говорится о построении  позитивного / доброго / благоволящего ИИ. Вопросы безопасности не обсуждены даже с целью отбросить их. И это в то искреннее лето, когда ИИ человеческого уровня казался прямо за углом. Дармутское предложение было написано в 1955 году, до Асиломарской (Asilomar) кон-ференции по биотехнологии, детей, отравленных тамиламидом во время бе-ременности, Чернобыля и 11 Сентября. Если бы сейчас идея искусственного интеллекта был бы предложена в первый раз, кто-то доложен был бы поста-раться выяснить, что конкретно делается для управления рисками. Я не могу сказать, хорошая это перемена в нашей культуре или плохая. Я не говорю, создаёт ли это хорошую или плохую науку. Но сутью остаётся то, что если бы Дартмутское предложение было бы написано 50 лет спустя, одной из его тем должна была бы стать безопасность.
В момент написания этой статьи в 2006 году, сообщество исследова-телей ИИ по-прежнему не считает Дружественный ИИ частью проблемы. Я бы хотел цитировать ссылки на этот эффект, но я не могу цитировать отсут-ствие литературы. Дружественный ИИ отсутствует в пространстве концеп-ций, а не просто не популярен или не финансируем. Вы не можете даже на-звать Дружественный ИИ пустым местом на карте, поскольку нет понимания, что что-то пропущено . Если вы читали научно-популярные/полутехнические книги, предлагающие, как построить ИИ, та-кие как «Гёдель, Эшер, Бах». (Hofstadter, 1979) или «Сообщество сознаний» (Minsky, 1986), вы можете вспомнить, что вы не видели обсуждения Друже-ственного ИИ в качестве части проблемы. Точно так же я не видел обсужде-ния Дружественного ИИ как технической проблемы в технической литерату-ре. Предпринятые мною литературные изыскания обнаружили в основном краткие нетехнические статьи, не связанные одна с другой, без общих ссы-лок за исключением «Трёх законов Робототехники» Айзека Азимова. (Asimov, 1942.) Имея в виду, что сейчас уже 2006 год, почему не много ис-следователей ИИ, которые говорят о безопасности? У меня нет привилегиро-ванного доступа к чужой психологии, но я кратко обсужу этот вопрос, осно-вываясь на личном опыте общения.
Поле исследований ИИ адаптировалось к тому жизненному опыту, через который оно прошло за последние 50 лет, в частности, к модели боль-ших обещаний, особенно способностей на уровне человека, и следующих за ними приводящих в замешательство публичных провалов. Относить это за-мешательство к самому ИИ несправедливо; более мудрые исследователи, которые не делали больших обещаний, не видели триумфа своего консерва-тизма в газетах. И сейчас невыполненные обещания тут же приходят на ум, как внутри, так и за пределами поля исследований ИИ, когда ИИ упоминает-ся. Культура исследований ИИ адаптировалась к следующему условию: имеется табу на разговоры о способностях человеческого уровня. Есть ещё более сильное табу против тех, кто заявляет и предсказывает некие способности, которые они ещё не продемонстрировали на работающем коде.
У меня сложилось впечатление, что каждый, кто заявляет о том, что исследует Дружественный ИИ, косвенным образом заявляет, что его проект ИИ достаточно мощен, чтобы быть Дружественным.
Должно быть очевидно, что это не верно ни логически, ни философ-ски. Если мы представим себе кого-то, кто создал реальный зрелый ИИ, ко-торый достаточно мощен для того, чтобы быть Дружественным, и, более того, если, в соответствии с нашим желаемым результатом, этот ИИ действи-тельно является Дружественным, то тогда кто-то должен был работать над Дружественным ИИ годы и годы. Дружественный ИИ – это не модуль, кото-рый вы можете мгновенно изобрести, в точный момент, когда он понадобит-ся, и затем вставить в существующий проект, отполированный дизайн кото-рого в остальных отношениях никак не изменится.
Поле исследований ИИ имеет ряд техник, таких как нейронные сети и эволюционное программирование, которые росли маленькими шажками в течение десятилетий. Но нейронные сети непрозрачны – пользователь не имеет никакого представления о том, как нейронные сети принимают свои решения – и не могут быть легко приведены в состояние прозрачности; лю-ди, которые изобрели и отшлифовали нейронные сети, не думали о долго-срочных проблемах Дружественного ИИ. Эволюционное программирование (ЭП) является стохастическим, и не сохраняет точно цель оптимизации в сгенерированном коде; ЭП даёт вам код, который делает то, что вы запраши-ваете – большую часть времени в определённых условиях, но этот код может делать что-то на стороне. ЭП – это мощная, всё более зрелая техника, кото-рая по своей природе не подходит для целей Дружественного ИИ. Дружест-венный ИИ, как я его представляю, требует рекурсивных циклов самоулуч-шения, которые абсолютно точно сохраняют цель оптимизации.
Наиболее сильные современные техники ИИ, так, как они были раз-виты, отполированы и улучшены с течением времени, имеют основопола-гающую несовместимость с требованиями Дружественного ИИ, как я их сей-час понимаю. Проблема Y2K, исправить которую оказалось очень дорого, хотя это и не было глобальной катастрофой, – точно так же произошла из неспособности предвидеть завтрашние проектные требования. Кошмарным сценарием является то, что мы можем обнаружить, что нам всучили каталог зрелых, мощных, публично доступных техник ИИ, которые соединяются, чтобы породить неДружественный ИИ, но которые нельзя использовать для построения Дружественного ИИ без переделывания всей работы за три деся-тилетия с нуля. В поле исследований ИИ довольно вызывающе открыто об-суждать ИИ человеческого уровня, в связи с прошлым опытом этих дискус-сий. Есть соблазн поздравить себя за подобную смелость, и затем остано-виться. После проявления такой смелости обсуждать трансчеловеческий ИИ кажется смешным и ненужным. (Хотя нет выделенных причин, по которым ИИ должен был бы медленно взбираться по шкале интеллектуальности, и затем навсегда остановиться на человеческой точке.) Осмеливаться говорить о Дружественном ИИ, в качестве меры предосторожности по отношению к глобальному риску, будет на два уровня смелее, чем тот уровень смелости, на котором выглядишь нарушающим границы и храбрым.   
Имеется также резонное возражение, которое согласно с тем, что Дружественный ИИ является важной проблемой, но беспокоится, что, с учё-том нашего теперешнего понимания, мы просто не на том уровне, чтобы об-ращаться с Дружественным ИИ: если мы попытаемся разрешить проблему прямо сейчас, мы только потерпим поражение, или создадим анти-науку вместо науки. И об этом возражении стоит обеспокоится. Как мне кажется, необходимые знания уже существуют – что возможно изучить достаточно большой объём существующих знаний и затем обращаться с Дружественным ИИ без того, чтобы вляпаться лицом в кирпичную стену – но эти знания разбросаны среди множества дисциплин: Теории решений и эволюционной психологии и теории вероятностей и эволюционной биологии и когнитивной психологии и теории информации и в области знаний, традиционно известной как «Искусственный интеллект»…  Не существует также учебной программы, которая бы подготовила большой круг учёных для работ в области Дружественного ИИ.
«Правило десяти лет» для гениев, подтверждённое в разных облас-тях – от математике до тенниса – гласит, что никто не достигает выдающихся результатов без по крайней мере десяти лет подготовки. (Hayes, 1981.) Моцарт начал писать симфонии в четыре года, но это не были моцартовские симфонии – потребовалось ещё 13 лет, чтобы Моцарт начал писать выдающиеся симфонии. (Weisberg, 1986.) Мой собственный опыт с кривой обучения подкрепляет эту тревогу. Если нам нужны люди, которые могут сделать прогресс в Дружественном ИИ, то они должны начать тренировать сами себя, всё время, за годы до того, как они внезапно понадобятся.
Если завтра Фонд Билла и Мелинды Гейтс выделит сто миллионов долларов на изучение Дружественного ИИ, тогда тысячи учёных начнут переписывать свои предложения по грантам, чтобы они выглядели релевант-ными по отношению к Дружественному ИИ. Но они не будут искренне заин-тересованы в проблеме – свидетельство чему то, что они не проявляли любо-пытства к проблеме до того, как кто-то предложил им заплатить. Пока Уни-версальный ИИ немоден и Дружественный ИИ полностью за пределами поля зрения, мы можем предположить, что каждый говорящий об этой проблеме искренне заинтересован в ней. Если вы вбросите слишком много денег в проблему, область которой ещё не готова к решению, излишние деньги соз-дадут скорее анти-науку, чем науку – беспорядочную кучу фальшивых ре-шений.
Я не могу считать этот вывод хорошей новостью. Мы были бы в го-раздо большей безопасности, если бы проблема Дружественного ИИ могла бы быть разрешена путём нагромождения человеческих тел и серебра. Но на момент 2006 года я сильно сомневаюсь, что это годится – область Дружест-венного ИИ, и сама область ИИ, находится в слишком большом хаосе. Если кто-то заявляет, что мы не можем достичь прогресса в области Дружествен-ного ИИ, что мы знаем слишком мало, нам следует спросить, как долго этот человек учился, чтобы придти к этому заключению. Кто может сказать, что именно наука не знает? Слишком много науки существует в природе, чтобы один человек мог её выучить. Кто может сказать, что мы не готовы к научной революции, опережая неожиданное? И если мы не можем продвинуться в Дружественном ИИ, потому что мы не готовы, это не означает, что нам не нужен Дружественный ИИ. Эти два утверждения вовсе не эквивалентны!
И если мы обнаружим, что не можем продвинуться в Дружественном ИИ, мы должны определить, как выйти из этой ситуации как можно скорее! Нет никаких гарантий в любом случае, что раз мы не можем управлять риском, то он должен уйти.
И если скрытые таланты юных учёных будут заинтересованы в Дру-жественном ИИ по своему собственному выбору, тогда, я думаю, будет очень полезно с точки зрения человеческого вида, если они смогут подать на многолетний грант, чтобы изучать проблему с полной занятостью. Опреде-лённое финансирование Дружественного ИИ необходимо, чтобы это срабо-тало – значительно большее финансирование, чем это имеется сейчас. Но я думаю, что на этих начальных стадиях Манхетенский проект только бы уве-личил долю шума в системе.

Заключение

Однажды мне стало ясно, что современная цивилизация находится в нестабильном состоянии. I.J. Good предположил, что взрыв интеллекта опи-сывает динамическую нестабильную систему, вроде ручки, точно сбаланси-рованной, чтобы стоять на своём кончике. Если ручка стоит совершенно вер-тикально, она может оставаться в прямом положении, но если ручка откло-няется даже немного от вертикали, гравитация потянет её дальше в этом на-правлении, и процесс ускорится. Точно так же и более умные системы будут требовать меньше времени, чтобы сделать себя ещё умнее.
Мёртвая планета, безжизненно вращающаяся вокруг своей звезды, тоже стабильна. В отличие от интеллектуального взрыва, истребление не является динамическим аттрактором – есть большая разница между «почти исчезнуть» и «исчезнуть». Даже в этом случае, тотальное истребление ста-бильно.
Не должна ли наша цивилизация, в конце концов, придти в один из этих двух режимов? Логически, вышеприведённое рассуждение содержит проколы. Например, Ошибочность Гигантской Ватрушки: умы не бродят слепо между аттракторами, у них есть мотивы. Но даже если и так, то, я ду-маю, наша альтернатива состоит в том, что или стать умнее, или вымереть.
Природа не жестока, но равнодушна; эта нейтральность часто вы-глядит неотличимой от настоящей враждебности. Реальность бросает перед вами один выбор за другим, и когда вы сталкиваетесь с вызовом, с которым не можете справиться, вы испытываете последствия. Часто природа выдвига-ет грубо несправедливые требования, даже в тех тестах, где наказание за ошибку – смерть. Как мог средневековый крестьянин 10 века изобрести ле-карство от туберкулёза? Природа не соизмеряет свои вызовы с вашими уме-ниями, вашими ресурсами, или тем, сколько свободного времени у вас есть, чтобы обдумать проблему. И когда вы сталкиваетесь со смертельным вызо-вом, слишком сложным для вас, вы умираете. Может быть, неприятно об этом думать, но это было реальностью для людей в течение тысяч и тысяч лет. Тоже самое может случится и со всем человеческим видом, если челове-ческий вид столкнётся с несправедливым вызовом.
Если бы человеческие существа не старели, и столетние имели бы такой же уровень смерти, как и 15-летиние, люди всё равно не были бы бес-смертными. Мы будем продолжать существовать, пока нас поддерживает вероятность. Чтобы жить даже миллион лет в качестве не стареющего чело-века в мире, столь рискованном, как наш, вы должны каким-то образом све-сти свою годовую вероятность смерти почти к нулю. Вы не должны водить машину, не должны летать, вы не должны пересекать улицу, даже посмотрев в обе стороны, поскольку это всё ещё слишком большой риск. Даже если вы отбросите все мысли о развлечениях и бросите жить ради сохранения своей жизни, вы не сможете проложить миллионолетний курс без препятствий. Это будет не физически, а умственно (cognitively) невозможно.
Человеческий вид Homo sapiens не стареет, но не бессмертен. Гоми-ниды прожили так долго только потому, что не было арсенала водородных бомб, не было космических кораблей, чтобы направлять астероиды к Земле, не было воённых биолабораторий, чтобы создавать супервирусов, не было повторяющихся ежегодных перспектив атомной войны или нанотехнологи-ческой войны или отбившегося от рук ИИ. Чтобы прожить какое-либо за-метное время, мы должны свести каждый из этих рисков к нулю. «Довольно хорошо» – это недостаточно хорошо, для того, чтобы прожить ещё миллион лет.
Это выглядит как несправедливый вызов. Этот вопрос обычно не был в компетенции исторических человеческих организаций, не зависимо от того, насколько они старались. В течение десятилетий США и СССР избега-ли ядерной войны, но не были в этом совершенны; были очень близкие к войне моменты, например, Кубинский ракетный кризис в 1962 году. Если мы предположим, что будущие умы будут являть ту же смесь глупости и мудро-сти, ту же смесь героизма и эгоизма, как те, о ком мы читаем в исторических книгах – тогда игра в глобальный риск практически закончена; она была проиграна с самого начала. Мы можем прожить ещё десятилетие, даже ещё столетие, но не следующие миллион лет.
Но человеческие умы – это не граница возможного. Homo sapiens представляет собой первый универсальный интеллект. Мы были рождены в самом начале вещей, на рассвете ума. В случае успеха, будущие историки будут оглядываться назад и описывать современный мир как труднопреодо-лимую промежуточную стадию юности, когда человечество стало достаточ-но смышлёным, чтобы создать себе страшные проблемы, но недостаточно смышлёным, чтобы их решить.
Но до того как мы пройдём эту стадию юности, мы должны, как юноши, встретится с взрослой проблемой: вызовом более умного, чем чело-век, интеллекта. Это – выход наружу на высоко-моральной стадии жизненного цикла; путь, слишком близкий к окну уязвимости; это, возможно, самый опасный однократный риск, с которым мы сталкиваемся. ИИ – это единственная дорога в этот вызов, и я надеюсь, что мы пройдём эту дорогу, продолжая разговор. Я думаю, что, в конце концов, окажется проще сделать 747ой с нуля, чем растянуть в масштабе существующую птицу или переса-дить ей реактивные двигатели.
Я не хочу преуменьшать колоссальную ответственность попыток построить, с точной целью и проектом, нечто, более умное, чем мы сами. Но давайте остановимся и вспомним, что интеллект – это далеко не первая вещь, встретившаяся человеческой науке, которая казалась трудна для понимания. Звёзды когда-то были загадкой, и химия, и биология. Поколения исследователей пытались и не смогли понять эти загадки, и они обрели имидж неразрешимых для простой науки. Когда-то давно, никто не понимал, почему одна материя инертна и безжизненна, тогда как другая пульсирует кровью и витальностью. Никто не знал, как живая материя размножает себя или почему наши руки слушаются наших ментальных приказов. Лорд Кельвин писал:
«Влияние животной или растительной жизни на материю находится бесконечно далеко за пределами любого научного исследования, направленного до настоящего времени на него. Его сила управлять перемещениями движущихся частиц, в ежедневно демонстрируемом чуде человеческой свободной воли и в росте поколений за поколением растений из одного семечка, бесконечно отличается от любого возможного результата случайной согласованности атомов». (Цитировано по MacFie, 1912.)
Любое научное игнорирование освящено древностью. Любое и каж-дое отсутствие знаний уходит в прошлое, к рассвету человеческой любозна-тельности; и эта дыра длится целые эпохи, выглядя неизменной, до тех пор, пока кто-то не заполняет её. Я думаю, что даже склонные ошибаться челове-ческие существа способны достичь успеха в создании Дружественного ИИ. Но только если разум перестанет быть сакральной тайной для нас, как жизнь была для Лорда Кельвина. Интеллект должен перестать быть любым видом мистики, сакральным или нет. Мы должны выполнить создание Искусственного Интеллекта как точное приложение точного искусства. И тогда, возможно, мы победим.



Литература:


Asimov, I. 1942. Runaround. Astounding Science Fiction, March 1942.
Barrett, J. L. and Keil, F. 1996. Conceptualizing a non-natural entity: Anthropomorphism in God concepts. Cognitive Psychology, 31: 219-247.
Bostrom, N. 1998. How long before superintelligence? Int. Jour. of Future Studies, 2.
Bostrom, N. 2001. Existential Risks: Analyzing Human Extinction Scena-rios. Journal of Evolution and Technology, 9.
Brown, D.E. 1991. Human universals. New York: McGraw-Hill.
Crochat, P. and Franklin, D. (2000.) Back-Propagation Neural Network Tutorial. http://ieee.uow.edu.au/~daniel/software/libneural/
Deacon, T. 1997. The symbolic species: The co-evolution of language and the brain. New York: Norton.
Drexler, K. E. 1992. Nanosystems: Molecular Machinery, Manufacturing, and Computation. New York: Wiley-Interscience.
Ekman, P. and Keltner, D. 1997. Universal facial expressions of emotion: an old controversy and new findings. In Nonverbal communication: where nature meets culture, eds. U. Segerstrale and P. Molnar. Mahwah, NJ: Lawrence Erlbaum Associates.
Good, I. J. 1965. Speculations Concerning the First Ultraintelligent Ma-chine. Pp. 31-88 in Advances in Computers, vol 6, eds. F. L. Alt and M. Rubinoff. New York: Academic Press.
Hayes, J. R. 1981. The complete problem solver. Philadelphia: Franklin Institute Press.
Hibbard, B. 2001. Super-intelligent machines. ACM SIGGRAPH Compu-ter Graphics, 35(1).
Hibbard, B. 2004. Reinforcement learning as a Context for Integrating AI Research. Presented at the 2004 AAAI Fall Symposium on Achieving Human-Level Intelligence through Integrated Systems and Research.
Hofstadter, D. 1979. G;del, Escher, Bach: An Eternal Golden Braid. New York: Random House
Jaynes, E.T. and Bretthorst, G. L. 2003. Probability Theory: The Logic of Science. Cambridge: Cambridge University Press.
Jensen, A. R. 1999. The G Factor: the Science of Mental Ability. Psyco-loquy, 10(23). 
MacFie, R. C. 1912. Heredity, Evolution, and Vitalism: Some of the dis-coveries of modern research into these matters – their trend and significance. New York: William Wood and Company.
McCarthy, J., Minsky, M. L., Rochester, N. and Shannon, C. E. 1955. A Proposal for the Dartmouth Summer Research Project on Artificial Intelligence.
Merkle, R. C. 1989. Large scale analysis of neural structure. Xerox PARC Technical Report CSL-89-10. November, 1989.
Merkle, R. C. and Drexler, K. E. 1996. Helical Logic. Nanotechnology, 7: 325-339.
Minsky, M. L. 1986. The Society of Mind. New York: Simon and Schus-ter.
Monod, J. L. 1974. On the Molecular Theory of Evolution. New York: Oxford.
Moravec, H. 1988. Mind Children: The Future of Robot and Human Intelligence. Cambridge: Harvard University Press.
Moravec, H. 1999. Robot: Mere Machine to Transcendent Mind. New York: Oxford University Press.
Raymond, E. S. ed. 2003. DWIM. The on-line hacker Jargon File, version 4.4.7, 29 Dec 2003.
Rhodes, R. 1986. The Making of the Atomic Bomb. New York: Simon & Schuster.
Rice, H. G. 1953. Classes of Recursively Enumerable Sets and Their De-cision Problems. Trans. Amer. Math. Soc., 74: 358-366.
Russell, S. J. and Norvig, P. Artificial Intelligence: A Modern Approach. Pp. 962-964. New Jersey: Prentice Hall.
Sandberg, A. 1999. The Physics of Information Processing Superobjects: Daily Life Among the Jupiter Brains. Journal of Evolution and Technology, 5.
Schmidhuber, J. 2003. Goedel machines: self-referential universal prob-lem solvers making provably optimal self-improvements. In Artificial General Intelligence, eds. B. Goertzel and C. Pennachin. Forthcoming. New York: Springer-Verlag.
Sober, E. 1984. The nature of selection. Cambridge, MA: MIT Press.
Tooby, J. and Cosmides, L. 1992. The psychological foundations of cul-ture. In The adapted mind: Evolutionary psychology and the generation of culture, eds. J. H. Barkow, L. Cosmides and J. Tooby. New York: Oxford University Press.
Vinge, V. 1993. The Coming Technological Singularity. Presented at the VISION-21 Symposium, sponsored by NASA Lewis Research Center and the Ohio Aerospace Institute. March, 1993.
Wachowski, A. and Wachowski, L. 1999. The Matrix, USA, Warner Bros, 135 min.
Weisburg, R. 1986. Creativity, genius and other myths. New York: W.H Freeman.
Williams, G. C. 1966. Adaptation and Natural Selection: A critique of some current evolutionary thought. Princeton, NJ: Princeton University Press.







;
Роберт Фрейтас. Проблема Серой Слизи

  The Gray Goo Problem by  Robert A. Freitas Jr.


перевод: А.В.Турчин

В классическом сценарии «серой слизи» Эрика Дрекслера вышедшие из-под контроля нанотехнологические репликаторы истребляют всю жизнь на Земле. Данная статья Роберта Фрейтаса представляет собой первый количественный технический анализ этого катастрофического сценария, а также предлагает ряд возможных решений. Она была написана частично в ответ на опасения, недавно высказанные Биллом Джоем.
Изначально эта статья была опубликована в апреле 2000 года под названием «Некоторые пределы глобальной экофагии биоядными нанорепликаторами, с рекомендациями для государственной политики». "Some Limits to Global Ecophagy by Biovorous Nanoreplicators, with Public Policy Recommendations." Оригинальная версия вышла в апреле 2000г. Здесь приводится сокращённая версия с сайта KurzweilAI.net от 20 марта 2001г.


Максимальная скорость глобальной экофагии биоядными самораз-множающимися нанороботами фундаментальным образом ограничена сле-дующими факторами:  применяемой стратегией репликации; максимальной скоростью распространения подвижных репликаторов; доступной энергией и требуемыми химическими элементами; гомеостатическим сопротивлени-ем биологической экосообществ к экофагии; пределами теплового загрязне-ния, связанного с экофагией; и, что важнее всего, нашей решимостью и го-товностью остановить их.   
Предполагая, что нынешние и предвидимые в будущем рассеиваю-щие энергию системы требуют ~ 100 Мдж/кг для химических реакций (наи-более вероятно для биоядных систем), мы получим, что довольно медленная экофагия даст примерно 4°C к глобальному потеплению (что находится примерно на уровне немедленного обнаружения современными климатологи-ческими средствами) и потребует примерно 20 месяцев для завершения; более быстрые устройства-экофаги будут работать с большим выделени-ем тепла, что позволит контролирующим властям быстрее их заметить. Все исследованные сценарии экофагии могут быть обнаружены средствами бдительного мониторинга, позволяя в силу этого быстро развернуть эф-фективные защитные инструменты.

Введение

Недавние дискуссии [1] о возможных опасностях, связанных с бу-дущими технологиями, такими как искусственный интеллект, генная инже-нерия и молекулярная нанотехнология, сделали очевидным то, что необхо-дим интенсивный теоретический анализ основных рисков окружающей среде со стороны молекулярной нанотехнологии (MNT). Никаких систематических исследований рисков и ограничений MNT технологий пока не предпринималось. Эта статья представляет собой первую попытку начать этот аналитический процесс с применением количественных методов.
Возможно, впервые обнаруженная и наиболее известная опасность молекулярной нанотехнологии – это опасность, что самореплицирующиеся нанороботы, способные автономно функционировать в естественной среде, могут быстро превратить естественную среду (то есть биомассу) в собствен-ные копии (то есть наномассу) по всей планете. Этот сценарий обычно назы-вается «проблемой серой слизи», но, пожалуй, более правильно мог бы быть назван «глобальной экофагией».
Как Дрекслер впервые предупредил в «Машинах Созидания» [2]:
"Растения" с "листьями", не более эффективными, чем сегодняшние солнечные элементы, могли бы выиграть в конкурентной борьбе с настоя-щими растениями, наводняя биосферу несъедобной листвой. Точно также всеядные "бактерии" могли бы победить в  конкуренции настоящих бакте-рий: они могли бы распространиться, как летящая пыльца, стремительно размножаясь и сведя биосферу в пыль за считанные дни. Опасные реплика-торы могли бы легко быть слишком жесткими, маленькими и быстро распро-страняющимися, чтобы их можно было остановить – по крайней мере, если мы не сделаем никаких приготовлений. А у нас и так достаточно проблем с контролем над вирусами и фруктовыми мушками.
Среди знатоков нанотехнологий эта угроза стала известна как «про-блема серой слизи». Хотя массы неконтролируемых репликаторов не обяза-ны быть серыми и склизкими, термин серая слизь подчёркивает, что репли-каторы, способные уничтожить жизнь, могут быть не более вдохновляющи-ми, чем ползучий сорняк. Они могут быть превосходными в эволюционном смысле, но это не делает их ценными.
Угроза серой слизи делает одну вещь абсолютно ясной: Мы не мо-жем себе позволить определённого рода аварии с реплицирующимися ас-семблерами.
Серая слизь определённо была бы печальным концом человеческих приключений на Земле, значительно худшим, чем огонь или лёд, и при этом она могла бы произойти из одной-единственной аварии в лаборатории.
Ледерберг [3] отмечает, что мир микробов развивается в быстром темпе, и предполагает, что наше выживание зависит от принятия «более микробной точки зрения». Возникновение новых инфекций, таких как ВИЧ и вирус Эбола, демонстрирует, что у нас пока очень мало знаний о том, как естественные или технологические вмешательства в окружающую среду могут запускать мутации в известных организмах или неизвестных сущест-вующих организмах [81], создавая ограниченную форму «зелёной слизи» [92].
Однако будет нелегко построить биоядных нанороботов, способные к всепоглощающей экофагии, и их конструирование потребует исключи-тельного внимания к множеству сложных требований и тактических задач. Такие биопожиратели могут появиться только после длительного периода целенаправленных сконцентрированных усилий, или как результат намерен-ных экспериментов, направленных на создание искусственной жизни общего назначения, возможно, с использованием генетических алгоритмов, и очень маловероятно, что они возникнут исключительно в результате аварии.

Угроза экофагии

Классическая молекулярная нанотехнология [2], [4] предвидит соз-дание наномашин в основном сконструированных из богатых углеродом алмазоподобных материалов – даймонидов. Другая полезная нанохимия может включать в себя богатый алюминием сапфир (Al2O3), богатые бором (BN) или титаном материалы (TiC) и подобные им. TiC имеет наивысшую возможную рабочую температуру среди обычных материалов (точка плавления ~ 3410°K [5]), и, хотя алмаз может поцарапать TiC, TiC может быть использован для плавления алмаза.
Однако атомы Al, Ti и B гораздо более распространены в земной ко-ре, чем в биомассе (81 300 ppm, 4400 ppm и 3 ppm, соответственно [5]), то есть в человеческом теле (0,1 ppm, 0 ppm, and 0,03 ppm [6]), что уменьшает прямую угрозу экофагии от таких систем. С другой стороны, углерод в тыся-чу раз менее распространён в земной коре (320 ppm, в основном карбонаты), чем в биосфере (~230 000 ppm).
Более того, возможность превращения литосферы в наномеханизмы не является главным поводом для беспокойства, поскольку обычные скалы содержат относительно мало источников энергии. Например, содержание естественных радиоактивных изотопов в скальных породах земной коры имеет значительные разброс, как функция их геологического происхождения и истории региона, но в основном находится в пределах 0.15-1.40 милиГр/год mGy/yr [7], давая мощность порядка 0.28-2.6 ;10-7 Вт/m3, в предположении, что горные породы имеют плотность, приблизительно равную средней земной плотности (5522 кг/м3 [5]).
Этого крайне недостаточно для питания нанороботов, способных к значительной активности; современные конструкции наномашин в основном требуют энергетических мощностей порядка 10-5 -10-9 Вт/m3 для того, чтобы достичь эффективных результатов [6]. (Биологические системы обычно функционируют с мощностями 10-2 -10-6 Вт/m3 [6].)
Солнечная энергия не доступна под земной поверхностью, и средний поток геотермального тепла составляет только 0,05 Вт/m2 на земной поверхности [6], что составляет только малую часть от солнечной энергии.
Гипотетические абиотические запасы нефти в земной коре [16], ве-роятно, не могут дать достаточной энергии для роста наномассы репликато-ров по причине отсутствия окислителей глубоко под землёй, хотя были опи-саны потенциально большие популяции геобактерий [10-16], и в принципе некоторые необычные, хотя весьма ограниченные бактериальные источники энергии тоже могут быть заняты нанороботами.
Например, некоторые анаэробные бактерии используют металлы (вместо кислорода) в качестве акцепторов электронов [13], превращая железо из минералов вроде пироксена или оливина в железо в более окисленной форме в магнитных минералах вроде магнетита и маггемита, и используют геохемически возникающий водород, чтобы превращать СО2 в метан [11]. Подземные бактерии в отложениях Атрим Шейл производят 1.2 ;107 м3/ день природного газа (метана), потребляя остатки водорослей возрастом 370 млн. лет [17].
Также проводились эксперименты по биорекультивации в фирме Envirogen и в других, в ходе которых питающиеся загрязнениями бактерии намеренно вводились в землю, чтобы метаболизировать органические яды; в ходе полевых исследований выяснилось, что трудно заставить бактерии дви-гаться сквозь подземные водоносные слои, поскольку негативно заряженные клетки склонны склеиваться с позитивно заряженными оксидами железа в почве [18].
Однако главная тревога относительно экофагии состоит в том, что неудержимое распространение нанороботов-репликаторов или «реплиботов» превратит всю биосферу на поверхности Земли (то есть экосистему всех живых организмов на поверхности Земли) в искусственные материалы некого рода – особенно, материалы вроде них самих, иначе говоря, в ещё большие количества самореплицирующихся наноробтов.
Поскольку продвинутые нанороботы могут быть сконструированы в основном из богатых углеродом алмазоподобных материалов [4], и посколь-ку ~12% всех атомов в человеческом теле (что типично для биологии в це-лом) – это атомы углерода, или ~23% по весу, запас углерода во всей земной биомассе может оказаться достаточным для самопроизводства конечной массы реплицирующихся алмазоидных нанороботов порядка ~0.23 Mbio, где Mbio – полный вес земной биомассы.
В отличие от большинства естественных материалов, биомасса мо-жет служить как источника углерода, так и источника энергии для реплика-ции наномашин. Нанороботы-экофаги могут считать живые организмы в качестве естественных накопителей углерода, а биомассу – в качестве цен-ной руды для добычи углерода и энергии. Разумеется, биосистемы, из кото-рых выделен весь углерод, больше не могут быть живыми, но вместо этого будут безжизненной химической грязью.

Другие возможные сценарии

Были обнаружены четыре других сценария, которые могут привести непрямым образом к глобальной экофагии. Мы их рассмотрим ниже. Во всех случаях раннее обнаружение кажется возможным при достаточном уровне подготовки, и адекватная защита легко представима при использовании мо-лекулярных нанотехнологий сопоставимой сложности. 

Серый Планктон
 
Существование 1-2•10**16 кг [24] подводных запасов углерода на материковых окраинах в виде клатратов метана и подобного же количества (3,8 •10**16 кг) растворённого в воде углерода в форме CO2 представляет собой запас углерода более чем на порядок больший глобальной биомассы.
Метан и CO2 в принципе могут реагировать, образуя чистый углерод и воду, плюс 0,5 МДж/кг энергии. (Некоторые исследователи изучают возможность уменьшить эффект парниковых газов, закачивая жидкий [44] или твёрдый [45] CO2 на дно океана, что потенциально может облегчить задачу морским реплиботам по метаболизму запасов метана.)
Кислород также может быть транспортирован с поверхности в мик-робаках под давлением посредством системы транспорта, основанной на плавучести, в которой превращение хлатрата метана в наномассу будет происходить на морском дне. Последующая колонизация богатой углеродом наземной экосистемы огромной и голодной массой выросших на морском дне репликаторов называется сценарием «серого планктона».
(Фитопланктон, имеющий размеры в 1-200 микрометров, состоит из частиц наиболее ответственных за изменение оптических свойств океанской воды по причине сильного поглощения этими клетками голубых и красных частей оптического спектра [37].)
Если конроль не будет вестись около морского дна во время основ-ного цикла репликации нанороботов, то естественное отношение числа жи-вых клеток к числу нанороботов окажется больше на много порядков вели-чины, что требует более тщательных усилий по подсчёту. Осуществляющие подсчёт нанороботы могут быть использованы для обнаружения, отключе-ния, опрыскивания или разрушения устройств серого планктона

Серая пыль (Поедатели воздуха – Aerovores)

Традиционные конструкции алмазоидной наномашинерии [4] ис-пользуют 8 основных химических элементов, при этом все они присутствуют в атмосфере в значительных количествах [46]. (Кремний присутствует в воз-духе в виде микроскопической пыли, которая содержит ~28% Si в случае скальных пород [5], при средней концентрации пыли в атмосфере ~0.0025 mg/m3.) Потребность в относительно редких в атмосфере элементах значи-тельно ограничивает потенциальную наномассу и скорость роста летающих репликаторов.
Однако отметьте, что одна из классических конструкций наноробота имеет более 91% CHON по весу. И хотя это будет крайне трудно сделать, теоретически возможно, что репликаторы будут сделаны почти целиком из CHON, и в этом случае такие устройства могут реплицироваться относительно быстро с использованием только атмосферных ресурсов и солнечную энергию. Всемирное покрывало из летающих в воздухе репликаторов или «аэроворосов» (воздухоядных), которое блокирует весь солнечный свет, было названо сценарием «серой пыли» [47]. (Уже было несколько экспериментов с выпуском в воздух рекомбинантных бактерий [48].)
Наиболее эффективной стратегией борьбы с ними будет выброс в воздух несамореплицирующихся нанороботов, снабжённых клейками микро неводами.
В качестве альтернативного метода борьбы легко можно представить летающие или базирующиеся на земле системы атмосферной фильтрации, которые позволят осуществлять более быструю фильтрацию. Например, поскольку сила тяги изменяется пропорционально квадрату скорости при увеличении размеров ячейки сетки в 10 000 раз при снижении скорости в 100 раз, суммарная сила тяги остаётся неизменной, но полное прокачивание атмосферы происходит в 100 раз быстрее, например, за ~15 минут.

Серый лишайник

Колонии грибов и водорослей в симбиозе, известные как лишайники (которых некоторые называют формой подвоздушной биоплёнки) находятся среди первых растений, которые начинают расти на голом камне, помогая формированию почвы путём разъедания скал [55]. Микробные сообщества литобионтов, такие как корковые скальные лишайники, проникают в мине-ральные поверхности на глубины до 1 см, используя комплексное растворе-ние, селективный транспорт и процессы рекристаллизации, иногда называе-мые термином «биологическое выветривание» [56].
Колонии эпилитических (живущих на поверхности скал) микроско-пических бактерий создают слой патины толщиной 10 микрон на скалах в пустынях (называемой «пустынная ржавчина» [57]) и содержат следовые количества оксидов Mn и Fe, которые помогают обеспечить защиту от тепла и УФ-радиации [57-59].
В теории, реплицирующиеся нанороботы могут быть почти полно-стью сделаны их неалмазоидных материалов, включая неуглеродные хими-ческие элементы, такие как кремний, алюминий, железо, титан и кислород. Последующая экофагия живущих на поверхности живых существ злонаме-ренно запрограммированной популяцией неуглеродных эпилитических реп-ликаторов является сценарием «серого лишайника».
Непрерывный прямой учёт образцов с земной поверхности почти наверняка обеспечит ранее обнаружение, поскольку минералогические нанороботы будут легко отличимы от инертной скалы и от органических микробов в верхних 3-8 см почвы.

Злонамеренная экофагия

Более опасные сценарии включают в себя экофагические атаки, ко-торые предприняты не для превращения биомассы в наномассу, но, в первую очередь, для уничтожения биомассы. Оптимальная злонамеренная стратегия экофагической атаки, по-видимому, включает двухфазный процесс.
На первой фазе начальные семена реплиботов широко распростра-няются в окрестностях биомассы, на которую они нацелены, реплицируясь максимально скрытным образом до некоторого критического размера попу-ляции и потребляя материал местной окружающей среды, чтобы набрать наномассу. На второй фазе уже большая популяция реплиботов прекращает размножение, и действует исключительно ради своей главной цели – разру-шения. В общем, эта стратегия может быть описана как Строить/ Разрушать.
В фазе строительства опасных «злоботов» ("badbots"), предполагае-мые их технологические эквиваленты, защитные «доброботы» ("goodbots") имеют, по крайней мере, три важных тактических преимущества перед свои-ми соперниками:
1. Подготовка – защитные агентства могут заранее произвести и на-копить подавляюще большие количества защитных инструментов (жела-тельно, не самореплицирующихся), то есть доброботов, которые могут быть немедленно размещены по первому признаку угрозы, с минимальным до-полнительным риском для среды.
2. Эффективность – в то время как злоботы должны одновременно реплицироваться и защищать себя от атак (активно или сохраняя невиди-мость), доброботы могут сконцентрироваться исключительно на атаке злоботов (например, по причине своего подавляющего численного превосходства при раннем размещении) и в силу этого иметь меньшие операционные расходы и более высокую эффективность в достижении своих целей, при прочих равных.
3. Эффект рычага – в отношении материалов, энергии, времени и сложности меньше ресурсов, вообще говоря, требуется, чтобы ограничить, ослабить или разрушить сложную машину, чем требуется, чтобы построить или реплицировать настолько же сложную с нуля (например, одна маленькая бомба может уничтожить большую фабрику по производству бомб; одна маленькая ракета может уничтожить большой корабль).
Наиболее выгодно бороться со злонамеренной угрозой экофагии, ко-гда она всё ещё находится на своей стадии строительства. Это требует пред-видения и преданности интенсивному контролю со стороны оборонных ве-домств.

Заключение и рекомендации для государственной политики

Наименьший возможный биоядный нанорепликатор имеет молеку-лярный вес  ~1 гигадальтона (1 дальтон примерно равен массе атома водорода) и минимальное время репликации порядка 100 секунд, что в теории позволяет глобальной экофагии закончится всего на всего за примерно 10 000 секунд. Однако такое быстрое реплицирование создаёт немедленно обнаружимую температурную подпись, позволяющую быстро разместить эффективные оборонительные инструменты – до того, как будет нанесён значительный ущерб экосистеме.
Такие оборонительные инструменты будут генерировать своё собст-венное тепловое загрязнение во время оборонительных операций. Это не должно ограничить защитную стратегию значительным образом, поскольку опрыскивание, отключение и разрушение работающего нанорепликатора должно потреблять гораздо меньше энергии, чем потребляется нанореплика-тором в течение одного цикла репликации, и, следовательно, такие оборони-тельные операции являются по сути эндотермическими.
Экофагия, которая происходит на уровне порога современного кли-матического обнаружения, добавляя примерно ~4°C к глобальному потепле-нию, может потребовать ~20 месяцев на своё заверше