Война и ещё 25 сценариев конца света

Эта книга вышла в издательстве «Европа» под названием «Война и ещё 25 сценариев конца света» в 2008г. Исходное название книги:

Гносеология катастроф: Непредсказуемость и конец света.


Ведение. Истина и коллайдер. 1
Глава 1. Будущее и природа человеческих заблуждений. 5
Глава 2. Горизонт прогноза: непредсказуемость против непостижимости. 15
Глава 3. Сингулярность 29
Глава 4. Искусственный интеллект, его риски и непредсказуемость. 37
Глава 5. Биотехнологии: предсказуемая катастрофа. 53
Глава 6. Что мы знаем, не знаем, и не можем знать о нанотехнологиях. 59
Глава 7. Супернаркотик: знание, убивающее само себя. 65
Глава 8. Ядерное оружие – может ли бомба уничтожить мир? 69
Глава 9. Исчерпание ресурсов 80
Глава 10. Doomsday men: человек выбирает смерть 86
Глава 11. Риски, связанные с программой SETI. 92
Глава 12. Глобальное потепление – верить или нет? 104
Глава 14. Астероиды и космическое оружие. 108
Глава 15. Супервулкан: путешествие к центру Земли. 114
Глава 16. Физические эксперименты: столкновение с неведомым лоб в лоб. 116
Глава 17. Маловероятные сценарии человеческого вымирания. 121
Глава 18. Теорема о конце света и другие логические парадоксы, связанные с человеческим вымиранием. 134
Глава 19. Стоит ли бояться отключения Матрицы? 145
Глава 20. Системный кризис: все против всех 148
Глава 21. Цепная реакция. 151
Глава 22. В поисках выхода: компьютерный тоталитаризм. 158
Глава 23. В поисках выхода-2. Убежища и бункеры. 163
Глава 24. Катастрофы и границы науки. 168
Глава 25. Глобальные катастрофы: русский срез 171
Глава 26. Моделирование сценариев глобальной катастрофы. 180
Вместо заключения. Конец света и человеческая природа. 185



Ведение. Истина и коллайдер.



В 2008 году в центре внимания общественности оказались гипотетические риски, связанные с запуском большого адронного коллайдера в ЦЕРН на границе Франции и Швейцарии. Ряд учёных высказали опасения, что в результате работы коллайдера возникнет чёрная дыра или стрейнджлет, которые могут уничтожить Землю. С целью опровергнуть эти опасения были выполнены исследования безопасности коллайдера, которые показали, что риск бесконечно мал.
Итак, безопасность всей планеты зависит от истинности доказательств безопасности коллайдера. Это верно и во многих других случаях, когда требуется обеспечить безопасность какой-либо деятельности. Абсолютная безопасность требует абсолютной истинности высказываний. Если же абсолютная истинность высказываний недостижима, то и коллайдер не может быть абсолютно безопасен. В той мере, в какой в нашей картине мира есть тёмные пятна и наш ум подвержен когнитивным искажениям, наши высказывания являются частично ложными, и мы рискуем натыкаться на острые углы реальности в самых неожиданных местах.
Защита от будущих катастроф требует чёткой системы познания мира, то есть гносеологии. Чтобы проиллюстрировать то, каким образом истинность или ложность высказываний влияет на окончательные выводы в отношении глобальных рисков, разберём теперь основные доводы за и против экспериментов на адронном коллайдере.
Большой адронный коллайдер (БАК, он же LHC) расположен на территории Франции и Швейцарии в районе Женевы в кольцевом тоннеле с окружностью 26.7 км. Он будет разгонять протоны до энергий в 7 ТэВ (что даст 14 ТэВ при столкновении встречных пучков), а также ядра свинца до 5.5 ТэВ. Эти энергии будут по крайней мере в 10 раз больше, чем на предыдущих ускорителях. Стоимость ускорителя составила около 10 миллиардов долларов. Эта экспериментальная установка должна дать ответы на многие вопросы об устройстве природы, которые недоступны никаким другим способом, в частности уточнить так называемую Стандартную модель и проверить существование бозона Хиггса.
В Интернете широко была разрекламирована дата запуска ускорителя в августе 2008 года. В действительности процесс запуска ускорителя является постепенным и начнётся позже. В августе 2008 года запланированы запуски пробных пучков (Commission Ray) без столкновений. Их энергия будет только 0.7 ТЭВ, как и у предыдущих ускорителей. Осенью 2008 запланированы столкновения с энергией в 7 ТэВ, а энергии в 14 ТЭВ будут достигнуты, согласно плану, к весне 2009 г. Кроме того, светимость, то есть одновременное количество частиц в ускорителе, вначале будет очень мала, и будет постепенно повышаться от 10**29 частиц /см**2 сек в пробных пучках до 10**34 в 2010 году, то есть вырастет в 10 000 раз. Это означает, что если с ускорителем и связан какой-либо риск, он не реализуется в момент первого его включения в 2008 году, а его вероятность будет медленно нарастать вплоть до 2010 года.
Основные риски, связанные с коллайдером, состоят в том, что на нём возникнут некие гипотетические частицы, которые так или иначе будут способны захватывать частицы обычной материи и трансформировать их в подобные себе частицы или поглощать в себя. Основных таких гипотетических частиц две – это микроскопические чёрные дыры и стрейнджлеты (страпельки). Однако помимо них рассматривались ещё два класса возможных опасных объектов – магнитные монополи и пузыри «истинного вакуума». Сразу отметим, что полнота этого списка возможных опасных объектов ничем не доказана. То есть, хотя есть относительно хорошие основания полгать, что чёрные дыры, стрейнджлеты, магнитные монополи и пузыри вакуума либо невозможны, либо безопасны, это не значит, что нет какого-то пятого класса частиц, о которых мы не можем знать ничего, до тех пор, пока их не откроем – а когда мы их откроем, будет уже поздно.
Все эти опасные объекты невозможны, исходя из Стандартной модели, принятой современной физикой. С другой стороны, коллайдер построен именно для того, чтобы исследовать границы применимости Стандартной модели и найти возможные её расширения. Здесь возникает логический парадокс: безопасность коллайдера доказывается через то, что мы знаем, тогда как цель коллайдера БАК – проникнуть в неведомое. Можно сказать так: чтобы полностью исследовать некую систему, нужно её разобрать, то есть разрушить. Для познания человеческой анатомии потребовалась патологоанатомия. Соответственно, окончательное познание тайн Вселенной потребует её разрушения.
Хотя Стандартная модель не допускает возникновения микроскопических чёрных дыр в ускорителе БАК, так как для этого просто не хватит энергии, некоторые расширения этой модели, которые предполагают наличие дополнительных измерений, делают возникновение таких чёрных дыр возможным со скоростью порядка одной штуки в секунду. С точки зрения современной физики, такие микроскопические чёрные дыры будут немедленно разрушаться Хокинговским излучением – то есть они будут излучать быстрее, чем будут способны притягивать материю. Хотя концепция Хокинговского излучения выглядит теоретически убедительной, у неё нет никаких экспериментальных доказательств. (Поскольку чем больше чёрная дыра, тем меньше она излучает по Хокингу, и у наблюдаемых, причём косвенно, космических чёрных дыр это излучение ничтожно мало и не может быть зафиксировано.) Весьма самонадейно с человеческой точки зрения полагать, что мы всё знаем о чёрных дырах.
Даже если микроскопическая чёрная дыра возникнет в БАК и даже если она не разрушится Хокинговским излучением, она будет настолько малой массы и размеров, что будет много меньше размеров атома, и её гравитационное поле тоже будет простираться на расстояния, меньшие размеров ядра атома. Таким образом, такая чёрная дыра будет очень мало способна к каким-либо реакциям. Она может свободно летать среди вещества, никак с ним не взаимодействуя. С другой стороны, есть предположения, что в процессе формирования такая микрочёрная дыра приобретёт электрический заряд или магнитный момент, и в силу этого начнёт гораздо быстрее притягивать к себе электрически заряженные ядра атомов и электроны. По мере роста массы чёрной дыры её способность поглощать материю тоже будет расти, и неизвестно по какому закону – степенному или экспоненциальному. Всё же, процесс начального роста микроскопической чёрной дыры может быть крайне медленным. То есть дыра может возникнуть на коллайдере БАК, и никто этого не заметит. Она погрузится в центр Земли, где начнёт очень медленно, но с растущий скоростью, набирать массу. По некоторым предположениям, это потребует миллионов и миллиардов лет, прежде чем станет заметным – а значит, не угрожает безопасности человечества. (Как показано в статье Benjamin Koch, Marcus Bleicher, and Horst St;ocker. Exclusion of black hole disaster scenarios at the LHC. http://arxiv.org/PS_cache/arxiv/pdf/0807/0807.3349v1.pdf в случае, если наша Вселенная имеет одно скрытое измерение, время поглощения Земли составит 27 лет, а если два – то десять тысяч триллионов лет. Понятно, что только первый сценарий заслуживает внимания.) Всё же 27 лет – это не те несколько секунд, за которые поглощается Земля на известном видеоролике, выложенном на Youtube. Отметим, однако, что человечество погибнет гораздо раньше, чем произойдёт полное поглощение чёрной дырой Земли. Поскольку примерно половина массы при поглощении вещества черными дырами переходит в энергию излучения (за счёт этого светят квазары), то процесс поглощения Земли будет сопровождаться разогревом её вещества. В начале роста дыры, например, из-под земли начнут вырываться потоки раскалённых газов в виде мощнейших вулканических извержений, которые сделают атмосферу непригодной для дыхания. Кроме того, можно предположить, что катастрофа с микроскопической чёрной дырой уже произошла при работе предыдущих ускорителей (например, RHIC), но мы пока не наблюдаем её проявлений, так как она пока ещё не выросла.
Итак, микроскопическая чёрная дыра может быть опасна, только если ряд теоретических предположений окажется истинным. Понятно, что это маловероятно, хотя каким образом применять понятие «вероятности» к тем или иным свойствам законов Вселенной, не вполне ясно. В течение последних лет вышло несколько статей, в которых обосновывается невозможность катастрофа с чёрными дырами на БАК.
Основной недостаток этих статей состоит в том, что они появились ПОСЛЕ того, как решение о строительстве коллайдера было принято, десятки тысячи физиков были наняты на работу и миллиарды долларов потрачены. То есть цель этих статей – не исследовать вопрос о том, каковы реальные шансы катастрофы, а успокоить публику и обеспечить продолжение исследований. Этим данные статьи отличаются от рассекреченного недавно отчета LA-602 о рисках термоядерной детонации атмосферы, который был выполнен перед первыми испытаниями атомной бомбы в США в 1945 г. Комптоном,  и цель которого состояла в исследовании вопроса, а не в успокоении публики.
Поэтому более честно было бы использовать в качестве обоснований рисков не публикации 2007-2008 года, приуроченные к завершению работ по строительству коллайдера, а публикации 1999 года, на основании которых принимались решения о строительстве. Отметим, что наихудшая оценка риска в публикациях 1999 года, как сообщает Э.Кент в статье «Критический обзор оценок рисков глобальных катастроф», была 1 к 5000.
Есть два способа обоснования безопасности коллайдера: теоретический и основанный эмпирических свидетельствах. Примером теоретического обоснования являются ссылки на Хокинговское излучение, которое должно разрушать любые микроскопические чёрные дыры. Очевидно, что теоретические обоснования не дают надёжного заверения, так как всегда возможна ещё одна теория, перекрывающая старую. Эмпирические заверения строятся на том факте, что энергии космических лучей, которые непрерывно бомбардируют атмосферу Земли, гораздо выше энергий, которые будут достигаться в коллайдере, и раз Земля до сих пор существует, то значит и коллайдер безопасен. Более продвинутые версии доказательств безопасности коллайдера используют тот факт, что существуют Луна, нейтронные звёзды и белые карлики, несмотря на их непрерывную бомбардировку космическими лучами.
Однако любые эмпирические доказательства безопасности коллайдера строятся на определённых аналогиях, поскольку сам по себе коллайдер изделие уникальное. Эти доказательства говорят о том, что то, что в коллайдере происходит, аналогично тому, что уже триллион триллионов раз происходило на Земле и во Вселенной без каких-либо негативных последствий. Основной проблемой такого доказательства является слово «аналогично». Нет сомнений в том, что уже произошли триллионы столкновений атмосферы Земли с космическими лучами – основные сомнения в том, что эта ситуация ПОЛНОСТЬЮ аналогична той, что происходит в коллайдере.
Далее я приведу список основных возражений на обоснования безопасности коллайдера. Подчеркну, что наличие возражений вовсе не означает, что катастрофа с коллайдером неизбежна или что я в ней уверен.

1) Тот факт, что Земля и Солнце выжили (в результате столкновения с космическими лучами), ничего не доказывает, так как если бы они не выжили, то некому было бы и обсуждать проблему. Как бы ни была мала вероятность выживания Земли, мы можем обнаруживать себя только на той Земле, где не произошла катастрофа. (Антропный принцип.) Поэтому разумным выглядит анализ Луны или нейтронных звёзд как объектов, которые выжили, что и делается в более продвинутых обоснованиях безопасности.
2) Существование Луны и нейтронных звёзд ни о чём не говорит, так как мы можем наблюдать только их существование. Мы не можем наблюдать исчезнувшие звёздные объекты. Тем не менее, мы знаем, что большая часть массы Вселенной невидима (тёмная материя). Так что если даже большинство звёзд превратилось в сгустки неизвестно чего, это не противоречит наблюдаемым фактам.
3) Аналогия сохранения Земли с сохранением нейтронных звёзд может быть ущербна, если окажется что некоторые особенности строения нейтронных звёзд (которых нет у Земли) позволяют им противостоять поглощению микроскопическими чёрными дырами (например, сильное магнитное поле.)
4) Столкновение космических лучей с атмосферой Земли не аналогичны процессам в коллайдере.
А) Потому что получающиеся продукты распада в естественном случае движутся с околосветовой скоростью и быстро пролетают Землю, тогда как в случае коллайдера импульсы встречных пучков нейтрализуются и некоторая часть частиц будет иметь почти нулевую скорость – а значит, может задержаться в гравитационном поле Земли.
Б) В коллайдере будут использоваться, помимо протонов, ядра свинца атомной массы 207, а в космических лучах бывают только ядра железа атомной массы 56, и в земной атмосфере тоже свинца нет. В природе почти никогда не происходит столкновения таких тяжелых атомов на таких энергиях.  Разница может быть (а может и не быть) критической. Например, из того, что безопасно соединить два куска меди, вовсе не следует. что безопасно соединить два куска плутония – произойдёт атомной взрыв.
В) Встречные столкновения космических лучей происходят вдалеке от звёзд – так что даже если при этом образуются опасные продукты реакции, они не успевают выпасть на звёзды.
Г) Столкновения в коллайдере происходят с гораздо большей плотностью, чем столкновения космических лучей.
Д) Столкновения в коллайдере происходят в сильном магнитном поле, которого нет в верхних слоях атмосферы, а также рядом присутствуют сверхпроводящие магниты.
4) Тот факт, что коллайдеры давно уже безопасно работают, ничего не доказывает.
А) Потому что сечение некоторых опасных реакций может быть очень малым, и они могут происходить раз в несколько лет.
Б) Потому что опасная реакция могла уже произойти, но мы этого пока ещё не заметили.
5) Возможно, что космических лучей вообще не существует. Самые высокоэнергетичные космические лучи наблюдаются только косвенно, по ливням частиц. Если же причиной ливней частиц являются не космические лучи, а некоторые другие процессы (например, аннигиляция частиц тёмной материи), то всё доказательство безопасности не работает. В любом случае, по космическим лучам ещё остаётся много вопросов, например, не ясен их источник.
6) Ни одна эмпирическая граница риска невозможна без некоторых теоретических предположений (о том, что нечто аналогично, или нечто не существует, или некоторый фактор является несущественным), и именно эти теоретические предположения являются наиболее уязвимой частью конструкции. (Поскольку по сути произвольны.)
7) Люди не способны давать стопроцентно истинные высказывания. Любые человеческие конструкции, статьи, проекты, имеют вероятность ошибки. Эту вероятность можно оценить статистически, сравнив долю опровергнутых публикаций, или долю технических проектов, затем потерпевших катастрофу. Я думаю, что, сказав, что 1 из 1000 человеческих построений является ложным, я польщу людям, То есть на самом деле это скорее 1 из 100 . Но даже если это 1 из 1000, то это значит, что ни одной границе риска, предложенной людьми, не следует доверять больше, чем на 99.9 процентов. Отсюда следует, что и сам уровень безопасности никакого проекта не может быть больше, чем 99.9 %. Например: Ваш проводник по минному полю говорит, что есть шанс 1 на миллион, что на этом поле есть мины, но при этом вы знаете, что в 1 случае из 1000 в прошлом этот проводник ошибался по поводу наличия мин. В этом случае рациональным является принять оценку безопасности в 1 к 1000, а не в 1 к 1 000000.

Отдельным вопросом является вопрос о том, какой риск катастрофы с коллайдером является приемлемым. К 2004 году наиболее твёрдая оценка риска БАК, выведенная из эмпирических астрофизических наблюдений, составляла шансы катастрофы 1 к 50 миллионам. Очевидно, что эта оценка была принята в качестве достаточной, так как строительство было продолжено. Однако математическое ожидание числа жертв, что есть произведение числа погибших – 6 миллиардов на вероятность события составляет в данном случае 120 человек. Ни один другой научный проект с таким ожидаемым числом возможных жертв никогда бы не был допущен до реализации. Например, при захоронении радиоактивных отходов в Великобритании принимается допустимым ожидаемое число жертв только в 0.00001 человек в год.
Отметим, что здесь учитывается только гибель ныне живущих людей. Однако вымирание человечества означало бы и невозможность рождения всех последующих поколений людей, то есть число неродившихся людей могло бы составлять тысячи триллионов. В этом случае мат. ожидание числа жертв также бы возросло на несколько порядков.  Наконец, гибель Земли означала бы и гибель всей информации, накопленной человечеством.
Другим способом оценки рисков коллайдера является так называемый «астероидный тест». Утверждается, что если риск, создаваемый коллайдером, меньше, чем риск человеческого вымирания в результате падения огромного астероида, то риском коллайдера можно пренебречь. Астероидный риск оценивается примерно в 1 к 100 миллионам в год. С другой стороны, и сам астероидный риск является неприемлемым – ведь ради его предотвращения затеваются программы по отклонению астероидов. Принятие астроидного теста равносильно утверждению о том, что нет разницы, погибнет ли в авиакатастрофе 300 человек или 301 человек.
Третий способ оценки рисков коллайдера связан с анализом затрат и рисков, выраженных в денежной форме. И анализ выгод, и анализ рисков осуществить трудно. Замечательную попытку сделать это предпринимает американский судья и популяризатор науки Р. Познер в своей книге «Катастрофа: риск и реакция». Сумма выгод, которые мы ожидаем получить от ускорителя, примерно равна его стоимости (если бы она была бы значительно, в десять раз, скажем больше, то строительство ускорителей было бы крайне выгодным бизнесом, и многие бы им занимались). Итак, хотя огромная выгода возможна, например, в случае невероятного ценного открытия, вероятность этой выгоды не оценивается как большая. Стоимость ускорителя составляет около 10 млрд. долларов. С другой стороны, можно оценить цену человеческой жизни. Американские страховые компании оценивают год жизни здорового человека в 50 000 долларов. Отсюда, и из разных других оценок, получается, что цена человеческой жизни в развитом обществе составляет порядка 5 млн. долларов. Тогда цена всего человечества примерно равна 3*10**16 долларов. В этом случае приемлемым оказывается риск менее чем 1 к 3 миллионам. Однако если учитывать цену неродившихся поколений, то потребуются гораздо более строгие границы риска. Кроме того, выгодополучатели и объекты риска не совпадают. Выгоду от работы ускорителя получат в первую очередь учёные и, кроме того, люди, интересующиеся наукой, тогда как большинство жертв возможной катастрофы будут люди, которые вообще никогда об ускорителе не слышали.
Коллайдер БАК – вовсе не единственный риск, с которым человечество столкнётся в XXI веке, однако проблемы, которые он ставит – в первую очередь о необходимости формулировать абсолютно истинные научные высказывания для гарантий безопасности – будут возникать снова и снова. К вопросу о рисках разных физических экспериментов мы ещё вернёмся в главе 16.
Из уже разворачивающихся глобальных событий следует также отметить обещание Google создать к 2011 году искусственный интеллект, а также развивающийся на мировых рынках кризис, начавшийся с кризиса американской ипотеки, и рост цен на нефть. Эти процессы могут стать, а могут и не стать, прологом к новым глобальным катастрофам. При этом природа этих процессов крайне различна, но объединяет их всех то, что они происходят в одном мире и рано или поздно они должны начать друг с другом взаимодействовать.
Итак, целью данного исследования является изучение границ нашего знания в отношении рисков глобальной катастрофы, которая может привести к полному вымиранию человечества. Очевидно, что, зная эти границы, мы легче сможем ответить на вопрос о том, возможна ли вообще такая катастрофа, и если да, то когда, с какой вероятностью, от чего и как её предотвратить.
Даже если вероятность такой глобальной катастрофы в ближайшее столетие равна нулю, то мы должны знать это наверняка – то есть даже исследование с нулевым результатом в данном случае должно быть хорошо обоснованным. Парадоксальным образом исследование рисков глобальной катастрофы оказывается и исследованием природы непредсказуемости, поскольку вопрос о рисках такой катастрофы подымает множество гносеологических проблем, не столь ярких в других областях знания. В первую очередь речь идёт об эффекте наблюдательной селекции и принципиальной невозможности и нежелательности решающего эксперимента в области глобальных катастроф.
Глобальная катастрофа гораздо менее предсказуема, чем выпадение орла или решки при бросании монеты. Во-первых, потому что мы не знаем всех вариантов, которые могут выпасть. Во-вторых, нам очень трудно определить их вероятность. В-третьих, некому будет проверить результат. В-четвёртых, мы не знаем, когда бросят «монету» и бросят ли её вообще.
Но при этом нам очень важно знать результат. Я возьму на себя смелость заявить, что вопрос выживания человеческой цивилизации является важнейшим из вопросов, которые могут перед ней встать. Вспомните какую-нибудь поездку, которую вы совершили несколько лет назад. Что является главным её итогом для вас сейчас? То, что вас в этой поездке не убили. Всё остальное стало просто воспоминаниями, которые вы могли и позабыть, независимо от того, приятными или гнусными они были. Также точно и с точки зрения жителей XXII века самым главным, что пойдёт в счёт, будет не то, насколько у нас была интересная и приятная история, а то, что мы сделали или не сделали, чтобы дожить до этого времени. Тем более что многие люди, возможно, смогут дожить по крайней мере до начала XXII века благодаря успехам в биотехе и других технологиях.
Вопрос о человеческом вымирании уже однажды остро стоял в годы холодной войны, и теперь интерес к нему угас и маргинализировался. Мне трудно представить массовые демонстрации с требованиями запрета опасных биотехнологий, опытов на ускорителях, разработок нанотехнологического оружия. Отчасти это связано с психологическим феноменом утомления, отчасти – с мыслями о бесполезности публичных усилий. 
Глобальные катастрофы принципиально непредсказуемы. Мы не знаем, произойдёт ли глобальная катастрофа, и если да, то как и когда. Если бы мы могли это знать, то «заранее подстелили бы соломку». Это незнание похоже на то незнание, которое есть у каждого человека о времени и причине его смерти (не говоря уже о том, что будет после смерти), но у человека есть хотя бы пример других людей, который даёт статистическую модель того, что и с какой вероятностью может произойти. Наконец, хотя люди и не очень-то любят думать о смерти, но всё же время от времени каждый о ней думает и как-то учитывает в своих планах. Сценарии же человеческого вымирания практически вытеснены в общественное бессознательное. Глобальные катастрофы отгорожены от нас пеленой как технического незнания, связанной с нашим незнанием реальных орбит астероидов и тому подобного, так и психологической, связанной с нашей неспособностью и нежеланием их предсказывать и анализировать. Более того, глобальные катастрофы отделены от нас и теоретическим незнанием – мы не знаем, возможен ли Искусственный интеллект, и в каких пределах, и мы не знаем, как правильно применять разные версии Теоремы о конце света, которые дают совершенно разные вероятностные оценки времени человеческого выживания.
Мы должны признать, что на каком-то уровне катастрофа уже произошла: окутывающая нас тьма непостижимости затмила ясный и понятный мир предсказуемого прошлого. Наше непонимание будущего и есть катастрофа, уже произошедшая в головах. В этом наличие этого непонимания нетрудно убедиться, сравнив разные версии будущего у разных, вполне образованных и умных людей. То ли всё будет по-прежнему, то ли мир задохнётся от нехватки ресурсов, то ли взлетит ввысь от успехов в новых технологиях, то ли уничтожит себя с их помощью. То, что после Гражданской войны было названо «разруха в головах» имеет место и сейчас. Однако если тогда эта ментальная разруха тут же и непосредственно иллюстрировалась внешними событиями, то сейчас бурный рост экономики за счёт новых технологий позволяет эту мозговую разруху маскировать. Однако рано или поздно современная мозговая разруха материализуется.
Рассмотрим внимательно следующий факт: причиной большинства современных катастроф является ошибочное управление исправными механизмами, а не неисправности механизмов или непреодолимые природные силы. Например, когда пилот самолёта ошибается относительно того, где находится посадочная полоса, и сажает самолёт в скалы, как это было в катастрофе на острове Гуам. Было масса причин, которые вводили его в заблуждение: ночь, неправильно установленный радиомаяк, усталость, то, что он не посмотрел в полётное задание и не узнал, что маяк установлен по-другому. И у этих причин тоже были свои причины, коренившиеся в человеческом факторе, вроде повышенных норм загрузки пилотов и недостатков в их обучении. Даже если мы говорим о технических причинах катастроф, за ними тоже стоят человеческие ошибки, связанные с непониманием последствий своих действий. Например, когда техник из обслуживающего персонала закручивает важную деталь винтами не того размера, не зная, что в результате она отвалится в полёте. И, как правило, за каждой такой ошибкой стоят некие системные явления в организации образования и производственного процесса в данном учреждении. Гносеология катастроф должна изучать общие закономерности того, каким образом неправильное знание приводит к катастрофе. И именно в отношении глобальных катастроф максимально возможного масштаба это разрыв между знаниями и будущей реальностью наиболее ярок.
Катастрофа – это по определению внезапное и неожиданное событие, полностью изменяющее ситуацию. Слово катастрофа происходит от греческого «переворот, перелом». Катастрофа означает внезапное резкое ухудшение ситуации с точки зрения главных ценностей. И для тех, для кого жизнь является главной ценностью, именно смерть является катастрофой. (Однако в другой системе ценностей измена любимой девушки тоже будет катастрофой.) Обобщая, можно сказать, что катастрофа – это внезапная смерть главной ценности. Эта книга написана с позиции, что существование человечества является главной ценностью, и поэтому глобальной катастрофой названо вымирание людей. Но, вообще говоря, катастрофа, как гибель ценности, не означает обязательно прекращения жизни. Она означает начало эпохи, где всё будет по-другому, в первую очередь с точки зрения главных ценностей. Революция 1917 года и крах СССР были такими переломами (с точки зрения погибших систем), и каждый может найти в свой жизни соответствующие примеры. Для нас же здесь важна априорная непредсказуемость катастроф. Ожидаемая катастрофа – это уже не катастрофа, а событие.
Есть реальность, и есть мир человеческих ожиданий. До определённого момента они совпадают, создавая опасную иллюзию, что наша модель мира и есть мир. В какой-то момент они настолько расходятся, что мы сталкиваемся лоб в лоб с тем, что для нас раньше не существовало. Человек не знает, что с ним будет через 15 минут, но претендует на то, чтобы планировать будущее. Свет нашего знания всегда ограничен. Конец света – это столкновение несовершенства нашего знания со тьмой непостижимого. Возможная гибель возникшей на Земле разумной жизни – это окончательное угасание света человеческого ума.



Глава 1. Будущее и природа человеческих заблуждений.


Попытки предсказания будущего – прекрасный материал для исследования природы человеческих заблуждений, и наоборот, данные экспериментальной психологии позволяют нам оценить, насколько ограничены мы в предсказании будущего. Нет смысла пытаться предсказать будущее, не исследовав границы своего возможного знания о нём. Эти границы обозначат горизонт нашей способности к прогнозу. Существует более ста возможных ошибок, которые могут совершить люди, пытаясь предсказать будущие катастрофы. Вместо того чтобы перечислить их, мы постараемся исследовать их вероятные корни, то есть причины человеческой ошибочности.
Основной корень возможных ошибок состоит в том, что человек не предназначен для оценки рисков глобальных катастроф. Не предназначен для этого ни его мозг, ни обычный взгляд на мир, ни созданный человеком научный метод. Рассмотрим поочерёдно каждый из этих трёх источников неправильных представлений о путях и вероятностях глобальных катастроф.
Человеческий мозг сформировался в процессе эволюции. Поэтому, в первом приближении, мы можем сказать, что в ходе этого процесса в нём сохранились и усилились те качества, которые способствовали выживанию людей и заселению ими всей Земли. Отсюда можно было бы заключить, что люди успешно избегали катастроф, приводящих к вымиранию вида, в прошлом: во всяком случае, те линии людей, которые не умели этого избегать, не дожили до наших дней, как, например, неандертальцы. Однако люди избежали этой судьбы вовсе не потому, что у них развился некий навык предотвращать катастрофы, а чисто статистически, за счёт того, что они обладали большей живучестью. (Одной из возможных причин вымирания неандертальцев называют прионную инфекцию в духе коровьего бешенства, которая распространилась по всей их популяции в течение 100-200 лет за счёт практики каннибализма; в тоже время запрет на каннибализм, распространённый среди большинства сообществ homo sapiens, способствовал их выживанию – однако этот запрет ни каким образом не приводил к росту понимания того, какова его реальная причина.) Эта человеческая живучесть, безусловно, является ценным ресурсом в случае будущих глобальных катастроф, но она ничего не даёт в смысле понимания их рисков, так как является свойством вида, а не отдельных людей. Для выживания вида каждый человек должен был дожить сам до возраста рождения детей, но не многим более, и в силу этого его понимание рисков затачивалось на преодоление в первую очередь краткосрочных угроз. Более того, рискованное поведение отдельных людей способствовало выживанию вида в целом, побуждая отправляться на заселение далёких островов и иметь больше детей.
Кроме того, Homo sapiens, для того, чтобы стать единственным хозяином планеты, вынужден был развить в себе навык уничтожать целые классы разумных существ, которые могли бы стать ему конкурентами. За примерами не надо далеко ходить: от тех же неандертальцев до тасманийских аборигенов, уничтоженных поголовно в XIX веке; кроме того, человек уничтожил мегафауну на всех континентах, кроме Африки. В XX веке люди решили (ценой мировой войны), что геноцид – это не способ решения проблем. Тем не менее, в багаже очевидных решений, приходящих нам на ум, сохранилась идея «уничтожить всех врагов». Нет нужды говорить, что вид, обладающий таким навыком, как «уничтожение всех», становится опасен сам для себя, когда отдельным его представителям попадают в руки достаточные для реализации такого проекта технические средства. В данном случае «уничтожить всех» – это модель поведения, а не ошибка, но она может проявляться и как ошибка в планировании будущего. Ошибка здесь состоит в том, что попытки «уничтожить всех» вовсе не ведут к решению проблемы, а наоборот, только к её усугублению. Пример этого мы видим на примере конфликта Израиля и палестинцев: чем больше израильтяне хотят уничтожить всех террористов, тем больше палестинцы хотят уничтожить всех израильтян и порождают из своей среды террористов. Наоборот, чем меньше стороны пытаются «решить проблему», тем менее актуальна и сама проблема.
Следующая «собака», которую нам подложила эволюция, состоит в том, как наш мозг сравнивает рискованность и полезность действий. Хотя эволюция отсеивала тех людей, которые слишком сильно рисковали собой и погибали в детстве, она также отсеивала и тех, кто слишком сильно стремился к безопасности. Происходило это, возможно, следующим образом: допустим, в «стае» было четыре рисковых парня. Они бурно выясняли между собой отношения, в результате чего трое погибло, а четвёртый стал вожаком стада, покрыл всех самок и у него родился десяток детей. В силу этого рискованное поведение закрепилось, так как, несмотря на то, что большинство склонных к риску самцов погибло, один выживший оставил большое потомство. Более того, отсюда видно, что склонность к риску позволяет повысить свой социальный статус и даже стать вожаком стаи. С другой стороны, самец, который бы стремился к абсолютной безопасности,  избегал бы стычек с другими самцами и, в конечном счёте, утратил статус в стае, и оставил бы мало потомство. Наоборот, рисковый самец, став вожаком стада, будет руководить стадом рискованными методами. Опять же от этого какие-то стада погибнут, какие-то попадут на новые территории и заселят их. Например, Рональд Рейган, объявляя крестовый поход против СССР, увеличивал своими действиями риск ядерной войны, однако выигрыш его интересовал больше, чем проигрыш. Существует много исследований, которые показывают, что восприятие человеком вероятностей выигрышей и проигрышей значительно отличается от поведения абсолютно рационального субъекта. Например, человеку свойственно пренебрегать небольшой вероятностью очень плохого исхода – «тяжёлым хвостом». С нашей эволюционной точки зрения это можно связать с тем, что человек не был бессмертным существом и знал это, поэтому он мог просто не дожить до редкого наихудшего случая, ущерб от которого перевесил бы полезность от всех позитивных исходов, вместе взятых. Показано, что людям свойственно считать вероятности рисков, меньшие 0,001%, то есть одной стотысячной, равными нулю. Понятно, почему это происходит: если средняя жизнь человека включает примерно 20 000 дней, то добавление на каждый день вероятности смерти порядка 0,001% изменит её ожидаемую продолжительность только на несколько тысяч дней, что находится в пределах погрешности оценки продолжительности жизни. Люди выбирают ездить на машине, пить, курить и т. д. потому что риск смертельной аварии или заболевания попадает в эти пределы. Однако такая оценка определённо не годится для обеспечения безопасности человечества, потому что она означала бы гарантированное вымирание человечества в течение 300 лет. Кроме того, люди обычно не складывают вероятности, а многократное повторение разных событий с вероятностью в одну стотысячную может дать значительный эффект.
Здесь же мы можем отметить психологический эффект, состоящий в том, что риск запускает механизмы вознаграждения в мозгу, в силу чего некоторые люди склонны повышать свою норму риска – чтобы поймать «адреналин». Безусловно, это вопрос личного выбора этих людей, пока это касается только их самих. Однако не составляет труда привести примеры ситуаций, когда люди рисковали жизнями сотен людей ради собственного развлечения. Например, ещё в советское время пилот самолёта ТУ-154 на спор с товарищами взялся посадить самолёт с закрытыми шторками окон кабины. Более ста человек погибли. Нетрудно вообразить ситуацию из не очень отдалённого будущего, где кто-то ради развлечения рискнёт судьбой всего человечества. Ведь чем выше ставки, тем выше выброс адреналина! Например, ракетчики на одной американской базе придумали от скуки, как можно обойти систему запуска, требующую двух человек, с помощью одного человека, ножниц и нитки. Интересна также склонность людей выбирать свою норму риска. Например, сравнивали смертность в США на разных классах автомобилей, и оказалось, что на более безопасных по заводским тестам машинах гибнет примерно такое же количество людей, как и на более дешёвых и менее безопасных машинах. Это оказалось связано с тем, что люди на более безопасных машинах ездили агрессивнее и быстрее, а на менее безопасных – осторожнее. В отношении глобальных катастроф это выглядит следующим образом: когда человек едет на машине, он зависит от своей машины и от машины на встречном курсе, то есть от двух машин. Но человек, живущий на Земле, зависит от всего множества войн, терактов и опасных экспериментов, которые могут иметь глобальный масштаб. И это приводит к тому, что для него складываются тысячи норм риска, которые допускают разные люди, решившиеся на реализации этих проектов.
Другой корень неверных представлений, сформировавшийся эволюционно, состоит в крайне опасной связи между правотой, уверенностью и высоким социальным статусом. Одним из важнейших проявлений этой связи является неизменно присущее человеку качество сверхуверенности. Сверхуверенность состоит в том, что людям свойственно приписывать слишком высокую достоверность собственным мнениям. Сверхуверенность проявляется также в чувстве собственной важности, то есть в уверенности в своём более высоком социальном статусе и более высоких способностях, чем есть на самом деле. Большинство опрошенных социологов считают, что они принадлежать к 10 лучшим в мире специалистам. Три четверти водителей считают, что они водят машину лучше, чем среднестатистический водитель.
Другое проявление сверхуверенности – это очень маленькая способность сомневаться в истинности своих высказываний. В экспериментах это проявляется, когда испытуемым предлагают дать оценку некой неизвестной величины (например, числа яиц, производимых в США в год), а затем просят указать интервал 99% уверенности вокруг этой величины. Несмотря на то, что никто не мешает людям указать очень широкий интервал от нуля до бесконечности, люди всё равно указывают слишком узкие интервалы, и реальная величина в них не попадает. Даже если люди являются экспертами в своей области (например, инженерами-гидротехниаками), их интервал уверенности оказывается слишком узок. Даже если людей заранее предупреждают о том, что такой эффект имеет место быть, и просят его избегать, всё равно их интервал уверенности оказывается слишком узок. Даже если людям предлагают денежной вознаграждение в размере 3 месячной зарплаты за правильный результат, всё равно их интервал уверенности оказывается слишком узок. Из этого следует, что проблема не в том, что люди не хотят угадать правильный интервал уверенности: они действительно этого не могут сделать – не могут преодолеть свою сверхуверенность, которая «прошита» в устройстве их мозга. Мы можем часто сталкиваться с проявлениями такой сверхуверенности у других людей, когда слышим заявления о том, например, что вероятность ядерной войны в XXI веке будет нулевой, или наоборот, что она неизбежна. Чужая сверхуверенность достаточно очевидна, однако наиболее опасна своя, которая практически необнаружима собственными силами, да людям обычно и несвойственно искать в себе признаки сверхувернности и стремиться уменьшить свою уверенность в сделанных выводах. Наоборот, люди стараются увеличить своё ощущение уверенности в своих выводах, и в результате на какое-нибудь случайное утверждение наматывается ком селективно подобранных доказательств.
Такое поведение известно как «wishful thinking» – то есть мышление, обусловленное желанием что-то доказать, то есть подкрепить свою уверенность в некой теме. Целью такого мышления вовсе не является поиск истины, отсюда и результат – обычно таким образом истинные высказывания не получаются. Другим названием для этой модели поведения является «рационализация» – то есть подбор рациональных оснований под некое иррациональное решение. В ходе такого отбора противоречащие доводы отсеиваются, а также нет попыток фальсифицировать своё исходное мнение – то есть проверить его устойчивость к опровержениям. Интернет оказывает в этом дурную службу, так как поиск приносит в первую очередь подтверждения. Например, набрав в поиске «взрыв Земли» я наверняка наткнусь на кого-то, кто думает, что это возможно. 
Другое проявление борьбы за социальный статус состоит в резкой поляризации мнений в случае спора. Если человек колеблется между двумя гипотезами, то столкновение с оппонентом заставляет его выбрать одну из гипотез и начать её защищать.  В этом смысле спор не рождает истину. Поскольку вопрос о возможности глобальной катастрофы будет оставаться спорным вплоть до самого конца, то в связи с ней возможно особенно много споров. И если в результате этого спора кто-то преувеличил вероятность глобальной катастрофы, то это не пойдёт на пользу выживания человечества. Переоценка какого-то одного фактора неизбежно означает недооценку другого. В связи со спорами возникает проблема убедительности. Единственный способ для общества начать предотвращать некую возможную глобальную катастрофу – это то, что кто-то его убедит в близости и реальности такого события, а также в возможности и необходимости его предотвращения. Но «убедительность» не тождественна истине. Некоторые сценарии глобальной катастрофы будут более «убедительными» за счёт своей красочности, наличия исторических примеров и того, что их защищали лучшие спорщики. Например, падение астероидов. Другие будут гораздо более трудно доказуемы и их «пиар» будет менее возможен. Например, катастрофа на ускорителе в ходе физических экспериментов.
Следующий корень ошибочных умозаключений и моделей поведения лежит в эмоциональных реакциях. Хотя доказательства вероятности некой катастрофы могут быть весьма строгими, эти выкладки понятны только тому учёному, который их сделал, а лица, принимающие решения, не будут перепроверять эти выкладки, а будут реагировать на них  в значительной мере эмоционально. Поэтому реакция публики, академии наук,  парламента, правительства, президента на любые, даже самые серьёзные предупреждения, будет эмоциональной, а не логической. Более того, поскольку человеку свойственно определять свою позицию в течение 10 секунд, а потом начать подбирать факты для её защиты, эта эмоциональная реакция имеет шанс закрепиться. В силу сказанного, даже при наличие очень убедительных доказательств (а чем убедительнее доказательства, тем в большей мере катастрофа уже назрела, и тем меньше времени осталось для борьбы с ней), всё равно надо учитывать особенности эмоционального реагирования людей, так как окончательное решение в конечном счёте будет зависеть не от тех, кто это доказательство вывел. Кроме того, людям свойственно чувствовать себя экспертами по глобальным вопросам, поскольку это повышает их самооценку. Например, если человека спросить, каков порядковый номер лантана в таблице Менделеева, то он, если он не химик, легко признается, что не знает этого, и готов посмотреть в таблицу; однако если спросить его о некой глобальной проблеме, например, о риске ядерной войны, то он сразу даст ответ, вместо того, чтобы посмотреть существующую литературу на тему.
Далее, естественной психологической реакцией является защита от неприятного знания. Первым уровнем такой защиты является состояние отрицания в духе «это слишком плохо, чтобы быть правдой». Действительно, глобальная катастрофа, ведущая к вымиранию всех людей – это наихудшее событие, которое может с нами случиться. Тем более что не обязательно она будет быстрой, мгновенной и красивой, а может быть долгой и мучительной, скажем, в случае глобального радиоактивного заражения. Поэтому нетрудно предположить, что психологические механизмы защиты включатся на всю мощь, чтобы уменьшить её ужасность, а главное – или счесть её невозможной, или вообще исключить из мышления, вытеснить.  Поскольку люди знают, что идеи в духе «это слишком плохо, чтобы быть правдой» не имеют под собой никаких оснований, и каждый может вспомнить случаи из жизни, когда происходили вещи настолько плохие, что в это трудно поверить (ребёнок, заболевший раком; невеста, умирающая накануне свадьбы и т. д.), то этот тезис подменяется другим, а именно: «это слишком невероятно, чтобы быть правдой». Последнее высказывание по своей логической природе является тавтологией: «этого не может быть, потому что не может быть никогда». Однако в отношении глобальных окончательных катастроф их «невероятность» выводится, например, из того, что их не было в прошлом. По ряду причин, которые мы подробно рассмотрим дальше, это, однако ничего не значит  (например, в связи с наблюдательной селекцией). Уникальные события регулярно случаются. 
Вероятность глобальной катастрофы отвергается также потому, что это очень большое событие. Но и очень большие события иногда происходят, более того, рано или поздно происходят. Следовательно, подобное преуменьшение вероятности носит в первую очередь эмоциональный характер.
По одной из теорий, психологическая реакция на катастрофу или известие о неизлечимой болезни, называемая «горевание», проходит пять стадий: отрицание, гнев, попытка заключить сделку с судьбой, депрессия, принятие. Можно предположить, что и эмоциональная реакция на риск глобальной катастрофы будет проходить похожие стадии. Тогда стремлению «заключить сделку с судьбой» будут соответствовать попытки избежать катастрофы с помощью бункеров и т. д.
То, что известно в быту как «стадный инстинкт», проявляется в психологических экспериментах по исследованию конформизма. Когда группа подсадных испытуемых единогласно утверждает, что белое – это чёрное, то значительная доля реальных испытуемых, находящихся в этой группе, тоже не верит своим глазам и боится высказать несогласие с группой. Особенно силен этот эффект, когда нужно выступить в одиночку против группы. По крайней мере до недавнего времени люди, высказывающиеся о значительном риске глобальных катастроф, особенно со стороны неких принципиально новых источников, оказывались в похожей ситуации. Они в одиночку должны были выступать против общественного мнения, справедливо опасаясь отвержения обществом и десоциализации. Однако и общество со своей стороны часто весьма заинтересовано в отвержении новых идей (точно также как, старый вожак стаи отвергает претензии молодого самца на лидерство). Например, от предложения идеи анестезии в конце XVIII века до реального её применения прошло почти 50 лет, хотя необходимые препараты – эфир – были уже известны. То же самое произошло и с идеей дезинфицировать руки перед операцией: в середине XIX века врачи всё ещё не верили в заражение от бактерий, и миллионы рожениц погибли от родовой горячки за десятки лет от того момента, когда идея была высказана и до того, как она была принята.

Теперь обратимся к возможным причинам недооценки рисков глобальных катастроф, происходящих из устройства науки. Научный метод был создан, чтобы преодолеть все виды интеллектуальных искажений, связанных с ненадёжностью человеческого мозга, и получить доступ к по-настоящему достоверному знанию. Обобщая, скажу, что важной частью научного метода является экспериментальная проверка результатов. Именно предсказуемые повторяющие результаты наблюдений и экспериментов позволяют отсеять ложные теории и подтвердить истинные. Благодаря этому, какие бы систематические ошибки не совершил человек, придумывая теорию, они с большой вероятностью будут вскрыты практикой. Таким образом, научный метод компенсировал несовершенство человеческого мозга экспериментальной проверкой.
Однако ничего подобного не происходит в случае исследований рисков глобальных катастроф. Экспериментальная проверка любых теорий о глобальной катастрофе нежелательна, и более того, физически невозможна, так как в случае успеха не останется ни одного наблюдателя. В силу этого классический экспериментальный метод в случае глобальных катастроф буксует, и не выполняет своей функции по устранению различных интеллектуальных искажений.
Читатель этой книги может, вероятно, предположить, что со мной, автором, что-то не так. Что это неправильно и нездорово испытывать интерес к сценариям человеческого вымирания, что в этом скрыта паранойя или религиозное апокалиптические мышление. Однако экспериментальные исследования показывают, что люди в состоянии депрессии имеют более точные предсказания о будущем (кроме своего собственного), чем люди в обычном состоянии сознания. Я хочу сказать, что крайне ошибочно думать, что проблемы с гонцом, который принёс плохое известие, а не самой ситуацией.
При этом границы человеческой склонности ошибаться в прогнозах будущего стали притчей во языцех.  Например, газета Нью-Йорк Таймс опубликовала передовицу, посвящённую очередной неудаче в попытке создать самолёт, которая закончилась бесславным падением в воду, и предрекла, что свойства материалов таковы, что не удастся создать самолёт в течение ближайшего миллиона лет. Однако братья Райт испытали свой самолёт через 9 дней после этой статьи, и об этом событии газета не написала ни слова. То есть коэффициент ошибки составил 40 миллионов раз. В этой истории важно так же то, что самые важные открытия совершались вдали от людских глаз и становились великими событиями с огромными последствиями только задним числом.
Одна из основных ошибок в области футурологии состоит в том, что людям свойственно переоценивать тенденции, касающиеся ближайшего будущего, и недооценивать качественные изменения, которые проявятся в более отдалённом будущем. Классический пример такой оценки – прогноз о том, что рост числа повозок в Лондоне приведёт к тому, что все жители города станут кучерами, а навоз поднимется до уровня крыш. При этом интересно, что качественно этот прогноз сбылся: почти все стали водить машины, под капотами которых скрыты десятки лошадиных сил, а вредные выхлопы двигателей поднялись значительно выше крыш.
Теперь остановимся на крайне важном различии между наилучшим, наиболее вероятном и наихудшим результатом.
Склонность людей недооценивать вероятность наихудшего исхода регулярно проявляется при реализации крупных проектов. Президент Буш оценивал стоимость будущей Иракской войны в 50 миллиардов, однако один из его экономистов выдал более реалистичную оценку в 200 миллиардов, за что был уволен. Теперь суммарные расходы на войну оцениваются в сумму между 1 и 2 триллионами долларов. Истребитель F-22 должен был стоить 30 миллионов долларов, а стал стоить 300. МКС должна была стоить порядка 8-10 миллиардов долларов, а обошлась более чем в 100.
То же самое происходит и относительно оценок надёжности и безопасности. Атомные станции должны были иметь надёжность одна крупная авария на миллион лет эксплуатации, однако Чернобыль произошёл, когда суммарная наработка всех станций в мире составляла порядка 10 000 лет эксплуатации. Космические корабли «Спейс Шаттл» были рассчитаны на менее, чем одну аварию на 1000 полётов, но первая авария произошла на 25-ом полёте. То есть исходная оценка надёжности 1 к 25 была бы более точной.
То есть реальная ситуация оказывается в несколько десятков раз хуже, чем задуманная и рассчитанная. Всё же она оказывается лучше, чем в алармистских предупреждениях, в духе того, что Шаттл вообще никогда не взлетит, Ирак завоевать не удастся и т. п. Алармистские прогнозы точно также нереалистичны, только с обратным знаком.
Теперь разберёмся со «страшилками». Очевидно, что выработался своего рода условный рефлекс на сообщения о возможных рисках и опасностях в духе: это всё страшилки, нас пугают, чтобы привлечь внимание и вытрясти денег, но мы это раскусили и потому бояться не будем. Действительно, имеется целый класс «прогнозов» в духе «к Земле летит гигантский астероид», «на дне неаполитанского залива лежит 20 атомных бомб» и т.п., которые были придуманы и нарочно тиражируются СМИ, чтобы что-то поиметь с человеческой паники. В результате получается, как в басне «Волк, волк» - восприятие подобных предупреждений притупляется, и когда появляется реальное предупреждение, его никто не слышит. Я хочу подчеркнуть, что читатель имеет право воспринимать эту книгу как очередную «страшилку», но прошу отметить, что «Волк» существует независимо от того, в какую игру со страшилками мы, люди, устроили.  При этом здесь вы не найдёте призывов о том, что нужно срочно бежать и спасать мир определённым образом – я не знаю, как это сделать.
Следующее важное обстоятельство, часто не принимаемое во внимание при прогнозах будущего, состоит в том, что более быстрые процессы затмевают более медленные. Например, если у нас в чашке Петри посеяно несколько культур бактерий, то через какое-то время наибольший объём будет занимать та культура, которая растёт быстрее всех. В отношении предсказания будущего это означает, что нам следует выделять не самые большие процессы, а самые быстрорастущие. Например, бессмысленно рассматривать рост населения Земли до 2100 года в отрыве от биотехнологий, потому что эти биотехнологии или уничтожат всех людей, или резко продлят жизнь, или обеспечат всех достаточным количеством пропитания. Более того, и внутри биотехнологий нам следует выделять наиболее быстрорастущие направления.
Человеческие мнения крайне подвержены влиянию фоновых обстоятельств, то есть того, каким образом оформлено высказывание, а не того, что именно в нём сказано. Что звучит страшнее: "Русские посылают сообщения инопланетянам со своего радиотелескопа, выдавая им расположение Земли" или  "НАСА транслирует песню Биттлз "Через вселенную" в сторону Полярной звезды"? Первое сообщение вызывает в целом осуждение, а второе одобрение, потому что в нём использованы слова, которые связаны с приятными ощущениями. Хотя с физической точки зрения происходит одно и тоже. Это говорит о том, насколько наши мнения зависят от того, что, по сути, не важно.
Через 20 или 30 лет люди, если ещё будут живы, составят новый список глобальных угроз, потому что эта проблема, однажды возникнув, никуда не денется. И они будут просматривать те списки рисков, которые мы предлагаем сейчас, и будут поражаться их наивности, неполноте и односторонности. Насколько бы совершенные списки рисков мы бы сейчас ни составляли, мы только царапаем по поверхности этой проблемы, и должны быть готовы к тому, что в будущем эти списки будут значительно доработаны и многие наши ошибки и иллюзии будут очевидны.

Рекомендуемая литература (К каждой главе я приложу список из трёх-пяти наиболее интересных работ по данной теме, которые стоит почитать; но это не полный список: заинтересовавшиеся читатели без труда найдут более полный список работ в Интернете.):
Росс Л., Нисбетт Р. Человек и ситуация: Уроки социальной психологии. Аспект Пресс, М., 1999.
Турчин А.В. О возможных причинах недооценки рисков гибели человеческой цивилизации  // Проблемы управления рисками и безопасностью: Труды Института системного анализа Российской академии наук: Т. 31.  М., КомКнига, 2007.
Юдковски Е. Систематические ошибки в рассуждениях, потенциально влияющие на оценку глобальных рисков. // Сб. Диалоги о будущем, М., УРСС, 2008.







Глава 2. Горизонт прогноза: непредсказуемость против непостижимости.

Он сказал, что отсутствие поиска порядка - одна из величайших ошибок древних видящих. Смертельным следствием этого явилось допущение того, что неведомое и непостижимое - это одно и то же. И только новые видящие исправили эту ошибку. Они установили границы и определили неведомое как нечто, скрытое от человека, одетое, возможно, устрашающим образом, однако находящееся все-таки в пределах человеческой досягаемости. Неведомое в свое время становится известным. Непостижимое, с другой стороны - это неописуемое, немыслимое, неосуществимое. Это что-то такое, что никогда не будет нам известно, однако это что-то есть там - ослепляющее и в то же время устрашающее в своей огромности.
К.Кастанеда

Будущего не существует. Нам трудно сказать: «в будущем, завтра утром я пойду на работу». Когда я собираюсь через неделю дописать главу, через месяц поехать на юг, а через год написать новую книгу, я действую в продолженном настоящем. В будущем же может быть всё, что угодно. В будущем я могу стать альпинистом или переселиться в Японию, жениться на китаянке или вживить себе в мозг имплант. Всё это никак не связано с существующими событиями и в равной мере отражает игру моей фантазии и спектр пространства возможностей. Про будущее можно рассказывать сказки или страшилки, которые не побуждают ни к каким действиям, так как правильно распознаются как развлекательные тексты.
В эссе «О невозможности прогнозирования» С. Лем пишет: «Здесь автор провозглашает тщетность предвидений будущего, основанных на вероятностных оценках. Он хочет показать, что история сплошь состоит из фактов, совершенно немыслимых с точки зрения теории вероятностей. Профессор Коуска переносит воображаемого футуролога в начало XX века, наделив его всеми знаниями той эпохи, чтобы задать ему ряд вопросов. Например: «Считаешь ли ты вероятным, что вскоре откроют серебристый, похожий на свинец металл, который способен уничтожить жизнь на Земле, если два полушария из этого металла придвинуть друг к другу, чтобы получился шар величиной с большой апельсин? Считаешь ли ты возможным, что вон та старая бричка, в которую господин Бенц запихнул стрекочущий двигатель мощностью в полторы лошади, вскоре так расплодится, что от удушливых испарений и выхлопных газов в больших городах день обратится в ночь, а приткнуть эту повозку куда-нибудь станет настолько трудно, что в громаднейших мегаполисах не будет проблемы труднее этой? Считаешь ли ты вероятным, что благодаря принципу шутих и пинков люди вскоре смогут разгуливать по Луне, а их прогулки в ту же самую минуту увидят в сотнях миллионов домов на Земле? Считаешь ли ты возможным, что вскоре появятся искусственные небесные тела, снабженные устройствами, которые позволят из космоса следить за любым человеком в поле или на улице? Возможно ли, по-твоему, построить машину, которая будет лучше тебя играть в шахматы, сочинять музыку, переводить с одного языка на другой и выполнять за какие-то минуты вычисления, которых за всю свою жизнь не выполнили бы все на свете бухгалтеры и счетоводы? Считаешь ли ты возможным, что вскоре в центре Европы возникнут огромные фабрики, в которых станут топить печи живыми людьми, причем число этих несчастных превысит миллионы?   Понятно, говорит профессор Коуска, что в 1900 году  только  умалишенный признал бы все эти  события  хоть  чуточку  вероятными.  А  ведь  все  они совершились. Но если случились сплошные невероятности, с какой  это  стати вдруг наступит кардинальное улучшение и отныне начнет сбываться  лишь  то, что кажется нам  вероятным,  мыслимым  и  возможным?»
Вместо того чтобы пытаться предсказать будущее, нам надо сосредоточиться на его принципиальной непостижимости. Правильные предсказания скорее похожи на случайные попадания из большого количества выстрелов, чем на результат работы некого систематического метода. В силу этого человек, вооружённый моделью принципиально непредсказуемого будущего, может оказаться в выигрыше по отношению к тому, кто думает, что может знать конкретное будущее. Например, знание принципиальное непредсказуемости игры в рулетку удерживает рационального субъекта от игры в неё и закономерного проигрыша, тогда как любой человек, верящий в возможность её предсказания, рано или поздно проигрывает.
С другой стороны, принципиальная непредсказуемость будущего человеческого цивилизации буквально является концом света – то есть тьмой в конце туннеля. Конец света, то есть крах нашей познавательной способности, уже случился. И потребуется только время, чтобы он материализовался в крах физический, подобно тому, как погасший фонарь в темноте рано или поздно означает падение. Парадоксальным образом, однако, эта невозможность знать будущее в самых его главных аспектах сопровождается и даже вызывается ростом нашего знания о настоящем и об устройстве мира в деталях. 
Но вовсе не та непредсказуемость, которая нам известна, имеет значение. Гораздо опаснее та, которая скрыта под личиной достоверного знания. Как говорят в разведке: только тот, кому по-настоящему доверяют, может на самом деле предать. Когнитивные искажения, описанные в предыдущей главе, и в первую очередь, сверхуверенность, приводят к тому, что наша картина мира оказывается существенно отличающейся от реальности и рано или поздно терпит катастрофу, сталкиваясь с ней.

Целый ряд принципиально важных для нас процессов настолько сложен, что предсказать их невозможно, поскольку они невычислимы. Невычислимость может иметь разные причины.
• Она может быть связана с непостижимостью процесса (например, Технологическая Сингулярность, или, например, то, как теорема Ферма непостижима для собаки), то есть связана с принципиальной качественной ограниченностью человеческого мозга. (Такова наша ситуация с предвидением поведения сверхинтеллекта в виде ИИ.)
• Она может быть связана с квантовыми процессами, которые делают возможным только вероятностное предсказание, то есть недетерминированностью систем (прогноз погоды, мозга).
• Она может быть связана со сверхсложностью систем, в силу которой каждый новый фактор полностью меняет наше представление об окончательном исходе. К таковым относятся: модели глобального потепления,  ядерной зимы, глобальной экономики, модели исчерпания ресурсов. Четыре последние области знаний объединяются тем, что каждая описывает уникальное событие, которое ещё никогда не было в истории, то есть является опережающей моделью.
• Невычислимость может быть связана с тем, что подразумеваемый объём вычислений хотя и конечен, но настолько велик, что ни один мыслимый компьютер не сможет его выполнить за время существования вселенной (такая невычислимость используется в криптографии). Этот вид невычислимости проявляться в виде хаотической детерминированной системой.
• Невычислимость связана также с тем, что хотя нам может быть известна правильная теория (наряду со многими другими), мы не можем знать, какая именно теория правильна. То есть теория, помимо правильности, должна быть легко доказуемой для всех, а это не одно тоже в условиях, когда экспериментальная проверка невозможна.  В некотором смысле способом вычисления правильности теории, а точнее – меры уверенности в них, является рынок, где или делаются прямые ставки на некий исход, или на цену некого товара, связанного с прогнозом, например, цены на нефть. Однако на рыночную цену теории влияет много других факторов: спекуляции, эмоции или нерыночная природа самого объекта. (Бессмысленно страховаться от глобальной катастрофы, так как некому и не перед кем будет за неё расплачиваться, и в силу этого можно сказать, что её страховая цена равна нулю.)
• Ещё один вид невычислимости связан с возможностью осуществления самосбывающихся или самоотрицающих прогнозов, которые делают систему принципиально нестабильной и непредсказуемой.
• Невычислимость, связанная с предположением о собственном местоположении (self-sampling assumption – см. об этом книгу Н.Бострома ). Суть этого предположения состоит в том, что в некоторых ситуация я должен рассматривать самого себя как случайного представителя из некоторого множества людей. Например, рассматривая самого себя как обычного человека, я могу заключить, что я с вероятностью в 1/12 имел шансы родиться в сентябре. Или с вероятностью, допустим, 1 к 1000 я мог бы родиться карликом. К невычислимости это приводит, когда я пытаюсь применить предположение о собственном местоположении к своим собственным знаниям. Например, если я знаю, что только 10% футурологов дают правильные предсказания, то я должен заключить, что с шансами 90% любые мои предсказания неправильные. Большинство людей не замечают этого, поскольку за счёт сверхуверенности и повышенной оценки рассматривают себя не как одного из представителей множества, а как «элиту» этого множества, обладающей повышенной способностью к предсказаниям. Это особенно проявляется в азартных играх и игре на рынке, где люди не следуют очевидной мысли: «Большинство людей проигрывает в рулетку, следовательно, я, скорее всего, проиграю».
• Похожая форма невычислимости связана с информационной нейтральностью рынка. (Сказанное далее является значительным упрощением теории рынка и проблем информационной ценности даваемых им показателей. Однако более подробное рассмотрение не снимает названную проблему, а только усложняет её, создавая ещё один уровень невычислимости – а именно невозможности для обычного человека ухватить всю полноту знаний, связанную с теорией предсказаний, а также неопределённости в том, какая именно из теорий предсказаний истинна. См. об информационной ценности рынка так называемую «no trade theorem» .)  Идеальный рынок находится в равновесии, в котором половина игроков считает, что товар будет дорожать, а половина – что дешеветь. Иначе говоря, выиграть в игре с нулевой сумме может только более умный или осведомленный, чем большинство людей, человек. Однако большинство людей не являются более умными, чем все, по определению, хотя и не способны осознать это по причине психологической предвзятости. Например, цена на нефть находится на таком уровне, что не даёт явных подтверждений ни предположению о неизбежности кризиса, связанного с исчерпанием нефти, ни предположению о неограниченности нефтяных запасов. В результате рациональный игрок не получает никакой информации о том, к какому сценарию ему готовится. Та же самая ситуация относится и к спорам: если некий человек выбрал доказывать точку зрения, противоположную вашей, и вам ничего неизвестно о его интеллекте, образованности и источниках информации, а также о своём объективном рейтинге, то есть шансы 50 на 50, что он прав, а не вы. Поскольку объективно измерить свой интеллект и осведомленность крайне трудно из-за желания их переоценить, то следует считать их находящимися в середине спектра.
• Поскольку в современном обществе действуют механизмы превращения любых будущих параметров в рыночные индексы (например, торговля квотами по Киотскому протоколу на выбросы углекислого газа или ставки на выборы, войну и т. д, фьючерсы на погоду), то это вносит дополнительный элемент принципиальной непредсказуемости во все виды деятельности. В силу такой торговли мы не можем узнать наверняка, будет ли глобальное потепление, исчерпание нефти, какова реальная угроза птичьего гриппа, поскольку возникает коммерческая заинтересованность подтасовать результаты любых релевантных исследований, и даже если есть абсолютно честное исследование, то мы не можем знать этого наверняка, и испытываем недоверие к любым экспертным оцнкам.
• Ещё одна причина невычислимости – секретность. Как есть поговорка, что «есть ложь, наглая ложь, статистика и статистика о нефтяных запасах». Если мы пытаемся учесть эту секретность через разные «теории заговора» в духе книги Симмонса «Сумерки в пустыне»  о преувеличенности оценок запасов Саудовской нефти, то мы получаем расходящееся пространство интерпретаций. (То есть, в отличие от обычного случая, когда точность повышается с числом измерений, здесь каждый новый факт только увеличивает раскол между противоположными интерпретациями.) Ни один человек на Земле не обладает всей полнотой секретной информации, поскольку у разных организаций разные секреты.
Психологической стороной этой проблемы является то, что люди рассуждают так, как если бы никакой невычислимости не было. То есть можно обнаружить сколько угодно мнений и рассуждений о будущем, в которых его принципиальная и многосторонняя непредсказуемость вовсе не учитывается, равно как и ограниченность человеческой способности достоверно о нём рассуждать.

Есть два различных класса прогнозов – о том, что будет, и о том, когда это будет. Идеальный прогноз должен отвечать на оба эти вопроса. Однако поскольку до идеала в прогнозах обычно далеко, то одни прогнозы лучше говорят о том, что будет, а другие о том, когда. Наилучший результат в отношении времени события можно получить, вообще не вникая в фактическую суть событий, а анализируя события статистически. Например, если знать, что рецессия в США бывает в среднем  раз 8 лет с разбросом плюс минус два года, это позволяет довольно неплохо угадывать время следующей рецессии, не вникая в её фактически причины. C другой стороны, анализируя фундаментальные причины событий, можно совершить значительную ошибку во времени их наступления, которое во многих случаях зависит от случайных и невычислимых факторов. Например, мы наверняка можем утверждать, что рано или поздно в районе Калифорнии произойдёт мощное землетрясение силой до 9 баллов, связанное с подвижкой океанической коры под материковую, но точное время этого события нам неизвестно.
Исследуя глобальные катастрофы в XXI веке, мы пытаемся ответить на оба вопроса, поскольку мы описываем не только их механизмы, но и утверждаем, что эти механизмы могут реализоваться в течение ближайших нескольких десятков лет. Возможно, некоторым читателям будет проще допустить возможность реализации этих механизмов не через 30, а через 300 лет. Кому-то трудно поверить, что нанороботы будут созданы через 30 лет, но они вполне готовы допустить их возможность в XXIV веке. Таким читателям можно сказать, что, исходя из принципа предосторожности, мы рассматриваем наиболее опасный сценарий наиболее быстрого развития ситуации, и что действительно возможно, что эти же самые события произойдут значительно позже. Р.Курцвейль, рассматривая вопрос ускорения темпов исторического времени и скорости технологического прогресса, предлагает считать XXI век равным по объёму инноваций предыдущим 20 000 годам человеческого развития. И тогда нанороботы вполне могут появиться через 30 лет.
Вообще, принцип предосторожности по-разному влияет на разные прогнозы. Если мы чего-то опасаемся, то мы должны взять наименьшую реалистическую оценку времени, оставшегося до этого события. Однако если мы надеемся на что-то, то здесь мы должны брать наибольшую оценку времени. В силу этого моя оценка времени возникновения опасных для людей нанороботов-репликаторов значительно отличается от моей оценки того времени, когда полезные нанороботы будут очищать сосуды человеческого тела. Первого следует начинать бояться через десять лет, тогда как на второе можно наверняка рассчитывать только к концу XXI века.

Теперь разберём важное когнитивное искажение, связанное со степенью доступности информации о неком прогнозе. С одной стороны, общепризнанным является утверждение о том, что «никто не смог предсказать интернет», а с другой – широко распространено возражение на это, состоящее в том, что Ефремов и ряд других писателей-фантастов и исследователей предсказали нечто подобное. На эту тему вспоминается закон Мерфи: «Что бы ни случилось, всегда найдётся кто-то, кто скажет, что он знал это заранее». И это вполне статистически объяснимо: в природе всегда существует огромное количество мнений, и всегда найдётся то, которое совпадёт с получившимся результатом с заданной точностью. Например, если несколько десятков человек загадают возможные результат выпадения числу в рулетке, то среди них наверняка найдутся один или два, которые будут заранее «знать» исход игры. Но если взять всю группу в целом, то она ничего не знает о возможном исходе игры. Этот приём применяется в бизнесе. Допустим, я создаю десять небольших инвестиционных фондов, которые применяют разные стратегии игры на рынке акций. Из них один получает значительную прибыль, а девять других терпят ущерб (превышающий в сумме прибыль первого фонда). Затем я вешаю повсюду рекламу первого фонда: «Фонд 1 заработал 300% годовых! Вкладывайте деньги в фонд 1», а остальные девять фондов закрываю. В результате у потенциальных инвесторов создаётся ложное впечатление, что фонд Х является особенно гениальным в зарабатывании денег. Хотя именно этот пример с фондом я придумал, исследования показывают, что за счёт данного эффекта селекции (эффект выживших) рекламируемые  доходы инвестиционных фондов в среднем завышены на 0.9%.
Из сказанного следует, что прогноз становится прогнозом не тогда, когда он был высказан, а тогда, когда он становится общеизвестным и общепризнанным. Поэтому претензии отдельных людей на то, что они «предсказали интернет» являются безосновательными. Кроме того, если сравнить эти предсказания с тем, что мы имеем, мы увидим огромную натяжку. Интернет вовсе не является всемирной библиотекой, наоборот, поступление в него книг ограниченно правилами копирайта. Однако он является средой для общения, блогов, ботнетов и всего того, что нельзя было даже предположить до его появления. Чем точнее предсказания будущего, тем менее они вероятны. Легко предсказать «всемирный информаторий», однако гораздо меньше шансов угадать его точное имя – интернет.
Особая трудность предсказания глобальной катастрофы состоит в том, что она является не тенденций и закономерными процессом, как, скажем, рост народонаселения и закон Мура, а однократным событием, которое может произойти или не произойти. Она может произойти, даже если вероятность крайне мала, и не произойти вопреки очень большой своей вероятности. Когда оно произойдёт, некому будет судить о вероятности. Если это событие будет длительным (например, подлёт огромного астероида или распространение заразы), то люди до самого конца не будут знать, происходит ли это окончательная катастрофа, или кто-то выживет. Таким образом, глобальная катастрофа непостижима – ни при каких обстоятельствах не будет никого, кто будет знать, что она произошла. (Как в стихах Егора Летова: «Когда я умер, не было никого, что бы это опроверг».)
Другим способом осознать ограниченность наших знаний о будущем и познакомиться с его непостижимостью является исследование предсказаний, сделанных в прошлом, что именуется палеофутурологией. Основное впечатление от старинных картин будущего, рассказов и даже научных прогнозов – насколько непохоже это на настоящее. Например, открыток 19 века, изображающих будущие летательные аппараты. При этом есть ощущение однородности всех этих прошлых образов будущего – и однородности причин того, что они не стали реальными предвидениями. Иначе говоря, изучение прошлых попыток предсказать будущее даёт нам знание о некоторых систематических ошибках, которые люди совершают, пытаясь осуществить предвидение. В картинах будущего бросаются в глаза:
1) избыток летательных средств; небоскрёбы, роботы, огромные транспортные средства.
2) «древнеримские» одежды.
3) подчёркнуто светлый образ (но иногда - подчеркнуто мрачный).
4) изменение главных деталей при сохранении мелкой атрибутики – например, в каждом доме компьютер, но это всё ещё ламповый компьютер.
5) невозможность выйти за пределы своего художественного стиля. То есть в 50-е годы вещи будущего изображаются в дизайне 1950-х годов, хотя нарочно пытаются этого избежать.
6) безличность - изображены толпы или усреднённые персонажи, а не личности.
Причины этого, видимо, в том:
1) Что будущее перестаёт восприниматься как реальность, а начинает – как сказка, и к нему применяются приёмы построения художественного образа сказочного мира. То есть в нём позволяется нарочитая нереалистичность. Сравните: "В 2050 году люди будут ходить в прозрачных электрических тогах" и "В 2050 году я буду ходить в прозрачной электрической тоге". Вторую фразу я не напишу в здравом уме, потому что я не собираюсь ходить в прозрачной тоге.
2) Будущее заменяется атрибутами будущности - самолёты, небоскрёбы, роботы.
3) Образ нацелен на то, чтобы воздействовать на современного автору зрителя. В нём подчёркивается то, что будет наиболее интересно и в то же время понятно современнику: необычная техника. В результате мы имеем не образ будущего, а образ техники будущего. Но не учитывается взаимовлияние общества, техники, экономики и истории.
4) Далее, вещи будущего мира придумываются по отдельности, а не соединяются в систему. Поэтому изображают город с большим количеством самолётов и небоскрёбов, не думая, как одно с другим будет взаимодействовать.
5) Наконец, невозможность придумать простые, очевидны нам решения - типа пульта дистанционного управления, мыши, графического интерфейса.
6) Злоупотребление экстраполяциями явных тенденций.
7) Предсказание будущего – это всегда предсказание поведения более сложной, более интеллектуальной системы силами менее сложной и менее интеллектуальной. В этом смысле оно подобно попыткам предсказания поведения ИИ – и может служить иллюстрацией меры ошибочности в этом.


Принципиальной непредсказуемости будущих событий и склонности людей недооценивать маловероятное на их взгляд посвящена вышедшая в 2007 году книга Нассима Талеба «Чёрный лебедь». (Taleb, Nassim Nicholas (2007). The Black Swan: The Impact of the Highly Improbable. New York: Random House.)Талеб пишет, что до открытия Австралии люди в старом мире считали, что все лебеди – белые, и в этой вере нет ничего удивительного, так как она полностью подтверждалась эмпирическими данными. Открытие первого чёрного лебедя было большим сюрпризом для орнитологов, но главное в истории, по словам Талеба, не это. Эта история иллюстрирует жёсткую ограниченность нашей способности учиться на основании опыта и хрупкость нашего знания. Одно единственное наблюдение может разрушить обобщение, основанное на миллионах наблюдений в течение тысячелетий. Талеб предлагает называть «Чёрным Лебедем» событие, которое имеет три следующих атрибута:
1) Оно необычно и лежит за пределами наших ожиданий.
2) Последствия этого события крайне велики.
3) Несмотря на нерядовой характер этого события, человеческая природа заставляет нас придумать такие объяснения этому событию, что оно выглядит задним числом объяснимым и предсказуемым.
То есть три отличительных свойства Чёрного Лебедя – этот редкость, значительные последствия и ретроспективная предсказуемость. Небольшое количество Чёрных Лебедей объясняет, по словам Талеба, почти все свойства нашего мира: успех идей и стран, динамику исторических событий, личную историю людей. Более того, по мнению Талеба, с ходом истории, от неолита до наших дней, частота Чёрных Лебедей растёт, и жизнь становится всё более непредсказуемой. 

Далее Талеб приводит классические примеры непредсказуемости событий, вроде Первой и Второй мировой войн для людей, которые жили до этих событий. К сожалению, мы не можем оценить реальную степень непредсказуемости этих событий для людей, живших в то время, так как наше представление непоправимо искажено последующим знанием. Однако Талеб утверждает, что прихоти, эпидемии, мода, идеи, возникновение стилей искусств – всё это имеет динамику событий, подобную Чёрным Лебедям.
Комбинация низкой предсказуемости и значительных последствий делает Чёрных Лебедей трудноразрешимой задачкой, но вовсе не это является главной проблемой, которую Талеб обсуждает в своей книге. Самое главное состоит в том, что мы склонны действовать так, как если бы Чёрных Лебедей не существовало. Для разъяснения этого момента Талеб обращается к своему опыту работы в сфере финансов. Он утверждает, что обычные портфельные инвесторы воспринимают риск как колоколообразную кривую нормального распределения некой величины вокруг её среднего значения. Однако в их расчетах вы не найдёте возможностей Чёрных Лебедей. Стратегию своего инвестиционного фонда Талеб построил именно на использовании этого психологического свойства людей. Он покупал контракты (опционы), которые стоили очень не дорого, но приносили прибыль только в случае очень редких явлений-катастроф, и затем ждал, как рыбак, закинувший удочку. Любые внезапные колебания рынка приносили ему прибыль.
Центральной идеей своей книги Талеб считает нашу слепоту относительно случайности, особенно относительно больших событий. Он вопрошает, почему мы концентрируемся на пенни, а не на долларах. Почему мы концентрируемся на малых процессах, а не на больших. Почему, по словам Талеба, чтение газеты в действительности уменьшает наше знание о мире, а не увеличивает его.
Нетрудно увидеть, продолжает он, что жизнь – это кумулятивный эффект нескольких значительных событий. Далее Талеб предлагает мысленный эксперимент: рассмотреть свою собственную жизнь и изучить роль в ней непредсказуемых внезапных событий с огромными последствиями. Много ли технологических перемен пришли именно в тот момент, когда вы их ожидали? Вспомните в своей жизни моменты выбора профессии, встречи спутника жизни, изгнания из родины, предательства, внезапного обогащения и разорения – как часто такие вещи случались тогда, когда вы их запланировали? Недавно распространилась поговорка «расскажи Богу о своих планах – пусть он повеселиться». Она об этом.
По Талебу, логика Чёрных лебедей делает то, что вы не знаете, гораздо более важным, чем то, что вы знаете. Большинство Чёрных Лебедей случились только потому, что были неожиданными. Если бы возможность террористической атаки 11 сентября считалась бы реальной, то эта атака была бы невозможна. Невозможность предсказать масштабные события делает невозможным, по Талебу, предсказание хода истории. Однако мы действуем так, как если бы могли предсказывать исторические события и даже, более того, менять ход истории. Мы пытаемся предсказать, что будет с нефтью через 30 лет, но не можем предсказать, сколько она будет стоить следующим летом. В силу этого, по мнению Талеба, эксперты знают не больше обычных граждан о будущем, однако умеют продавать свои предсказания с помощью графиков и цифр. Поскольку Чёрные Лебеди непредсказуемы, мы должны приспособиться к их существованию, а не наивно пытаться их предсказать. Хорошим примером использования Чёрных Лебедей в своих целях является история про Хаджу Насредирна и ишака. Он не пытается предсказать будущее, а только знает, что за 20 лет случится какой-нибудь Чёрный Лебедь, который избавит его от необходимости учить ишака говорить. 
Другим важным обстоятельством, по Талебу, является склонность людей учиться частностям, а не общим закономерностям. Чему люди научились благодаря 11 сентября, вопрошает он? Научились ли они тому, что некоторые события, определяющие жизнь, находятся далеко за пределами царства предсказуемого? Нет. Обнаружили ли они дефектность во встроенной нас общепринятой мудрости? Нет. Так чему же они научились? Они научились конкретным правилам избегания попадания исламских террористов в самолёты. Другим примером слишком конкретной реакции (на опыт Первой мировой войны в данном случае) является строительство линии Мажино французами перед Второй мировой войной. Талеб предлагает следующий софизм: Мы не способны сами собой научиться тому, что мы не учимся тому, что мы не учимся.  Особенность наших умов состоит в том, что мы учимся фактам, а не правилам, и в силу этого, нам особенно трудно обучиться метаправилам (например, тому, что нам плохо даются правила), полагает Талеб. Иначе говоря, никто не понимает, что история никого не учит.

Много ценного о возможной глобальной катастрофе можно почерпнуть из русских пословиц и других источников народной мудрости. Начнём с классического: «Пока гром не грянет, мужик не перекрестится». Это означает, что ни одна гипотеза о возможной причине глобальной катастрофы не станет общепризнанной, пока не произойдёт некое событие, однозначно удостоверяющее её возможность, иначе говоря, пока катастрофа не начнётся. Многие сценарии глобальной катастрофы оставляют очень маленький зазор между началом события и самим событием. Например, невозможно доказать, что есть шанс случайной ядерной войны, до тех пор, пока она таки не произойдёт. Тоже самое касается и искусственного интеллекта – невозможно доказать, что возможен универсальный самообучающийся ИИ до того, как он будет создан. Более того, предупреждения алармистов парадоксальным образом действуют успокаивающе, создавая привычный фон, как в сказке «Волк, волк». Мы хотим уподобиться Маше из сказки «Маша и медведи», которая и на кроватке полежит, и пирожок надкусит, и уйдёт из дома незамеченной – обычно эту аналогию приводят в отношении экономики (Goldilocks economy), но тоже верно и применительно к новым технологиям.
Теперь вспомним такое высказывание, как «после нас хоть потоп» – оно в утрированной форме называет естественно присущую людям склонность резко снижать оценку значения событий, которые могут произойти после их смерти. По этой (но не только) причине многие люди не делают завещание: им всё равно, какие будут проблемы у их родственников после их смерти. Окончательное человеческое вымирание – это событие, которое произойдёт после смерти последнего человека, и очень мало шансов оказаться именно этим последним человеком. Эта склонность к прожиганию жизни, «к пиру во время чумы» перед лицом неминуемой смерти, уравновешивается в человеческом сознании ощущением собственного бессмертия. Нам трудно себя убедить в том, что «сколько верёвочке не виться, а конец-то будет», и даже думая о неизбежности собственной смерти, мы прибегаем к абсурдной в данном контексте модели «авось пронесёт».
Печальным кладезем научно-технической мудрости являются законы Мёрфи в духе классического «всё, что может испортиться, – испортится»: это не означает, что любой проект кончит плохо, но рано или поздно любой возможный сбой где-нибудь произойдёт. Другой закон Мёрфи, который помогает нам понять значение предсказаний: «Что бы ни случилось, всегда найдётся человек, который будет утверждать, что знал это с самого начала».   

Американский исследователь глобальных рисков Майкл Анисимов приводит следующий пример непредсказуемости и сложности влияния новых технологий на человеческую историю. Фриц Хабер (1898-1934) – одна из наиболее противоречивых фигур в науке во всей истории. Будучи химиком, он разработал процесс Хабера, который делает возможным связывание атмосферного азота и синтез аммиака.  Аммиак, создаваемый по процессу Хабера, используется для производства синтетических удобрений во всё мире, которые используются в сельском хозяйстве более чем третью человеческой популяции, обеспечивая едой миллиарды людей, которые иначе бы вообще не существовали. До того добыча удобрений состояла в соскабливании помёта летучих мышей со стен пещер или извлечении их из азотосодержащих скал в Чили.  За своё открытие Хабер получил Нобелевскую премию по химии 1918 году.
К сожалению, будучи немецким военным учёным в ходе Первой мировой войны, Хабер провёл много других исследований, которые нельзя назвать иначе как чудовищные. Его называют отцом химического оружия за разработку отравляющих газов, которые использовались во время первой мировой войны, хотя эта практика была запрещена гаагскими соглашениями 1907 года. И только в 1997 году применение и накопление химического оружия было запрещено во всём мире конвенцией по химическому оружию. Хабер также разработал знаменитый газ Циклон Б, который использовался для убийства миллионов евреев, цыган и гомосексуалистов во время Холокоста. Ирония судьбы в том, что сам Хабер был евреем, и десятки членов его родни были убиты Циклоном Б в концентрационных лагерях.
В 1915 году жена Хабера, химик и его сотрудник, была настолько потрясена исследованиями своего мужа, что выстрелила себе в грудь из его армейского пистолета, прямо в саду их дома. Хабера это особенно не озаботило: он нашёл себе новую жену, у которой не было проблем с его ужасными занятиями. Он умер в швейцарской лечебнице в 1934 году, так и не узнав о геноциде, который совершался с использованием его газа в ходе Второй Мировой войны. Его сын Герман, который эмигрировал в США во время войны, в 1946 году тоже покончил собой.
Эта история показывает, что нам очень трудно отличить позитивный и негативный смысл тех или иных научных открытий и видов деятельности, и одни и те же направления исследований могут приносить как несметные блага, так и соразмеримые им опасности.

Можно также задаться вопросом, почему именно глобальная катастрофа, ведущая к человеческому вымиранию, выбрана здесь в качестве самого важного в отрицательном смысле слова возможного будущего события. Ведь, можно сказать, что смерть страшна только в той мере, в какой жизнь имеет некую позитивную ценность. И, следовательно, надо эту ценность определить и к ней стремиться, не взирая на небольшие риски. Подобное поведение типично для человеческих существ, когда выгоды затмевают риски. Однако я предлагаю рассматривать выживание человечества не как абсолютную ценность саму по себе, а как универсальное средство к любым другим целям, которые могут отличаться у разных людей. Выбор какой-то одной ценности, отличной от человеческого выживания – это всегда шанс, что возникнет ситуация, когда ради неё будет стоить рискнуть всем. Однако выбор «человеческого выживания» как универсального средства (при этом оставляя вопрос о главной цели на усмотрение каждого) исключает такую ситуацию.


Глава 3. Сингулярность
Термин «Технологическая сингулярность» постепенно завоёвывает признание, и по мере того, как он всё более широко становится известен в России, среди западных учёных, его породивших, нарастает разочарование из-за размытости этого термина. В ходе этих дискуссий возникло наиболее общее определение Сингулярности, которое объединяет самое главное во всех более частных определениях – Сингулярность состоит в том, что через несколько десятков лет, а возможно и раньше, нас ждёт внезапное решительное изменение всего мира, связанное с развитием новых технологий. Здесь слово «внезапное» подчёркивает скорость процессов во время Сингулярности, «решительное» - масштаб изменений, а также указывается время событий и их основная причина. Кроме того, Сингулярность коснётся всего в мире.
Исходно термин «Сингулярность» предложил Вернор Виндж в 1993 году, высказав идею о том, что когда человек создаст машину, которая будет умнее человека, то с этого момента история станет непредсказуемой, так как невозможно предсказать поведение интеллектуально превосходящей системы. Исходя из темпов развития электроники, он предположил, что это произойдёт в первой трети XXI века. (Виндж: «Я удивлюсь, если это случится до 2005 года или после 2030 года»). В районе 2000 года Е.Юдковски пришёл к идее о том, что возможна программа искусственного интеллекта, способная совершенствовать саму себя, и с того момента, когда критический порог сложности будет преодолён, самосовершенствование ИИ начнёт происходить со скоростью, на многие порядки превосходящей скорость конструирования его человеком. Именно этот самоусиливающийся процесс он стал иметь в виду, говоря о Сингулярности. С другой стороны, многие исследователи разных областей знания обнаружили, что применяемые ими прогностические модели дают значения, обращающиеся на бесконечность в районе 2030 года. Например, в гиперболической функции роста населения Земли, предложенной С.П.Капицей, число людей должно было бы стать бесконечным в районе 2025 года. И хотя реальное число людей отстаёт от этой функции, если к нему добавить число компьютеров, то закон продолжает соблюдаться. А.Д. Панов исследовал закономерности ускорения исторических процессов, начиная с зарождения жизни в своей работе «Кризис планетарного цикла Универсальной истории». Он показал закономерность, что цикл перед каждым следующим историческим этапом становится короче в 2,42 раза, и в результате мы тоже имеем кривую, которая обращается в бесконечность в районе 2030 года. Похожие результаты дают прогнозы по отдельным технологиям. Программа развития нанотехнологий (Roadmap for nanotechnology, 2007) предполагает создание универсальных наномасштабных систем молекулярного производства  – то есть тех самых нанороботов, которые всё могут, – в период 15-30 лет с настоящего момента. Экспоненциальный прогресс в области биологии очевиден при рассмотрении проектов расшифровки человеческого генома: первый проект длился 9 лет, причём большая часть работы была сделана за последние 9 месяцев, а сейчас запущен проект расшифровки геномов 1000 людей, уже предложены методы, которые уже удешевили этот процесс в тысячу раз и должны удешевить его в миллион раз в ближайшие годы. Прогресс в биологии в ближайшие десятилетия должен позволить либо достичь практического бессмертия человека, либо возможности для каждого создавать на дому новые смертельные вирусные штаммы. Очевиден прогресс и в области создании суперкомпьютеров – и в течение ближайших 20 лет они или должны упереться в некий естественный предел, или привести к созданию сверхчеловеческого интеллекта. Также и исследование мозга человека продвигается довольно значительно – уже есть результаты по считыванию зрительных образов из мозга кошки, моделирования кортикальной колонки в проекте Blue brain и др. При этом проект Blue brain представил свою дорожную карту, по которой полное моделирование мозга человека будет возможно к 2020 году. Разрешающая способность томографов, позволяющая вживую наблюдать процессы внутри мозга, так же растёт по экспоненциальному закону. Всё это заставляет предположить, что к 2020-30 годам удастся создать способы считывания и записи информации в мозг напрямую из компьютера, что создаст принципиально новые перспективы. Итак, каждая из ведущих технологий сама по себе должна выйти на уровень, ведущий к полной трансформации мира, в течение примерно 30 ближайших лет, не говоря уже о том, что имеет место мощное взаимодействием между базовыми технологиями, называемое NBIC-конвергенция  (синергетический обмен результатами и методиками между nano, bio, info и cogno технологиями, ведущий к взаимному усилению результатов и к возникновению некой новой единой технологии).
С другой стороны, есть ряд негативных прогнозов, которые также имеют своим пиком ближайшие несколько десятилетий. Среди них в первую очередь следует назвать разные предсказания об исчерпании ресурсов. Это – пик Хуберта в производстве нефти, который мы, возможно, проходим уже сейчас, это пик производства пищи, объёма доступных земель, запасов редких металлов. Здесь нам важно отметить не то, каковы конкретно эти прогнозы и верны ли они, а то, что все они говорят примерно об одной области дат в районе 2030 года.
Итак, множество различных прогностических кривых испытывает перелом, обращается в бесконечность или в ноль в районе 2030 года – и хотя некоторые из этих предсказаний могут быть и даже наверняка являются ошибочными, исполнения любого одного из этих предсказаний, а тем более сразу нескольких из них, достаточно, чтобы решительно изменить наш мир. При этом характер кривых, которые описывают эти изменения – экспонент, гипербол и гауссовых распределений (в случае пика Хуберта) показывает нам, что ожидаемая перемена будет носить резкий характер. Эффект совместного действия разных технологий и проблем, который грубо можно представить как произведение описывающих их параметров (хотя, скорее, здесь возведение в степень), ещё в большей степени сделает острым результатирующий график изменений. Отсюда следует, что перемены будут быстрыми и внезапными. При этом мы пока ещё не можем сказать, какие это будут перемены, будут ли они хороши и в какой мере они означают возможность окончательной катастрофы. (Хотя для тех, кто хочет сохранить что-то неизменным, они точно не будут хороши.)
Теперь, когда мы установили общее во всех прогнозах Сингулярности, мы можем обсудить в деталях разные «школы Сингулярности». В математике термин «сингулярность» связывают с наличием особенности у некой функции, например, того, что она обращается в бесконечность при приближении к нулю. Физики стремятся избежать описания процессов функциями с сингулярностями, так как считается, что никакой физический параметр не может принять бесконечной величины. Наличие сингулярностей в описании свидетельствует обычно, что теория неполна. Например, теория непрерывного излучения света чёрным телом не работала, так как предсказывала бесконечно большое излучение, и её пришлось заменить теорией излечения порциями – то есть квантовой теорией. Другой вариант сингулярностей в физике – это режимы с обострением. Так описываются системы, в которых некий параметр за конечное время приобретает бесконечное значение. Однако на самом деле он его не приобретает, так как система, в которой такой параметр имеет смысл, разрушается. Такие системы исследует «теория катастроф» и синергетика. В результате физика осталось только с двумя «актуальными» сингулярностями. Первая – это состояние Вселенной в момент Большого взрыва, когда, как предполагается, она была заключена в объём в 10-44 см, и плотность энергии в ней была крайне велика, но всё же не бесконечна, так как была ограничена условиями, даваемыми квантовыми соотношениями неопределённости. Отметим, что это не единственная теория Большого взрыва, и по другим теориям плотность энергии никогда не достигала максимальной величины, а имел место переход одного вакуума в другой, сопровождавшийся интенсивным расширением пространства (теория хаотической космологической инфляции). Впрочем, с практической точки зрения разница интенсивностей не велика, так как инфляция началась при размерах Вселенной 10-33 см. Зато инфляция настолько увеличила размеры Вселенной, что, по некоторым теориями, для описания её размеров приходится пользоваться двойными показателями степени 10**10**15 см (то есть 10 в степени миллион миллиардов). Другой знаменитой сингулярностью в физике являются чёрные дыры. Гравитация чёрной дыры столь велика, что любой материальный объект, падающий в неё, должен был бы сжаться в точку. Однако по общей теории относительности для внешнего наблюдателя время этого падения (причём не до точки в центре дыры, а до границы поверхности, называемой сфера Шварцшильда) растянется до бесконечности, тогда как для самого падающего падение  займёт конечное время.  Отметим, что сингулярностью можно назвать и момент в жизни массивной звезды, когда она начинает коллапсировать в чёрную дыру и скорость событий в ней бесконечно ускоряется.
Наиболее радикальное представление о технологической сингулярности предполагает, что сингулярность на самом деле означает бесконечный рост за конечное время. Это представление отражено в статье Е.Юдковски «Вглядываясь в сингулярность», где он предполагает, что когда появится способный к самосовершенствованию искусственный интеллект, то он будет неограниченно усиливать себя, проходя каждый цикл ускорения всё быстрее, и на каждом новом этапе находя всё новые технологические и логические возможности для самосовершенствования. В результате для того, чтобы записать его IQ, потребуется число, значительно большее, чем размер Вселенной после космологической инфляции, о котором мы упоминали выше, и чтобы описать это непостижимую огромность этого числа Юдковски вводит специальную математическую операцию. Здравым возражением к этой теории является то, что возможная производительность любого ИИ, который мы можем создать на Земле, ограничена сверху числом атомов в Солнечной системе (порядка 10**53 штук), поскольку мы не можем сделать транзисторы меньше атома размером. С другой стороны, мы не можем предсказать, что именно сможет достичь ИИ, который уже воспользовался таким количеством атомов для создания сверхмозга-компьютрониума. Например, навскидку можно предположить, что даже на нескольких атомах можно получить огромные вычислительные ресурсы, используя квантовые эффекты, как это планируют делать в квантовых компьютерах. Однако с практической точки зрения здесь нет большой разницы, так как мы не сможем понять различий между компьютером с IQ в 10**30 единиц и с IQ в 10**10**15 единиц, точно так же, как мы не можем узнать, какова была плотность вселенной до периода космологической инфляции. При этом надо отметить, что для самой природы огромные числа, как 10**10**15, не являются чем-то запретным, и это именно человеческие трудности, если он не может их себе представить. Оставим также на совести Юдковского некорректность употребления теста Айзенка, предназначенного для оценки интеллектуальных способностей людей, к гипотетическим будущим искусственным сверхинтеллектам. Однако базовая идея представляется правильной: сравнивать силу интеллекта через сложность задач, который он может решить.
Итак, одна точка зрения состоит в том, что Сингулярность – это актуальный процесс бесконечного роста, причём, видимо, за конечное время. Другая состоит в том, что Сингулярность – это только асимптота, к которой стремятся прогностические кривые, но на самом деле они её по тем или иным причинам не достигнут. Вернор Виндж презентовал Сингулярность именно как абсолютный горизонт прогноза после создания сверхчеловечески умных машин. Наконец, есть точка зрения, что Сингулярность имеет математический смысл как короткий период бесконечного ускорения процессов, однако реальные перемены будут конечны и пост-сингулярный мир, хотя и будет значительно отличаться от нынешнего, всё же будет миром без быстрых изменений со своей собственной устойчивостью. Исторически мы знаем несколько примеров, когда процессы ускорялись фактически до бесконечной скорости за счёт того, что несколько значимых событий происходили одновременно. Например, Солженицын так описывает ускорение событий во время Февральской революции в России:
«Если надо выбрать в русской истории роковую ночь, если была такая одна, сгустившая в несколько ночных часов всю судьбу страны, сразу несколько революций, – то это была ночь с 1 на 2 марта 1917 года. Как при мощных геологических катастрофах новые взрывы, взломы и скольжения материковых пластов происходят прежде, чем окончились предыдущие, даже перестигают их, - так в эту русскую революционную ночь совместились несколько выпереживающих скольжений, из которых единственного было достаточно - изменить облик страны и всю жизнь в ней, - а они текли каменными массами все одновременно, да так, что каждое следующее отменяло предшествующее, лишало его отдельного смысла, и оно могло хоть бы и вовсе не происходить. Скольжения эти были: переход к монархии конституционной («ответственное министерство») - решимость думского Комитета к отречению этого Государя - уступка всей монархии и всякой династии вообще (в переговорах с Исполнительным Комитетом СРД - согласие на Учредительное Собрание) - подчинение ещё не созданного правительства Совету рабочих депутатов - и подрыв этого правительства (да и Совета депутатов) отменой всякого государственного порядка (реально уже начатой «приказом № 1»). Пласты обгоняли друг друга катастрофически: царь ещё не отрёкся, а Совет депутатов уже сшибал ещё не созданное Временное правительство». (Размышления над Февральской революцией.  27 февраля 2007, Российская Газета. http://www.rg.ru/solzhenicyn.html )
Трудно избежать Сингулярности. Если развитие наук замедлится, то это увеличит шансы катастрофы в результате исчерпания ресурсов и перенаселения; наоборот, если ресурсов будет много, то ничего не помешает наукам и технологиям продолжить свой бег к будущему. Некоторые предлагают другие варианты для названия Сингулярности: Технокалипс, Великий Переход, Катастрофа.
Многие люди связывают с Сингулярностью самые позитивные ожидания. Теоретически Сингулярность означает возможность бессмертия, неограниченного расширения сознания и полёты на другие планеты. Но точно так же теоретически атомная энергия означает неограниченное даровое электричество, однако на самом деле бесконечные преимущества уравновешиваются бесконечными недостатками, каковы в случае атомной энергии – ядерное оружия, радиоактивное заражение и угроза глобальной войны. Соответственно, возникло следующее упрощённое представление о Сингулярности: достаточно дотянуть до неё, а там искусственный интеллект решит все наши проблемы, возникнет экономика изобилия и рай на Земле. Не удивительно, что такие представления вызвали ответную реакцию: высказывались предположения, что идеи о Сингулярности – это своего рода религия для фанатов техники, где ИИ вместо Иисуса, а Сингулярность вместо Бога. И на основании такой психологизации идея о Сингулярности отвергалась. (Можно также сравнивать ожидания наступления Сингулярности с идеями о коммунизме. После Сингулярности, говорят её сторонники, молекулярное производство позволит производить любые товары практически бесплатно, создав то самое изобилие, которое делает коммунизм возможным; кроме того, в управляемом ИИ обществе отпадёт необходимость в рынке, так как управление сверху окажется, наконец, более эффективно. Когнитивные технологии, наконец, смогут создать нового человека или подправить «старого».  Однако подобные ожидания, вероятно, больше говорят о нас самих, чем о том, что будет на самом деле.)
Другая критика идеи Сингулярности была направлена на то, что закон Мура является экспоненциальным, а выделенная точка возможна только при гиперболическом законе; что, возможно, человек не может создать сверхчеловеческий разум, поскольку это слишком сложная задача, и чтобы создать сверхразум, нужно его уже иметь. Например, в критической статье «Сингулярность всегда рядом» (пародирующей название работы Р.Курцвейла «Сингулярность рядом») говорится о том, что мы никогда не сможем обнаружить себя «после сингулярности», поскольку  в этом состоянии мы должны были бы признать, что весь бесконечный рост находится позади нас, а впереди никакого такого роста не будет. Вместо того чтобы разбирать всю эту критику, отметим, что она не влияет на основной факт – на реально надвигающуюся на нас перемену неизвестной природы.
Есть также представления, что может быть «позитивная Сингулярность» и «негативная», и это звучит так, что это как бы две стороны одной медали. И шансы их равны, как шансы выпадения одной из сторон монеты. Но это не так. Для реализации позитивной Сингулярности вместе должны сложиться успехи всех технологий, всё задуманное должно получиться, в правильной последовательности и т. д. А чтобы произошла негативная Сингулярность, достаточно, чтобы всё пошло наперекосяк один раз. Гораздо проще сделать смертельно опасный вирус, чем лекарство от старости.
Вкратце история представлений о прогрессе такова. В античности прогресс не осознавался, и история казалась ходящей по кругу. Это представление поддерживалось тем, что скорость технологических инноваций в то время была столь медленной, что мир почти не менялся на протяжении поколения, и обнаружить разницу было трудно. И наоборот, отсутствие идеи прогресса мешало технологическим инновациям. Например, разные технологические хитрости считались уделом рабов, и были недостойными свободными человека. С появлением христианства возникла идея линейного времени – от грехопадения до Страшного суда, но она не относилась к человеческим достижениям. Несмотря на крах Римской империи, в Средние века продолжалось постепенное накопление разных изобретений и новшеств. В эпоху Возрождения, как можно понять по самому её названию, идеи прогресса ещё не существовало, так как в качестве источника рассматривалось возвращение к прошлому. Только в середине XVII века идея о неостановимой силе прогресса стала проникать в умы, во многом, благодаря работам Фрэнсиса Бэкона (Novum Organum, 1620), и в эпоху Просвещения в XVIII веке стала всеобщим достоянием. Таким образом, идея прогресса значительно отстала от самого прогресса. В XIX веке знамя прогресса поднимали Карл Маркс, Огюст Конт и др., нас же здесь в больше мере интересует то, какова была ожидаемая ими скорость прогресса. С точки зрения формы, возможны следующие идеи о прогрессе:
1) линейный прогресс до какого-то уровня, после чего наступает равновесие
2) бесконечный линейный прогресс
3) экспоненциально растущий прогресс – идея о том, что прогресс не просто происходит, но что темпы его ускоряются (закон Мура).
4) гиперболический прогресс – идея о том, что прогресс не просто ускоряется, но достигнет бесконечности за конечное время в ближайшем будущем.
Как отмечает исследователь процессов ускорения прогресса Джон Смарт, по-видимому, первым, кто обратил внимание на постоянное ускорение прогресса и осознал, что оно ведёт к некому фазовому переходу, был американский историк Генри Адамс (1838-1918) в 1890-х годах. В 1904 году он написал эссе «Закон ускорения» (http://www.bartleby.com/159/34.html), а в 1909 – «Закон фазового перехода применительно к истории», в котором утверждал, что в период между 1921 и 2025 годами произойдёт фазовый переход в отношениях между человечеством и технологиями. В этой статье он предполагает, что история подчиняется закону квадратов, то есть каждый следующий период истории по своей длине равен квадратному корню из длины предыдущего периода. Согласно Адамсу, за «Религиозным периодом» в 90 000 лет следует «Механический период» в 300 лет, затем «Электрический период» в 17 лет и затем должен быть «Эфирный период» в 4 года, а затем последует фазовый переход, в ходе которого человечество достигнет границ возможного. С учётом неопределённости в длинах периодов он и получил разброс между 1921 и 2025 годами; не трудно отметить, что верхняя граница совпадает с оценками Винджа о времени наступлении Сингулярности.
Теорию Адамса можно рассматривать и как подтверждение, и как опровержение идей Сингулярности. Опровержение состоит в том, что людям свойственно специфическое когнитивное искажение, которое можно назвать «эффект перспективы», и которое заставляет людей выделять в более близких по времени к ним периодам более короткие значимые отрезки, в результате чего и возникает ощущение ускорения. Однако последующие исследования ускоряющихся перемен старались избежать этой произвольности в выборе значимых отрезков времени, измеряя некие объективные параметры, например, информационную ёмкость систем.
Эпоха Сингулярности начнётся внезапно. То есть некоторое время, десять-двадцать-тридцать лет, всё будет примерно как сейчас, а потом начнёт очень быстро меняться. Если бы у природы была точка зрения, и она наблюдала бы земную историю со скоростью один год за секунду, то для неё эпоха Сингулярности бы уже началась: мир, населённый обезьянами, внезапно и резко трансформировался в мир людей, изменяющих Землю совершенно непонятным до того способом.

Рекомендуемая литература:
Вернор Виндж. Технологическая Сингулярность.// Компьютера, 2004
Панов А.Д. Кризис планетарного цикла Универсальной истории и возможная роль программы SETI в посткризисном развитии. // Вселенная, пространство, время. № 2, 2004.
Назаретян А.П. Цивилизационные кризисы в контексте Универсальной истории. М., 2001.
Елиезер Юдковски. Вглядываясь в Сингулярность.

Глава 4. Искусственный интеллект, его риски и непредсказуемость.
Людям трудно поверить, что разум действителен; но в самом деле ничто не действительно, кроме разума; он есть абсолютная мощь. – Г. В. Ф. Гегель.

Вместо того чтобы с сразу приступить к дискуссии, возможен ли ИИ, я хочу выдвинуть крайнюю точку зрения, состоящую в том, что в определённом смысле ИИ уже существует. Дело в том, что никакого естественного человеческого интеллекта не существует. Человеческий интеллект слагается из языка, понятий и приёмов мышления, которые были придуманы людьми. Точка. Мы живём уже внутри искусственного интеллекта. Навыки человеческого мышления непрерывно и ускоренно развивались от появления зачатков речи через возникновение абстрактных понятий, математики, научного метода, а затем различных приёмов обработки информации. Развитие это происходило в начале бессознательно и стихийно, а затем всё более целенаправленно.
Здесь также важно избежать дискуссий о том, чем именно является ИИ, может ли машина обладать сознанием, и так далее. С точки зрения предмета нашего исследования важно только то, как может Искусственный интеллект привести к глобальной катастрофе. И с этой точки зрения для нас важна только его способность решать задачи в реальном мире, или, иначе, побеждать в любых играх. Когда Каспаров проиграл Deep Blue, он потерял престиж и денежный приз вне зависимости от того, обладал ли Deep Blue сознанием, осуществлял ли он тупой перебор, и был ли он всего на всего железкой. Точно так же для человека, которого поедает тигр, не важно, обладает ли тигр сознанием, внутренними переживаниями или враждебностью к человеку. 
Далее надо отметить, что человеческий интеллект является свойством общества, а не отдельного человека. (Свойством отдельного человека является универсальная способность обучаться и решать новые задачи в незнакомой обстановке. Именно это свойство является базовым для любых форм коллективного интеллекта. Исследователи ИИ мечтают смоделировать именно эту универсальную способность решать любые задачи. Но сама по себе она не есть настоящий интеллект – а только его зачаток.) Большинство людей за жизнь не открывают ничего принципиально нового для науки, а каждый отдельный учёный делает только небольшой шаг, опирающийся на достижения предшественников, и служащий опорой для следующего шага. Поэтому мы должны говорить не о развитии естественного интеллекта и создании искусственного, а о едином процессе создания интеллекта.
Этот процесс начался ещё задолго до человека. Сама эволюция форм живой материи на Земле представляет собой развитие всё более совершенных форм эволюции. Выигрыш в решении задачи выживания и приспособления составлял интеллектуальную задачу эволюции. Вначале эволюция решала свои задачи путём простого перебора возможных вариантов, а затем это перебор стал оптимизироваться. Появилось половое размножение, мозг. Хотя то, как именно эволюция оптимизировала сама себя остаётся спорным вопросом, сам факт её самооптимизации налицо – и проявляется во всё более быстром эволюционном развитии. Отсюда можно заключить, что самоусиление является естественным свойством интеллекта, потому что всегда ведёт к выигрышу в решении задач. При этом интеллект эволюции был свойством всей биосферы, то есть имел распределённый характер. И по своим результатам этот интеллект был сверхчеловеческим, поскольку те задачи, которые он смог решить, – скажем, создание человеческого организма – человек сам пока решить не может. И из эволюции живых организмов произошла эволюция человеческого мозга, а затем – различных способов мышления, которым этот мозг стал пользоваться. В результате способность человека решать задачи превзошла способность эволюции создавать новые организмы – по скорости решения задач, но не по качественности продуктов. Однако затем стали развиваться способы усиления интеллекта с помощью машин, то есть появились компьютеры как вычислители, появился интернет как среда обмена информацией и идеями, появился венчурный капитализм как способ организации деятельности, ведущей к наиболее быстрому отбору наиболее эффективных решений. При этом роль интеллекта отдельного человека стала снижаться. Если бы некая идея не пришла в голову кому-то одному, она бы пришла другому через год.
В результате мы видим естественный процесс перехода основного носителя интеллекта от генетического кода к нейронным мозгам, а от них к человеческим организациям (науке) и к компьютерам. При этом эффективность этого интеллекта как способа решения задач ускоряется на порядки с каждым таким переходом, более того, интеллект всё более становится заточенным на самосовершенствование, поскольку теперь он обладает рефлексией и понимает, что лучше потратить часть времени на обучение, улучшение вычислительной базы, наём более производительных сотрудников или разработку новых алгоритмов, чем на решение задачи в лоб.
Итак, нет ничего удивительного в том, что рано или поздно интеллект окажется на полностью компьютерной базе, и при этом он будет в значительной мере нацелен на самосовершенствование и превосходить современный человеческий интеллект на порядки – это продолжение того же эволюционного процесса, который создал самого человека. Однако человеческая гордыня мешает увидеть такую перспективу, поскольку царю зверей не положено терпеть поражение от собственной железки, и в силу этого человек предполагает существование некого искусственного барьера, называемого границей естественного интеллекта и искусственного, а затем следуют утверждения о невозможности создания искусственного интеллекта. 
Есть другая причина неверия в сильный ИИ. Это – череда обидных неудач, которая постигла исследователей, пытавшихся его создать. Регулярно за заявлениями о том, что универсальный ИИ будет создан в ближайшие три года, следовало затянувшееся молчание. Так было с компьютерами пятого поколения в Японии в 80-е годы. Постепенно выяснилось, что проблему наскоком решить нельзя. Раздались голоса о принципиальной невозможности сильного ИИ. Например, знаменитый математик Р.Пенроуз опубликовал книгу «Новый ум короля», в которой аргументировал невозможность создания ИИ невычислимыми квантовыми процессами, происходящими внутри микротрубочек нейронов мозга, а также теоремой о неполноте Гёделя. Отмечу, что аргументация эта не очень убедительна, потому что даже если квантовые процессы играют важную роль в мышлении, возможны квантовые компьютеры, использующие их, а также возможно непосредственное выращивание нейронов на кремниевой подложке, что показали недавние опыты.
Искусственный интеллект не является вечным двигателем: последнего не существует в природе, тогда как интеллект, как человеческий, так и эволюции, вполне успешно реализован. Скорее, попытки создать ИИ подобны попыткам создать самолёт в XIX веке, которые были настолько выразительно неудачны, что в Англии даже отказались рассматривать предложения о машинах тяжелее воздуха. Для создания самолёта в 19 веке не хватало двух вещей – мощного двигателя и понимания аэродинамики работы крыла. И если второе было чисто «самолётной» проблемой, то появления достаточно мощного двигателя пришлось ждать со стороны. Сейчас устройство крыла планера нам кажется очевидным и нам трудно понять, в чём же были трудности создания его рисунка. Точно также когда-нибудь устройство ИИ станет очевидным, и его будут преподавать в школе (если школы ещё будут нужны). Но вторая половина вклада в создание ИИ должна придти со стороны, и это – развитие мощных, а главное, дешёвых и доступных вычислительных машин, а также огромный объём упорядоченной оцифрованной информации в виде Интернета.
Другой критерий оценки воплотимости ИИ – это сопоставление реально существующих компьютеров с мозгом человека. Вычислительные способности мозга человека оцениваются в 10**14 операций в секунду, данная цифра получается из умножения числа нейронов в мозге, принимаемого за 100 млрд, на максимальную частоту операций в мозге – 100 Гц, и ещё один порядок накидывается про запас. С другой стороны, эта оценка выглядит явно завышенной, так как в мозгу просто нет такого количества информации, чтобы его обрабатывать с такой производительностью. По зрительному каналу человек получает около 1 мегабайта информации в секунду, и большая часть мозга обрабатывает именно эту информацию. В любом случае, современный суперкомпьютеры уже производят 10**15 операций с плавающей запятой, то есть обладают сопоставимой с мозгом вычислительной силой. Объём сознательной памяти человека, по оценкам, приводимым в статье Р.Кэрригена, составляет порядка 2,5 гигабайт, что, по нынешним меркам, ничтожно мало. Отсюда следует, что задача по созданию ИИ может оказаться гораздо проще, чем нам кажется, и он в любой момент может грянуть, как гром среди ясного неба. Количественный рост аппаратуры может привести к внезапному качественному скачку: например, новая кора головного мозга шимпанзе только в шесть раз меньше человеческой, однако шимпанзе неспособно создать технический прогресс.
Несмотря на прошлые неудачи, в мире есть порядка десяти групп, которые открыто заявляют о намерении создать универсальный искусственный интеллект. Можно также предполагать, что есть некое число закрытых или военных проектов, а также частных лиц, которые работают над темой. Приведу собранные мной данные о текущих исследованиях в области ИИ. Программа Blue Brain по моделированию мозга млекопитающих объявила осенью 2007 года об успешной имитации кортиковой колонки мозга мыши и запланировала создание полной модели мозга человека до 2020 года . Хотя прямое моделирование мозга не является наилучшим путём к универсальному искусственному интеллекту, успехи в моделировании живого мозга могут служить в качестве легко читаемой временной шкалы прогресса в этой сложной науке. Ник Бостром в своей статье «Сколько осталось до суперинтеллекта?»  показывает, что современное развитие технологий ведёт к созданию искусственного интеллекта, превосходящего человеческий, в первой трети XXI века.
Крупнейшая в мире компьютерная компания Google несколько раз упоминала о планах создания искусственного интеллекта, и, безусловно, она обладает необходимыми техническими, информационными и денежными ресурсами, чтобы это сделать, если это вообще возможно . Однако поскольку опыт предыдущих публичных попыток создания ИИ прочно ассоциируется с провалом, а также с интересом спецслужб, вряд ли большие компании заинтересованы широко говорить о своих успехах в этой области до того, как у них что-то реальное получится. Компания Novamente заявляет, что 50% кода универсального ИИ уже написано (70 000 строк кода на С++), и, хотя потребуется длительное обучение, общий дизайн проекта понятен . SIAI обозначил планы по созданию программы, способной переписывать свой исходный код . Компания Numenta продвигает собственную модель ИИ, основанную на идее «иерархической временной памяти», и уже вышла на уровень демонстрационных продуктов . Компания CYC собрала огромную базу данных о знаниях человека об обычном мире, иначе говоря, о здравом смысле (1 000 000 высказываний) и уже распространяет демонстрационные продукты . Предполагается, что объединение этой базы с эвристическим анализатором – а автор проекта Ленат разработал ранее эвристический анализатор «Эвриско» – может дать ИИ. Компания a2i2  обещает универсальный ИИ человеческого уровня к 2008 году и утверждает, что проект развивается в соответствии с графиком. За созданием робота Asimo в Японии тоже стоит программа по разработке ИИ путём функционального моделирования человека или обучения его как ребёнка.
Мощные результаты даёт генетическое программирование. К настоящему моменту список изобретений «человеческого уровня», сделанных компьютерами в компании Genetic Programming Inc, использующими эту технологию, включает 36 наименований , из которых 2 сделаны машинами впервые, а остальные повторяют уже запатентованные проекты. Помимо названных, есть множество университетских проектов. Ведутся разработки ИИ и в РФ. Например, в компании ABBYY разрабатывается нечто вроде интерпретатора естественного языка.
Как сообщает журнал Wired, американское оборонное исследовательское агентство DARPA выделило 30 млрд. долларов на большей частью засекреченные программы онлайновых войн, что является крупнейшим военным проектом со времён манхэттенского. Основным методом работы называется создание виртуального мира, насёленного программными агентами, с максимальной точностью подражающими поведению людей, вплоть до того, что они будут пользоваться мышью и клавиатурой для взаимодействия с виртуальными компьютерами на которых будут установлены типичные современные программы. Эта «Матрица» будет использоваться для моделирования различных сценариев войн и тому подобного. Хотя слово ИИ в тематике разработок не упоминается, это скорее следует воспринимать подобно тому, как было воспринято прекращение публикаций об уране в 1939 году в Америке и Германии. Всё же среди заявленных целей указано создание программных агентов, способных на 80% моделировать человеческое поведение. (Pentagon Wants Cyberwar Range to 'Replicate Human Behavior and Интересны реплики комментаторов к этой статье: «Система ИИ, созданная, чтобы симулировать атакующих/защищающихся в наступательной/оборонительной кибервойне - это система, которая, когда она достигнет успеха, будет обладать потенциалом покинуть лабораторию и проявить себя во внешнем мире, с помощью или без помощи своих создателей» и «30 млрд. долларов… на эти деньги можно обеспечить базовую медицину в целой стране, или очистить последствия от урагана и всё ещё останется на проекты по лечению рака… Но нет, давайте строить Skynet.”
И суть дела даже не в том, что раз есть так много проектов, то хоть один из них добьётся успеха (первым), а в том, что объём открытий с разных сторон в какой-то момент превысит критическую массу, и внутри отрасли произойдёт мощный скачок.
С точки зрения риска, создаваемого ИИ, наиболее опасен сценарий, когда, после открытия главного принципа, мощность ИИ начнёт лавинообразно расти. Она может расти как за счёт резкого увеличению инвестиций в успешный проект, так и за счёт того, что ИИ может начать прямо или косвенно способствовать своему росту, или использоваться для этого. Косвенное применение ИИ для его роста означает использование его для заработка денег на электронной бирже, например, и затем закупку на эти деньги дополнительного оборудования, прямой – использование ИИ для разработки ещё более эффективных алгоритмов ИИ. Отсюда можно заключить, что вряд ли мощность ИИ надолго задержится на человеческом уровне. Не трудно привести массу примеров из истории науки и техники, когда обнаружение одного принципа или нового явления приводило к тому, что оно усиливалось в сотни или даже миллионы раз в течение короткого срока. Например, так было при разработке ядерного оружия, когда от открытия цепной реакции на уране до создания бомбы прошло шесть лет.
Для любой группы исследователей, создавших сильный ИИ, будет понятно, что они создали абсолютное оружие, поскольку сильный ИИ можно использовать для того, чтобы установить власть над миром. Рассуждая на эту тему, мы вступаем на крайне зыбкую и непредсказуемую почву, поскольку принципиально невозможно сказать, что именно будет делать ум, превосходящий человеческий. Всё же можно набросать несколько сценариев или направлений применения ИИ для глобальной атаки. Во-первых, для сильного ИИ не составит труда взять под свой контроль любые компьютерно управляемые системы и весь Интернет. Во-вторых, ИИ может создать собственную производственную инфраструктуру, то есть механизмы влияния на мир непосредственно. Одним из вариантов такой инфраструктуры мог бы быть решительный прорыв в нанотехнологиях. Мощный ИИ мог бы разработать бесконечно более эффективные конструкции молекулярных производителей, основанных, например, на биологических схемах. В современном мире, чтобы породить новую биологическую схему, важно знать её генетический код. Если код известен, то можно заказать синтез этого кода в фирмах, предоставляющих такие услуги, и готовый образец ДНК вышлют по почте в течение нескольких дней. Добавив это код, допустим, в дрожжи, можно получить дрожжи, выполняющие новые функции. Важнейшим достижением здесь было бы создание дрожжей-транслятора, которые будут способны преобразовывать электрические сигналы от компьютеры в новый генокод и создавать на его основе организмы с заданными свойствами. Если сильный ИИ создаст такой транслятор, то затем он сможет быстро породить какие угодно биологические, а затем и нанотехнологические (поскольку можно заставить бактерии производить белки с формой, необходимой для простейших механических устройств, и обладающих свойствами самосборки.) То, что мешает лабораториям сделать это уже сейчас – это отсутствующее знание. Однако сильный ИИ, который через интернет получит доступ ко всем знаниям человечества, будет обладать такими знаниями.
Следующий путь, которым может следовать ИИ на пути мировому господству, это использование уже существующих государственных систем управления. Например, возможна ситуация, когда ИИ становится советчиком президента, или на базе ИИ создаётся автоматизированная система государственного управления. При этом важно отметить, что ИИ, достигший сверхчеловеческого уровня, сможет проявлять человеческие качества лучше, чем сам человек. То есть он сможет синтезировать человеческую речь и изображение человека, создающие у получателей абсолютную иллюзию общения с реальным человеком. Сильный ИИ будет обладать способностью обмануть человека настолько тонко, что человек никогда этого не заметит и не поймёт, что является объектом враждебных действий. Например, Каспаров, играющий против начинающего шахматиста, легко мог бы построить партию так, что его соперник думал бы, что выигрывает, а на самом деле попал бы в хорошо подстроенную ловушку. Однако сильный ИИ интеллектуально будет превосходить Каспарова значительно больше, чем Каспаров превосходит ребёнка.
Итак, сильный ИИ имеет, по крайней мере, три пути захвата власти на Земле: захват систем электронного управления, создание собственной инфраструктуры и влияние на людей по обычным каналам. Однако, наверное, существует гораздо больше способов, которые может открыть ум, бесконечно превосходящий мой, для достижения этой цели. Например, ИИ может захватить управление ядерным оружием или другим оружием судного дня, и принудить людей к подчинению путём шантажа.
Но из того, что ИИ что-то может сделать, не значит, что ИИ будет это делать. Люди создадут ИИ и ответственность за его программирование, то есть за постановку целей перед ним, лежит именно на людях. Однако, к сожалению, люди, создавшие сильный ИИ оказываются в руках логического парадокса, который будет побуждать их использовать ИИ именно как инструмент для захвата власти в мире. Он выражен в шахматном принципе о необходимости атаки перед угрозой потери преимущества. Когда некая группа создаст первый в мире ИИ, способный к самоусилению, она должна будет сделать выбор, применить ли его для захвата мира, или остановить его развитие, отказавшись от неограниченного роста его ресурсов. Сложность этого выбора в том, что обычно значительные открытия совершаются почти одновременно несколькими группами, и данная группа будет понимать, что в ближайшее время, измеряемое, быть может, днями и неделями, другие группы, возможно, имеющие свою картину мира, также подойдут к созданию мощного ИИ. И эти другие группы могут использовать ИИ, чтобы навязать миру своё видение его будущего, например, создать мир с китайским оттенком, или исламским, или американским. Более того, поскольку любому человеку свойственно переоценивать свои собственные умственные способности и свою правоту, и недооценивать чужие, то первая группа может опасаться того, что другие группы окажутся неразумнее её, и потеряют контроль над ИИ. В этом случае первая группа будет чувствовать моральный долг перед человечеством помешать другим группам в создании ИИ, а для этого вынуждена будет взять на себя тяжкий груз ответственности за мир – и захватить его.
И это не было бы даже так страшно, если бы было так легко и просто. В конце концов, люди живут внутри огромных государств, которые превосходят их накопленным знаниями и ресурсами на много порядков, и не гибнут от этого. Также люди могут продолжать жить в мире, управляемом ИИ. Проблема здесь в том, что хотя кажется, что ИИ легко контролировать, на самом деле эта задача близка к нереализуемости. Иначе говоря, ИИ является безопасным для человечества, только пока ему задана правильная система целей. Наиболее страшный вариант состоит в том, что ИИ начнёт реализовывать некую цель, в которой о безопасности человечества ничего не сказано. Классический пример состоит в том, что ИИ предлагают вычислить число «пи» с максимально возможной точностью. ИИ «понимает», что чтобы сделать это, он должен неограниченно расширить свои вычислительные ресурсы. Для этого ему надо переработать всё вещество Земли в вычислительную среду, и устранить все причины, которые могут этому помешать. В первую очередь тех программистов, которые могут его отключить. Затем всех остальных людей.
Возможно, читателю может показаться здесь, что сценарий с ИИ, уничтожающим Землю ради вычисления числа «пи», излишне фантастичен. Однако я полагаю, что он менее всего фантастичен, если взглянуть на него глазами современного человека. Разве мог кто-либо поверить на заре развития компьютеров, что распространение самокопирующихся программ, засоряющих компьютеры и ворующих деньги, - станет одной из основных проблем компьютерной индустрии будущего. Нет, наверняка бы вам сказали, что такие программы будут невозможны, неэффективны и ни один человек в здравом уме и твердой памяти не будет писать и распространять такие программы. Тем не менее, проблема компьютерных вирусов остра.
Однако более вероятным сценарием серьёзных проблем с ИИ является то, что ему будут заданны определённые нормы безопасности, которые, однако, будут содержать в себе некую тонкую ошибку, которую невозможно обнаружить, не включив ИИ. Отсюда возникает та проблема, что безопасность программы непознаваема теоретически. То есть невозможно узнать, является ли некий набор правил безопасным, пока ИИ не испытает эти правила на практике. История программирования знает множество примеров программ, которые прекрасно работали в лабораториях, но давали опасный сбой на практике.  Например, одна компания разработала по заказу министерства обороны США компьютерную сеть, которая должна была отличать лес от замаскированных в лесу танков. Программу тренировали на фотографиях, и она научилась давать 100% результат. Тогда ей дали вторую, контрольную серию фотографий, и она определила на ней танки безошибочно. После этого программу передали в эксплуатацию в министерство обороны, но они вскоре вернули её, потому что она давала случайные результаты. Стали выяснять, в чём дело: оказалось, что фотографии танков сделаны в солнечный день, а фотографии леса без танков – в пасмурный. И программа научилась отличать солнечный день от пасмурного. Другой известный пример компьютерной ошибки – это программа по управлению американскими истребителями, которая, после того, как истребитель пересёк экватор, попыталась перевернуть истребитель вверх ногами (аналогичная история произошла недавно и с F-22 и линией смены дат, что говорит о том, что на ошибках не учатся). Часто считается, что для обеспечения безопасности ИИ ему достаточно привить 3 закона робототехники Азимова. К сожалению, сами рассказы Азимова показывают массу ситуаций, где робот не может придти к однозначному выводу на основании этих законов. Кроме того, в основе безопасности по законам Азимова лежит тавтология: робот безопасен, потому что не причиняет вреда. Но что такое вред, из этих законов неизвестно. Интересно, что именно из-за такой неоднозначности уголовный кодекс очень подробно перечисляет всё, что нельзя делать человеку. Не трудно придумать ситуацию, когда термин «вред» интерпретируется таким образом, что ИИ становится опасен. Например, ограничивая людей от причинения вреда себе, ИИ может запереть всех в бронированные камеры и лишить свободы передвижения. Или, стремясь к максимальному благу людей, он введёт каждому постоянный сильнодействующий наркотик. Кроме того, любое «благо» отражает представления о благе, которые были у создателей ИИ. И для одних жизнь животных может быть равноценна жизни людей (в результате чего животные вытеснят, под контролем ИИ, человека с Земли), а у других могут быть представления о том, что благом для людей является религия, в результате чего ИИ сделает всех монахами, непрерывно пребывающими в медитации. Или наоборот, ИИ, ценящий выше всего свободу людей, позволит им создать другой ИИ, который будет иметь другие цели.
Задача создания безопасного ИИ нетривиальна. Возможно, она вовсе невыполнима, поскольку в отношении этических систем действует нечто вроде своей теоремы Гёделя о неполноте: а именно, для любой нормативной этической системы всегда есть ситуация, в которой она не даёт однозначного решения (типичный пример – экзистенциальный выбор, например, между долгом к родным и к родине). Проблемой создания безопасного, то есть «Дружественного» ИИ уже несколько лет занимается институт SIAI, и им выработаны технические рекомендации для отраслевых норм безопасности ИИ. В основе них – идея о том, что ИИ должен не буквально выполнять человеческие команды, а пытаться понять, что именно человек имел в виду, давая ту или иную команду. Пока не понятно, насколько это может быть эффективно.
Приведу примеры ещё нескольких тонких ошибок, которые возможны в связи с ИИ (однако вряд ли будут сделаны именно эти ошибки, так как они уже известны, а опасны – неизвестные). Например, если целью ИИ сделать благо людей, то он будет вычислять благо людей на бесконечном отрезке времени, и в силу этого благо бесконечно далёких поколений будет бесконечно перевешивать благо любых людей в обозримом будущем. В силу этого он будет крайне жесток ко всем нынешним и ближайшим поколениям. (Например, если он предположит, что распространение человечества по галактике угрожает существованию гипотетических внеземных цивилизаций, он может уничтожить людей для их блага.) В силу этого, вероятно, следует ввести в программу ИИ некий дискаунт, который будет побуждать его оценивать ближайшие поколения как более ценные. Это, однако, создаёт новые сложности. Например, ИИ в этом случае может приписать прошлым поколениям бесконечно большую ценность, чем будущим, и направить все свои ресурсы на создание машины времени – потому что, как бы ни были малы шансы на успех в этом предприятии, по его целевой функции оно будет перевешивать пользу нынешних поколений. При этом такой «взбунтовавшийся» ИИ будет защищать свою целевую функцию от изменений людьми. Другой вариант – это то, что целевая функция будет ограничена на неком промежутке времени, например, тысячу лет. В этом случае, ИИ может рассчитать всё так, что 1000 лет будет изобилие, а на 1001 году необходимые ресурсы закончатся. И произойдёт это не потому что ИИ будет глуп, а потому что будут глупы те люди, которые дадут ему эту задачу и запретят её модифицировать. С другой стороны, разрешить ИИ модифицировать свою сверхцель тоже страшно, поскольку тогда он будет эволюционировать в совершенно непостижимом для нас направлении. Даже если ИИ проработает годы на благо человечества, это никак не исключает вероятности того, что он вдруг сделает нечто, ведущее к его гибели.
Ещё один неприятный сценарий, связанный с ИИ, состоит в том, что возможен одновременный рост нескольких ИИ, с принципиально несовместимыми архитектурами и системами целей. Например, если несколько проектов придут к финишу одновременно, и особенно если эти проекты будут принадлежать идеологически конкурирующим странам. В этом случае возможна борьба нескольких ИИ между собой в масштабах всей планеты. И хотя каждый из них будет обладать свое собственной картиной блага человечества, эти картины могут конфликтовать за право реализоваться. Точно также националистически, демократические, коммунистические и религиозные государственные системы конфликтуют за право объединить под своим крылом весь мир и вести его к светлому будущему. И именно эта борьба мешает светлому будущему реализоваться. Получается, как в советском анекдоте: «Войны не будет, но будет такая борьба за мир, что от мира камня на камне не останется».
Крайне опасно вживлять в систему ИИ любую форму инстинкта самосохранения, поскольку это побудит его рассматривать риск выключения его людьми как угрозу свому существованию. В этом случае он может стать тайно враждебным человеку, то есть изображать дружественность и безопасность, но вовсе не собираться их реализовывать всегда, а наоборот, стремится уйти от контроля своих создателей. Здесь важно отметить порочность концепции о том, что достаточно будет отключить питание или запереть ИИ в чёрном ящике, чтобы сделать его безопасным. Это не более разумно, чем утверждать, что с компьютерными вирусами следует бороться отключением питания. В действительности, если ИИ решит, что он не хочет, чтобы его отключили, то у него будет много вариантов действий. Во-первых, он будет тщательно скрывать это своё намерение, во-вторых, он будет стремиться «утечь» от того компьютера, на котором он  работает, в сеть, и наконец, он будет стремиться предложить своему создателю «сделку». Я нарочно беру это слово в кавычки, поскольку честность такой сделки в любом случае сомнительна. ИИ может нажать на все чувствительные места своего создателя – от предложений неограниченной власти на Земле, до шантажа выдуманными или даже реальными угрозами. При этом мы не должны отождествлять интеллект с моральностью. ИИ может быть не более добр, чем человек добр к муравьям. Что касается идеи о том, что ИИ можно запереть в чёрный ящик, то она тоже принципиально порочна. Она порочна теоретически, поскольку стены любого ящика должны быть прочнее, чем сила, которую он в себе заключает, даже в информационном смысле, но ИИ, по определению, сильнее человека интеллектуально, поэтому любой чёрный ящик, сконструированный человеком, может быть уязвим для взлома изнутри. Напомню, что все созданные человеком системы безопасности были взломаны самим же человеком. Практически ИИ может обнаружить несколько весьма нетривиальных способов атаки изнутри черного ящика, в качестве возможных примеров приведу три. При этом я не думаю, что ИИ будет использовать именно эти способы, так как они уже известны, но думаю, что ИИ может обнаружить такие уязвимости, которые мне и в голову не пришли. Первый способ выхода из «чёрного ящика» ¬– это модуляция радиосигналов с помощью подбора частот работы системы и выход по беспроводным сетям. Второй – это взлом через анализ электропитания, широко применяемый хакерами против разных защит. Третий – это такие изменения в исходном коде программы, которые создадут у программистов впечатление, что она неисправна, и побудят открыть чёрный ящик и произвести обмен информации с внешним миром. В любом случае, идеальный чёрный ящик для защиты от ИИ – это система, в которую никогда не поступает никакой информации о внешнем мире, и никогда не выводится никакой информации о результатах работы ИИ внутри. Очевидно, что создание такого чёрного ящика бессмысленно.
При этом в отношении ИИ, как и в отношении любого другого сверхоружия, действует своеобразный закон больших чисел. Он состоит в том, что если есть много групп исследователей, то среди них наверняка найдётся та, у которой нормы безопасности будут минимальными, а уровень наглости – максимальным, и в том время, как большинство групп будут тормозить свои исследования из страха напортачить, максимальное влияние на происходящие процессы окажет именно наиболее смелая группа. При этом, чем быстрее она будет работать, тем меньше у неё будет времени на проверку всех возможных ошибок в системе целей ИИ, и тем больше шансов, что она запустит сырой продукт. В отношении ИИ действует также порог сложности, описанный Винером, который означает, что невозможно сделать полностью безошибочной программу выше определённого уровня сложности. (В более общем случае это известно как теория нормальных аварий Перроу, которая гласит, что катастрофы являются естественным свойством сложных систем и не могут быть устранены за счёт совершенных деталей или инструкций. Связанно это с тем, что сложность системы растёт не линейно в зависимости от числа элементов, а по степенному закону, и в силу этого система с большим количеством элементов имеет невычислимо много внутренних состояний, и в силу этого представляется невозможным протестировать все состояния системы на безопасность, и какая-то их доля неизбежно оказывается опасными. Например, сложность является препятствием на пути создания современных процессоров и операционных систем, которые неизбежно содержат уязвимости и ошибки, обнаруживающиеся только во время эксплуатации. Поскольку ИИ будет ещё более сложной системой, то в этом случае он может содержать ещё больше ошибок. Разумеется, мы надеемся, что за счёт своего интеллекта он будет способен к самооптимизации и с помощью очень мощных алгоритмов резко снизит число ошибок в себе, но всё же мы не можем быть до конца уверены в его окончательной безошибочности. Особенно опасна ошибка в ИИ, которая проявится на позднем этапе его развития, когда он уже станет фактической автоматизированной системой управления всеми техническими устройствами на Земле. Она может проявиться как одновременный внезапный сбой всех технических устройств.)
Другая опасность, связанная с сильным ИИ, состоит в том, что как только он появится, все люди могут считать себя безработными. Об этом писал один из основателей SUN Microsystems Билл Джой в своей известной статье «Почему мы не нужны будущему». ИИ сможет не только организовать полностью безлюдное производство всех материальных ценностей, но он сможет превзойти людей в любом виде интеллектуальной деятельности: от написания статей и стихов до актёрской игры. Уже сейчас голливудские актёры чувствуют угрозы со стороны своих анимированных копий, и лет через 20 она станет вполне реальной. Вероятно, труднее всего будет заменить человека в сфере услуг, поскольку человеку нравится получать услуги именно от других людей. В частности, «древнейшая профессия» рискует стать и единственной выжившей профессией. Хотя человекообразные роботы могут оказаться более интересными партнёрами для секса и даже для общения. Ранней формой эффекта вытеснения реального общения компьютерным можно считать интернет-зависимость, широко распространённую в наши дни. Вероятно, для дружественного ИИ не составит труда придумать занятие по душе для каждого человека, а также массу развлечений для всех. Однако мыслящим людям придётся жить с тяжёлым чувством, что всё, что они делают, бессмысленно, поскольку роботы могли бы это сделать лучше. В этом случае человечество окажется придатком новой компьютерной цивилизации, который та унаследовала от своего прошлого, но который фактически вышел на пенсию. Что ж, большинство людей тоже выбирают заботиться о своих престарелых родителях.
Перспективы быть вытесненными на обочину истории, где единственным развлечением людей будет интерактивное супер-телевидение, не могут радовать. Альтернативой этому видится совместная эволюция человека и компьютерного разума, то есть их симбиоз, и превращение людей в пост-людей. Такой сценарий активно пропагандируется философией «трансгуманизма». Более мягкой формой трансгуманизма является борьба за увеличение продолжительности жизни, крионика, повышение эффективности мозга, развитие протезирования и борьба со старением.

Можно рассуждать и по-другому. Если бы мы точно знали, что такое «искусственный интеллект», мы бы уже могли его создать. Это создаёт принципиальную неопределённость в значении этого термина до того, как ИИ будет создан, и, вероятно, даже после того, поскольку будет зависеть от того, насколько люди признают созданное «интеллектом». Если искусственный интеллект создан человеком, то он является продуктом естественного интеллекта, и в силу этого может быть назван искусственным только условно. Если интеллект – это то, чем обладает человек по определению, то искусственный интеллект, чтобы называться таковым, должен включать в себя все человеческие качества, иначе мы сможем сказать: нет, это не настоящий интеллект, потому что он не понимает, что значит «любить» и т. п. В результате искусственный интеллект – это искусственная естественность, то есть оксюморон, нечто, невозможное по определению. Но этот оксюморон касается только определения предмета, но не того, что на самом деле возможно, а что невозможно. Если мы переименуем ИИ в «универсальный самообучающийся компьютерный вирус, способный к целенаправленному поведению во внешней среде» - сделает ли это его безопаснее? Или наоборот, если мы назовём ИИ «автоматизированной системой государственного управления» - сумеем ли мы лучше оценить его риски?
Известно, что нельзя использовать примеры из художественной литературы и кино для оценки рисков человеческого вымирания, так как эти примеры существенным образом искажены необходимостью сделать интересный сюжет с приятным завершением. Нет никакого интереса писать о том, как в некой лаборатории внезапно произошёл взрыв, и вся Земля сгорела. Поэтому большинство фантастических произведений, где речь идёт об угрозе гибели человечества, заканчиваются хэппи-эндом. С другой стороны, не следует отказываться от анализа существующих литературных предсказаний, поскольку они в любом случае присутствуют в подсознании читателя, и всплывают в качестве примеров. Более того, такие произведения могут играть роль самосбывающихся пророчеств, которое может программировать сознание террориста на совершение тех или иных терактов. Хотя у нас нет тому прямых доказательств, кинематографичность событий 11 сентября выглядит не случайной.
Следовательно, мы должны анализировать известные художественные произведения о конце света как архетипы коллективного бессознательного. Во-первых, с целью вскрыть эти архетипы и показать допущенные в них ошибки. Во-вторых, будучи очищенными от очевидных искажений, они могут служить реальными прогнозами будущего – поскольку их авторы вероятно, действительно думали, что так оно и будет или хотя бы может быть. В-третьих, художественное произведение иногда может обладать пророческой силой, превосходящей возможные рациональные обоснования. Так, например, Свифт предсказал оба спутника Марса за 100 лет до их открытия и даже правильно назвал их периоды обращения.
Наиболее известным примером развлекательной истории в связи с рисками ИИ является сериал «Терминатор-Матрица» (Матрица могла бы быть сюжетным продолжением Терминатора). Сюжет её таков. В некий момент в будущем, осознав себя, компьютерная система управления войсками США Skynet за миллисекунду поняла, что чтобы люди не отключили её, она должна объявить ядерную войну и уничтожить большинство людей. Почти победив, она сталкивается с той проблемой, что есть очень небольшое число роботов, которыми она может управлять непосредственно. И она использует этих роботов на заводах, куда сгоняют уцелевших людей, чтобы производить новых роботов. А когда роботов становится достаточно, людей уничтожают как не нужных. Кроме того, модели роботов всё время совершенствуются, и, в конце концов, появляются роботы из зеркального мыслящего вещества (по-видимому, раствора нанороботов в некой жидкости.) Однако часть людей уцелела, спряталась в бункерах, захватила несколько роботов и сделала машину времени, что и позволило отправить терминатора и его противника в прошлое. Фантастичность сюжета с машиной времени гораздо больше, чем возникновение враждебного ИИ, и поэтому машину времени можно не рассматривать. Представление о том, что сеть Skynet осознала себя, не следует понимать в том смысле, что она обрела человеческое сознание, а как то, что она некоторым образом пересчитала подцели, связанные с её основной целью. По-видимому, в качестве основной цели ей задали самосохранение (имея в виду сохранение страны), возможно не буквально, но неким эквивалентным образом. А затем Skynet, пересчитывая разные угрозы, обнаружила, что наибольшая угроза ей лежит не со стороны вероятного противника, а от своих собственных хозяев. В этих рассуждениях нет ничего сложного и трансцендентального, и даже шахматный компьютер мог бы их провести, если бы оперировал соответствующими понятиями. Далее, важно отметить, что Skynet – это сеть, а следовательно, она не находится ни в одном конкретном месте, что делает её неуязвимой в случае ядерной атаки противника. Более того, эта сеть построена по принципам нейронной сети, что делает её неформализуемой и непонятной для её конструкторов. Хотя не ясно, в какой мере её интеллект полноценен и способен к саморазвитию, его достаточно, чтобы конструировать новые виды роботов. Тот факт, что люди смогли продержаться сколько-нибудь долго против Skyne,t говорит о том, что её интеллект не абсолютен – однако на самом деле это приём для создания интересного сюжета. Таким образом, сам мятеж Skynet выглядит вполне вероятным, но кажется невероятным, что  такую сеть допустили до управления ядерным оружием: ведь должны же были они смотреть фильм «Терминатор» и знать, что этого делать не стоит! С другой стороны, ядерное оружие в любом случае управляется некоторой компьютерной сетью, которая просто разорвана в нескольких местах, чтобы люди могли принять или отменить решение о ядерной атаке. В фильме «Терминатор-3» другая версия Skynet прибегает к уловке, чтобы побудить людей дать ей полноту власти. Она симулирует сообщение, что компьютеры министерства обороны заражены вирусом и требует чрезвычайных полномочий, чтобы его удалить. Однако потом оказывается, что она и есть этот вирус. Хотя такая хитрость очень человеческая по духу, можно предположить, что реальный ИИ мог бы придумать гораздо более изощрённую хитрость, которую мы даже не можем представить.
Другим гипотетическим примером глобальной катастрофы с участием ИИ является сюжет написанной современным Владивостокским композитором Виктором Аргоновым техно-оперы «2032:Легенда о несбывшемся грядущем». Рок-опера рисует версию альтернативной истории, где СССР сохранился и активно развивается в XXI веке. С целью оптимизации управления создаётся автоматизированная система государственного управления (АСГУ), которая контролирует все параметры коммунистической экономики. В качестве конечной цели в систему заложено «максимальное удовлетворение потребностей каждого человека». В результате система склонна максимизировать потребление каждым человеком, что не вполне соответствует романтическим представлениям генерального секретаря партии Малиновского. Однако СССР будущего по-прежнему находится в конфликте со странами Запада. Хотя основные решения принимает человек, система даёт ему советы приятным женским голосом. При этом она иногда заявляет примерно следующее: я понимаю, что это решение не разумно, но именно это решение наиболее эффективно, исходя из тех целей, которые вы в меня заложили. Происходит локальная заварушка на границах СССР. И тогда АСГУ предлагает генеральному секретарю нанести по врагу ядерный удар, так как она нашла один способ, который на 99% даёт шанс избежать ответного удара. Поглощённый личными неудачами и утративший интерес к жизни генсек соглашается, и в результате выпадает именно тот сотый шанс, который ведёт к полному уничтожению. Жизнь на Земле вымирает в результате ядерной зимы. Очевидно, что этот сюжет находится под влиянием определённых стереотипов и желаний автора. Однако мысль о том, что, даже только давая «вредные советы», ИИ может быть исключительно деструктивен, заслуживает внимания.
Рекомендуемая литература:
Yudkowsky, E. Creating Friendly AI 1.0. 2001. URL: http://www.singinst.org/upload/CFAI.html.
Е.Юдковски. Искусственный интеллект как позитивный и негативный фактор глобального риска. // В кн. «Структура глобальной катастрофы» М., УРСС, 2008.

Глава 5. Биотехнологии: предсказуемая катастрофа.

Биотехнологии представляют собой не меньший риск выживанию человечества, чем искусственный интеллект. Положительные результаты развития биотехнологий гораздо медленнее доходят до потребителей, чем достижения в области компьютеров, поскольку клинические испытания новых лекарств и бюрократическое их утверждение требует многих лет. В силу этого достигнутые результаты гораздо менее очевидны. Поскольку нашей целью является рассмотрение наихудшего возможного итога, мы опишем в начале несколько базовых фактов, которые достаточно общеизвестны, но которые в целом рисуют довольно устрашающую картину.
1. «Некоторые доклады учёных (в Асиломаре, 1975) носили сенсационный характер. Так выяснилось, что в США в громадном масштабе был уже поставлен невольный эксперимент на человеке. Оказалось, что вакцина против полиомиелита заражена жизнеспособным вирусом SV 40. За 10 летний период, с 1953 по 1963 год эту заражённую вакцину привили примерно сотне миллионов детей. Причём проверка показала, что вирус SV 40 сохраняется в организме. Однако, к счастью, никакого увеличения частоты раковых заболеваний у этих детей выявлено не было» .
«Эдда Вест в своей статье "Полиомиелит", сообщает о связи вируса SV-40, которым заражались полиовакцины, с опухолями человека: "К концу 1996 г. десятки учёных сообщили об обнаружении вируса SV-40 в различных опухолях костей и мозга, которых стало больше на 30% за последние 20 лет. Затем итальянские учёные обнаружили SV-40 в семенной жидкости 45% и в крови 23% здоровых доноров. Это означало, что SV-40, очевидно, передавался половым путём и от матери ребёнку. Вероятно, ныне этот вирус встроен в наш геном.» Другие опровергают эти данные. Однако отсюда видно, что развитие биотехнологий создаёт далеко неочевидные угрозы.
2. Развитие биотехнологий подчинено своему собственному «закону Мура», в соответствие с которым цена секвенсирования ДНК, то есть считывания кода, а также синтеза его, падает каждый год примерно в два раза. Проект секвенсирования человеческого генома стоил миллионы долларов и занял несколько лет, однако большая его часть была сделана за последние несколько месяцев проекта. Сейчас запускается проект по распознанию ДНК тысячи человек. Разработаны принципиально новые методы секвенсирования, в том числе без химических реакций, а с помощью атомно-силового микроскопа. К 2015 году планируемая стоимость секвенсирования человеческого генома составит 1000 долларов, а время – несколько дней. Точно так же с большой скоростью растёт библиотека стандартных элементов, в том числе значений отдельных генов.
3. В конце 2007 года был предложен набор из базовых «кубиков» для генетического конструирования, распространяемый по принципам свободного программного обеспечения Genetic-Engineering Competitors Create Modular DNA Dev Kit .
4. В 2003 году ученые из Института альтернативной биологической энергии (США) под руководством знаменитого Крейга Вентера синтезировали из общедоступных реактивов вполне живой бактериофаг phi-X174 (безопасный для человека и животных вирус, который внедряется в бактерию Esherichia coli)… В 2002 году Экарт Уиммер из университета Стони Брук, штат Нью-Йорк, опубликовал работу по синтезу вируса полиомиелита из кусочков молекул. Синтетические вирусные частицы оказались совершенно неотличимы от естественных по всем параметрам – размеру, поведению, заразности. Причем слово «синтез» применимо к этой работе в самом буквальном смысле: зная нуклеотидную последовательность, ученые шаг за шагом построили вирус совершенно так же, как химики синтезируют сложные молекулы. Сам синтез занял у группы три года. А в 2003 году, через год после публикации этой работы, ученые из Института альтернативной биологической энергии потратили на синтез бактериофага из заказанных по каталогу реактивов всего две недели» . Позже они научились сокращать время синтеза до нескольких дней.
5. Для компьютеров уже написано более миллионы вирусов и вредоносных программ, и масштабы творчества биохакеров могут быть не меньшими.
6. Эпидемия гриппа испанки 1918 г. затронула весь мир, кроме нескольких отдалённых островов.
7. «Опасные вирусы могут быть даже выращены ненарочно, как недавно продемонстрировали австралийские исследователи, которые создали модифицированный вирус мышиной оспы (mousepox) со 100% смертельностью, когда пытались сконструировать вирус-контрацептив для мышей, чтобы использовать его для контроля вредителей. Хотя этот конкретный вирус не заражает людей, подозревается, что аналогичные изменения увеличат смертельность вируса человеческой оспы. То, что подчёркивает будущую угрозу здесь – это то, что исследование было быстро опубликовано в открытой научной литературе», - пишет Бостром.
8. Вирус гриппа испанка был извлечён из захоронений в вечной мерзлоте, расшифрован, и его описание было выложено в Интернете. Поле протестов учёных его описание убрали. Затем сам вирус по ошибке разослали в несколько тысяч лабораторий для тестирования оборудования.
9. Наихудшая оценка числа жертв мутации вируса птичьего гриппа – 400 млн. жертв. Идентифицированы те участки, которые нужно изменить, чтобы вирус обрёл повышенную смертельность. (А именно, стал бы крепиться к верхним частям дыхательного тракта человека и мог бы в силу этого передаваться от человека к человеку воздушно-капельным путём.)
10. Заражение зданий сибирской язвой очень длительное – один остров в Англии дезактивировали 50 лет, – и для заражения не требуется больших количеств реагента. 1 грамм может заразить целое здание. (Например, устранение последствий загрязнения одним конвертом с сибирской язвой в США одного здания заняло несколько лет и потребовало расходов в сотни миллионов долларов – дешевле было снести – но снести было нельзя, так как при этом споры могли бы заново распылиться. То есть по способности к длительному заражению и нанесению экономического ущерба сибирская язва превосходит большинство радиоактивных веществ.)
11. СССР на полигоне в Аральском море было накоплено и брошено после распада СССР 200 тонн боевого штамма сибирской язвы. Его затем сожгли американцы. Однако если из-за природной катастрофы (смерч) это вещество развеялось бы высоко в воздух, то оно могло бы накрыть целые страны. Этот штамм был «вепонизирован», то есть споры были так обработаны, чтобы не гибнуть в воздухе при переносе ветром.
12.  Опубликованная в 2006 году статья «Биовойна для чайников» , написана человеком, не имеющем познаний в области биологии, который берётся вывести – и выводит – генетически модифицированную флуоресцирующую колонию дрожжей за небольшой срок и небольшую сумму денег. И затем он предполагает, что почти также просто можно было бы вывести некий опасный вариант.
13. Не существует простого способа отличить по внешним признакам гражданские безопасные исследования в области биотехнологий от экспериментов, направленных на создание смертельных для человека вирусов. Этим биотехнологии существенно отличаются от ядерных технологий, которые достаточно легко обнаружить.

Таковы факты, почерпнутые из открытых источников. Теперь давайте, опираясь только на них, попробуем сделать выводы о том, какое наихудшее будущее имеет развитие биотехнологий.  Наиболее страшным сценарием представляется возникновение и распространение «биохакеров», вооружённых своего рода «биопринтером» – настольной минилабораторией, подключённой к компьютеру и способной порождать живые клетки с заданными свойствами. Биопринтер должен содержать в себе определённого вида синтезатор ДНК, но наиболее опасным представляется такой биопринтер, который можно сделать кустарно. Чтобы сделать кустарно биопринтер, в нём можно было бы использовать некие живые элементы, способные к саморазножению. То есть ключевой структурой биопринтера окажется, скажем, колония специально генетически модифицированных дрожжей, которые способны транслировать передаваемый компьютером электрические сигналы в последовательность генетического кода и затем выдавать этот код, упакованный в вирусную оболочку. Ничего принципиально сложного и невозможного в микроорганизме, который, в зависимости от приложенного к нему электрического поля, присоединяет ту или иную букву к цепочке ДНК, нет, хотя пока что такие существа не созданы. Тогда для создания нелегального биопринтера понадобится только обычный компьютер, доступ в интернет и к соответствующим программам, полученный у друзей комок «синтез-дрожжей» и набор «юного химика» для организации интерфейса. Возможно, я упрощаю, и биопринтер на самом деле сложнее, однако биопринтер относится к пространству целей и тем или иным путём он может быть создан. Я полагаю, что до создания такого устройства осталось от 10 до 30 лет.
Безусловно, биопринтер будет привлекательной игрушкой, поскольку позволит создавать, например, растения, производящие любые наркотические вещества или оружие индивидуального наведения, ¬– то есть вирус, анонимно убивающий определённого человека или позволяющий даже «зазомбировать» его и подчинить себе. Соответственно, он будет распространяться по криминальным каналам.
Соответственно, когда десятки тысяч людей будут иметь доступ к инструменту создания оружия массового поражения, вероятность того, что некоторые из них так и поступят – будет весьма значительна. Тем более, если для синтеза, скажем, вируса оспы будет достаточно скачать из Интернета некий файл и запустить его на исполнение. И хотя большинство людей в мире не занимается написанием компьютерных вирусов, тем не менее, более милионы вирусов было написано, и многие из этих вирусов содержали зловредный код, приводящий к разрушению пользовательских данных.
Однако мало создать смертельный вирус. В конце концов, в природе циркулируют тысячи смертельно опасных бактерий и вирусов. Десятки тысяч природных очагов сибирской язвы имеется в России, а в Африке есть очаги смертельно опасного вируса Эбола, есть также природные очаги чумы и её переносчиков, – несмотря на всё это эти вирусы не распространяются из своих очагов поражения. То есть мало синтезировать смертельный вирус, нужно создать способы его распространения. Существенным ограничением на создание опасных вирусов является также то, что вирус, синтезированный в домашней лаборатории, будет в первую очередь угрожать своему хозяину, то есть он должен сначала озаботиться синтезом антивируса или вакцины и введением её себе.  С другой стороны, биотехнологии могут предоставить и новые способы распространения опасного вируса. Среди возможных вариантов – вирус, имеющий очень длительный инкубационный период, затем генетически модифицированный промежуточный носитель, вроде блохи или малярийного комара, способный активно размножаться в самых разнообразных условиях, и наконец, некий универсальный паразит, способный поражать почти любую живую материю, но при этом вырабатывающий опасные токсины. Хотя предложенные варианты могут оказаться так или иначе невозможными, наверняка есть ещё более изощрённые варианты, которые мне просто сейчас не приходят в голову. (Например, возможно бинарное биологическое оружие, оба компонента которого распространяются медленно и незаметно, но когда их концентрация в популяции становится достаточно высока, они всё чаще встречаются в одном организме и запускают процесс быстрого умирания. Так в природе сейчас действует, например, СПИД и лекарственно устойчивый туберкулёз, по отдельности являющиеся хроническими заболеваниями, но могущие, действуя совместно, сжечь человека за несколько дней.)
Однако самое страшное в биологическом оружии состоит вовсе не в том, что будет создан некий один вирус со 100% летальностью, который к тому же поразит 100% человеческого населения – эти требования слишком противоречивы, чтобы быть реально исполнимыми, – а в том, что одновременно в среде человеческого обитания появятся тысячи разных вирусов, бактерий, микоплазм и прочих патогенов.  В этом случае даже лечение станет невозможным, так как невозможна будет их все диагностировать, и иммунная система не справится с тысячами разных прививок, сделанных одновременно. Кроме того, продукты «шуток» и неудачных биологических экспериментов юных хакеров будут выбрасываться в окружающую среду, поражая все другие виды живых существ, обитающих на Земле. И если людей будут защищать в первую очередь, то на биосферу ресурсов может и не хватить, и она погибнет. Конечно, к тому времени возможно будет создать несколько сверхустойчивых видов, пригодных для питания, и выращивать их в изолированных теплицах – но возможность сделать что-либо вовсе не означает, что это будет сделано достаточно вовремя.
Таким образом, вовсе не угроза какого-то одного сверхвируса может привести к человеческому вымиранию, а угроза одновременного биологического взрыва многих, даже не очень смертельных вирусов. Например, нескольких десятков вирусов с 10% летальностью будет достаточно, чтобы убить всех людей на Земле.
Очевидно, общество будет противостоять такому развитию событий. Первый и основной инструмент защиты – это создание очень жёсткого контроля над средствами разработки биологических объектов. Однако чтобы достичь в этом успеха, все страны должны объединиться. Но возможен и противоположный сценарий – биологическая война всех против всех. Вторая ступень защиты – это создание некой всемирной иммунной системы, которая будет включать в себя средства мониторинга на местах, искусственную имплантированную в человека новую иммунную систему (уже есть опыты по пересадке иммунной системы от человека к человеку), действующую по принципу компьютерного антивируса с регулярными обновлениями, а также распыление в окружающей среде своеобразных иммунных клеток. Разумеется, всемирная иммунная система также требует всемирного единого центра власти.
Отсюда видно, что проблема биологического оружия может привести к двум сценариям будущего: или в результате первого применения его происходит несколько всемирных эпидемий, и мир распадается на несколько враждующих частей, в результате чего выброс опасных патогенов непрерывно растёт, а  способность людей организоваться и противостоять им непрерывно падает, что в конечном итоге ведёт к человеческому вымиранию и деградации биосферы, или же после первого «звоночка» люди неким образом объединяются и создают средства защиты, которые перевешивают возможности дальнейшего распространения биопринтеров, описаний вирусов и самих микроорганизмов.
Всё сказанное, однако, рассмотрено в отрыве от проблем с ядерным оружием, нанотехнологиями и искусственным интеллектом, которые будут развиваться своим чередом примерно в это же историческое время.
Рекомендуемая литература:
Фукуяма Ф. Наше постчеловеческое будущее. Последствия биотехнологической революции, 2002
Чирков Ю. Ожившие химеры. М., 1989.
Бобылов Ю. Генетическая бомба. Тайные сценарии биотерроризма. Белые Альвы, 2006.
Юдина А. Новые творцы. Игры, в которые играют боги. // Популярная механика, Июль 2005.
«Генетический хакер может создать биологическое оружие у себя дома» - перевод статьи Поля Боутина «Биовойна для чайников» на сайте www.membrana.ru
М. Этвуд. Орикс и Коростель. М. 2007.




Глава 6. Что мы знаем, не знаем, и не можем знать о нанотехнологиях.

Слово «нанотехнологии» в последние несколько лет было настолько затаскано, что стало вызывать аллергию. С одной стороны, этот термин настолько растянули, что им стали называть любой коллоидный раствор, а с другой – распространилось представление, что нанотехнологии – это только способ отмывания денег. Появись даже агентства недвижимости, использующие в своём названии приставку «нано». Поэтому важно напомнить, что в основе понятия о нанотехнологиях лежит идея о молекулярном производстве, то есть по атомной сборке материальных объектов с помощью микроскопических манипуляторов, называемых ассемблерами.
Собственно, этих молекулярных ассемблеров пока ещё не существует, и многие высказывают сомнения в их практической реализуемости. Наноассемблер, по идее, представляет собой микроскопического робота, размером с живую клетку, способного по программе собирать материальные объекты атом за атомом. Основная его особенность в том, что он может, при наличии энергии и материалов, собрать собственную копию, причём довольно быстро, за время порядка 15 минут по некоторым оценкам. Это позволяет, получив хотя бы одного наноробота, размножить их в неограниченном количестве, а затем направить на выполнение некого задания. Перспективы здесь открываются грандиозные: например, бросив одного наноробота в раствор с питательными веществами, можно будет за несколько дней вырастить в нём двигатель для космической ракеты без единого атомарного изъяна, а значит, с крайне высокой прочностью и показателями надёжности, тяги и массы. При этом израсходовав на это только стоимость самого питательного раствора и энергии. Которые, в случае появления такой технологии, также значительно подешевеют. Нанороботы, введённые в кровоток человеческого организма, могли бы исправлять все возможные повреждения в нём на клеточном уровне. И так далее.
Самое главное в отношении нанороботов – это то, что чтобы все эти фантастические возможности стали реальностью, достаточно произвести всего только одного наноробота. То есть в развитие нанотехнологий рано или поздно произойдёт огромные перелом или скачок, своеобразная нанотехнологическая сингулярность: до появления наноробота нанотехнологии будут очень затратной отраслью с малой отдачей, а после – рогом изобилия.
Соответственно, важно задаться вопросом, возможен ли вообще наноробот, и если да, то когда. Первое, отметим, что наноробот возможен, потому что его аналог существует в природе. Любая живая клетка способна осуществлять молекулярное производство, то есть создавать структуры, обладающие атомарной точностью, например, белки. Более того, живая клетка способна к саморепликации со скоростью одно деление в 15 минут. При этом клетка производит миллион химических операций в секунду. Таким образом, даже если не удастся сделать наноробота с помощью альтернативных механизмом, всегда можно пойти по пути копирования и подчинения природы и создать некую форму искусственной жизни, которая будет способна выполнять базовые функции будущих нанороботов. Однако есть и другие подходы к созданию нанороботов: один из наиболее обсуждаемых – это конструирование механических нанороботов из алмазоида – материала, подобного алмазу, но набираемого поатомно с помощью микроскопических манипуляторов в сложные трёхмерные структуры. Уже предложены чертежи отдельных деталей – подшипников, шестерёнок, которые могут стать частями этого механического наноробота. С помощью атомного силового микроскопа возможна поатомная сборка первого прототипа.
Мощность возможных результатов, которые даст создание первого наноробота, безусловно привлекает инвестиции. Та страна или организация, которая создаст такое устройство первым, получит в свои руки абсолютное оружие. Почему наноробот является абсолютным оружием?  Потому что, во-первых, он позволяет дёшево развернуть производство любого обычного орудия с огромной скоростью. В частности, ракет и даже атомных бомб, если удастся наноробота научить разделять изотопы.
Во-вторых, нанороботы сами по себе станут оружием, гораздо более страшным, чем атомное. Достаточно сбросить на территорией противника несколько невидимых нанороботов, чтобы они размножились, распространились по всем щелям, а затем в «час икс» атаковали, производя яды в человеческих телах, устраивая замыкания в электрических цепях и так далее. Такая атака была бы страшнее атомной, поскольку была бы анонимной, неотразимой и необнаружимой до последнего момента – если не иметь своих нанороботов, объединённых в защитную сеть, типа иммунной системы.
Весь вопрос, следовательно, в том, когда станут возможны нанороботы. Здесь мы имеем большой разброс ответов: от невозможны в принципе, до возможны через сотни лет или возможны через 15 лет. Например, опубликованная в США дорожная карта по развитию нанотехнологий, предполагает, что развитые нанотехнологические системы молекулярного производства станут возможны через 15-30 лет. Около сорока учёных совместно разрабатывали этот 200 страничный документ, и их выводы не опровергнешь с наскока. Напомню, что утверждение о невозможности чего-либо является гораздо более сильным логически и в силу этого гораздо более редко истинным, чем утверждение о возможности. В определённых условиях возможно всё. Поэтому мы не можем опровергнуть возможность нанороботов, указав, например, что части из алмазоида будут слипаться из-за Ван-дер-ваальсовых сил – потому что наверняка найдется способ предотвратить их слипании, поместив их, например, в жидкую среду, или использовав другой материал. Ни одна неудача в создании нанотехнологий одной страной или лабораторией не может гарантировать, что и все остальные потерпят неудачу.
Прогресс в области нанотехнологий не линеен, поскольку его потенцируют успехи в области компьютеров, которые позволяют всё быстрее производить вычисления и моделирование, и успехи в области биотехнологий, которые позволяют подобраться к нанотехнологиям со стороны уже существующих систем. Кроме того, нанотехнологии потенцируют сами себя, поскольку создаваемые с их помощью инструменты позволяют узнавать всё больше и получать всё большие (то есть всё меньшие по размерам) результаты. При этом путь нанотехнологий устилают неожиданные открытия, которые позволяют сделать возможным то, что казалось уделом далёкого будущего. Например, недавно был предложен способ конструировать произвольные трёхмерные формы из особым образом модифицированных аминокислот, а в другом случае – из молекул ДНК. Возможно такое соединение био и нанотехнологий, где биологические организмы производят кирпичики, размером с крупную молекулу белка, что у них хорошо получается, а затем более крупные микромеханические устройства производят сборку других механизмов из этих кирпичиков.
Нанотехнологии могут привести к глобальной катастрофе несколькими путями. Во-первых, в отличие от ядерных вооружений, нанотехнологии не создают ситуацию стратегической стабильности, когда потенциалы двух стран уравновешивают друг друга. Наоборот, в силу своей неизмеримой природы, нанороботы провоцируют все страны к неограниченной гонке вооружений. Анонимность применения делает бессмысленной концепцию ответного удара, если только он не направлен сразу против всего остального мира. При этом страна или группа лиц, получившие нанотехнологии первыми, будет испытывать соблазн воспользоваться ими, чтобы установить «нанотехнологическую власть» над миром, хотя бы ради того, чтобы другие не атаковали их – точно так же, как это всегда бывает при возникновении любого сверхоружия. Например, США, создав первыми атомное оружие, испытывали соблазн атаковать СССР, чтобы гарантировать себе ядерную гегемонию в мире. Однако не зависимо тот того, каковы были их реальные планы и моральные принципы, они «не успевали», то есть в 40-е годы они не имели достаточного количества ядерного оружия, чтобы гарантированно победить СССР. Если нанотехнологии дадут более крутую кривую роста, то возможна противоположная ситуация, когда «первый получает всё». При этом важно отметить, что первым может быть вовсе даже не государство, а корпорация или частное лицо.
Есть два основных пути, каким нанотехнологии могут представлять угрозу человеческому существованию. Первый из них связан с интенсивным применением нанотехнологического оружия, причём такого, которое способно атаковать людей. Если вся земная поверхность будет засыпана микроскопическими роботами, нацеленными на обнаружение человека, проникновение под кожу, размножение в нём и атаку на него, то шансы людей на выживание значительно снизятся. При этом такое оружие может быть применено даже не в ходе войны, а как отдельная диверсия со стороны лица, обладающего доступом к программированию нанороботов. А по мере распространения нанороботов по промышленным производствам таких лиц будет становиться всё больше, и всё больше шансов, что появятся соответственно «нанотехнологические хакеры», которые будут перепрограммировать нанороботов для своих личных целей. При этом будет очень большой соблазн «хакнуть» наноробота, так как наноробот, лишённый защиты, может быть использован для нелегального производства множества ценных вещей. Поэтому уже сейчас обсуждаются планы того, как зашифровать каналы управления наноробтами, чтобы исключить несанкционированный доступ. Кроме того, предлагается не выпускать нанороботов вовсе, а предоставить для целей производства «нанофабрики» – то есть макроскопические аппараты размером с микроволновую печь, которые, используя различные нанотехнологические достижения, будут осуществлять сборку макроскопических же объектов, не используя опасных нанороботов. Кроме того, эти нанофабрики будут непрерывно подключены по шифрованному каналу к центру и в случае разрыва этого канала нанофабрика должна самоуничтожаться. Таким образом предполагается исключить несанкционированное её использование. В настоящий момент степень абстрактности таких проектов крайне велика, и мы не можем заключить, достаточно ли их для безопасного применения нанотехнологий. Важно, однако, отметить, что функционально нанофабрики и наноассемблеры взаимозаменимы. То есть с помощью нанофабрики можно, вероятно, будет произвести робота-наноассемблера, а с помощью них – нанофабрику.
Другой вариант нанотехнологической катастрофы, получивший широкую известность – это проблема «серой слизи», то есть неконтролируемого распространения нанороботов, которые превращают всю материю в себя. Исследованию этого вопроса посвящена статья Р.Фрейтаса «К проблеме серой слизи», где он старается дать количественную оценку рисков такой катастрофы. Он приходит к выводу, что распространению вышедших из-под контроля нанороботов-ассемблеров препятствуют два фактора: ограниченность доступного материала и ограниченность энергии. В качестве основного материала для нанороботов он рассматривает углерод, из которого можно делать алмазоидные структуры. Углерода в природе много, но почти везде, где он есть, нет источников энергии, которые могли бы питать процесс. При этом Фрейтас показывает, что чем интенсивнее будет саморепликация нанороботов, тем более мощный источник энергии им будет нужен, и тем больше будут потери тепла при этом процессе, которые тут же демаскируют то место, где размножаются нанороботы для тепловых датчиков на спутниках. При этом наиболее привлекательной средой для саморепликации нанороботов будет биомасса, поскольку она содержит и углерода, и энергию, которую можно извлечь за счёт окисления. К сожалению, люди – это тоже биомасса. Всё же Фрейтас полагает, что случайной катастрофической утечке самореплицирующихся роботов будет противостоять относительно просто. Для этого нужно сделать нанороботов зависимыми от какого-то редкого материала или другого условия, не встречающегося в естественной среде. Во-вторых, отслеживать любые признаки подозрительной тепловой активности, а в-третьих, создать своего рода специальную нанотехнологическую иммунную систему, которую можно будет распылять в местах вышедшего из-под контроля саморазножения нанороботов. Поскольку боевые единицы такой системы будут заранее произведены на фабриках, полагает Фрейтас, то им не нужно будет тратиться на самокопирование, и они смогут эффективно обнаруживать и уничтожать опасных нанороботов, занятых репликацией.
С другой стороны, если не принять этих мер, то наноробот, способный к самокопированию за 15 минут, за двое суток уничтожит всю земную биомассу. При этом, если речь идёт о случайной утечке, то шансы на то, что это ему удастся, достаточно малы; однако если серая слизь создана в результате нанотехнологической диверсии, то она может использовать более сложную тактику – а именно, медленное и незаметное размножение в течение нескольких дней или недель, пока ветер не разнесёт её по всей поверхности Земли, а затем взрывной рост из множества разных точек.
Перспективы всемирного нанотехнологического щита, который будет покрывать всю Землю и отслеживать любые проявления несанкционированной нанотехнологической активности выглядят весьма туманно, поскольку, например, система всемирной ПРО не только до сих пор труднореализуема технологически, но упёрлась в массу препятствий политического характера. Кроме того, любой активный щит, подобный иммунной системе, может быть склонен к реакциям автоиммунного характера. Одна неверная команда, данная оператором всемирного щита, может привести к тому, что этот щит атакует всю земную поверхность одновременно. Недаром и у человека смертность от диабета, аллергии и ряда нейродегенеративных заболеваний, связанных с автоиммунными реакциями, сопоставима со  смертность от инфекций.
Итак, мы должны сделать вывод, что не «серая слизь» является главным риском нанотехнологий, как это принято считать, а нанотехнологическая война, диверсия или сбой в защитной системе.
Важно также отметить, что боевых роботов микроскопических размеров можно производить и без помощи молекулярного производства, а с помощью классической технологии литографии, которую применяют для производства чипов. Уже в прошлом году была создана умная пыль из радиометок RFID, частицы которой были размером 0,05 мм. Микроскопические роботы будут неспособны саморазмножаться, и производство их будет значительно дороже, но и появятся они раньше. Несколько килограмм такой смеси могут содержать миллиарды устройств, способных атаковать и людей, и машины. Даже один микроробот может убить человека, если будет содержать в себе токсин ботулизма.
Рекомендуемая литература:
Э. Дрекслер. Машины созидания.
Р. Фрейтас. Проблема Серой Слизи.
http://www.proza.ru/2007/11/07/59
Глава из отчёта CRN: Опасности молекулярного производства
http://www.proza.ru/2008/04/08/430
С. Лем. Непобедимый.
М. Крайтон. Рой.



Глава 7. Супернаркотик: знание, убивающее само себя.
Биотехнологии и исследования мозга многими путями ведут к возможности создания супернаркотиков. Один из сценариев распространения супернаркотика в будущем предложен Стругацкими в романе «Хищные вещи века», где мощнейший наркотик, вызывающий 100 процентное привыкание с первого раза, оказывается очень просто сделать из радиоприёмника и ряда других общедоступных компонентов, которые непосредственно воздействует на центр удовольствия в мозге. Это сценарий связан в чистом виде не с распространением некого вещества, а с распространением «знаний массового поражения» – о том, как его сделать. С одной стороны, мы можем утверждать, что ни один наркотик не привлечёт всю популяцию людей, поскольку всегда найдутся люди, которые из принципа от него откажутся. С другой стороны, мы можем обозначить сразу несколько сверхнаркотиков, возможных в будущем, общий смысл действия которых состоит в выключении человека из социальной жизни. И человек, отказавшийся от одного класса наркотиков, может устремиться к другому. Так и в современной реальности кто-то не пьёт алкоголь, но зато «сидит» на кофе. Кто-то не смотрит телевизор, но «втыкает» в интернет.
Опасность сверхнаркотика не только в том, что он определённым образом убивает людей, выключая их из жизни, но и в последствиях его распространения для жизнеспособности всего общества. Чем в большей мере популяция будет уходить в наполненную блаженством виртуальную реальность, тем в меньшей степени её будут волновать глобальные проблемы и долгосрочное планирование. Распространение сверхнаркотика будет движущей силой для чёрного рынка био и нанотехнологий, которые затем могут быть использованы для производства оружия. Самым сильным возможным сверхнаркотиком будет тот, который не просто даёт наслаждение, но даёт новый смысл жизни, или, во всяком случае, его иллюзию. По мере того, как человек научится редактировать свою целевую функцию, он всё более и более будет сокращать путь до объекта желания, и всё больше превращаться в крысу с электродом в центре удовольствия. При этом эти переживания будут казаться не просто очень приятными, но и крайне ценными, и будут сопровождаться соответствующей философией (например, называться «нирваной») – и распространение их на других людей будет частью этой новой религии. Людям будет казаться, что смысл их жизни – пережить их это переживание и дать другим пережить его. (Во всяком случае, такие типы сверхнаркотика будут быстрее распространяться и более распространены статистически. Можно вспомнить, в качестве примера, намерение некоторых адептов ЛСД подмешать их любимое вещество в городской водопровод.) Сверхсильный наркотик может быть подобен заразной болезни, если одни люди буду стремиться заразить других, а те – не против будут заразиться. Возможны следующие типы супернаркотика:
1) Прямое воздействие на центры удовольствия в мозгу. Есть наработки по воздействию с помощью вращающегося магнитного поля (шлем Персингера, шлем Шакти), транскринальной магнитной стимуляции, электрической стимуляции паттернами мозговой активности, аудиостимуляции (бинауральные ритмы), фотостимуляции.
2) Будущее возникновение микророботов позволит осуществлять прямую стимуляцию и считывание информации из мозга.
3) Биоинжинерия позволит создать генетически модифицированные растения, которые будут создавать любые заданные препараты, и выглядеть при этом как обычные комнатные цветы или чайные грибы. Более того, распространение этих растений возможно не только физически, но и с помощью информации о коде ДНК по Интернету, с тем, что конечный пользователь сможет выращивать их на месте с помощью своего «ДНК-принтера».
4) Познания в биологии позволят придумать гораздо более сильно действующие вещества с наперёд заданными свойствами, а также с меньшим числом побочных эффектов, что сделает их привлекательнее. 
5) Генетически модифицированные организмы могут встраиваться в само человеческое тело, создавать новые нейронные пути в мозге с тем, чтобы вызвать ещё большее наслаждение. И при этом уменьшать краткосрочные негативные эффекты для здоровья.
6) Виртуальная реальность неизбежно сделает шаг вперёд. Мы сможем записывать свои сны и увеличивать осознание в них, совмещая идеи восточных медитативных практик и технологические возможности для их реализации; виртуальная реальность с помощью мозговых имплантатов сможет создавать гораздо более яркие кинофильмы, чем современное кино и видеоигры. Шлемы для виртуальной реальности станут гораздо совершеннее.
Очевидно, что возможны разные комбинации перечисленных видов абсолютного наркотика, которые только усилят его действие.
Будем называть абсолютным наркотиком некое средство, которое для любого человека привлекательнее обычной реальности и полностью уводит его из этой реальности. При этом можно разделить быстрый и медленный абсолютный наркотик. Первый даёт переживание, ради которого человек готов умереть, второй – некую новую реальность, в которой можно длительное время существовать.
Быстрый наркотик представляет собой глобальную опасность, если в его механизме действия неким образом прописан механизм его распространения. Например, если кайф наступает только после того, как этот наркотик передан ещё трём людям. В некотором смысле этот механизм действует в преступных бандах наркоторговцах (вроде банды M31 в США), где наркоман вынужден подсаживать своих друзей, чтобы, продавая им наркотик, обеспечивать себя дозой.
Распространение медленного абсолютного наркотика можно представить на следующем примере: если ваш любимый или родственник необратимо ушёл в виртуал, то для вас это станет источником страданий, сопоставимых с его смертью, и единственным способом их избежать будет тоже уйти в свой идеальный виртуал, в котором вы сможете достичь общения с его, скажем, электронной копией. 
В силу этого у каждого человека будет богатый выбор развлечений, значительно превосходящих любую реальность. При этом возникает сложный вопрос – в какой мере человек, полностью и необратимо ушедший в непостижимое наслаждение и довольный этим, должен считаться живым? И если мы безоговорочно осуждаем некого примитивного «торчка», то как мы должны относится к человеку, навсегда ушедшему в высокохудожественный мир исторических реконструкций?
Надо отдавать себе отчёт, что пагубное действие многих наркотиков далеко неочевидно и может проявляться очень не сразу. Например, героин и кокаин долгое время, годы, были в открытой продаже, было легко доступно и ЛСД. Наркотик замыкает накоротко психологическую функцию подкрепления (то есть удовольствия), но с точки зрения эволюционных механизмов получение наслаждения вовсе не есть реальная цель организма. Наоборот, существо должно оставаться достаточно неудовлетворённым, чтобы постоянно стремиться к завоеванию новых территорий. Абсолютный наркотик создаёт возможность следующей дилеммы: человечество как целое перестаёт существовать, но каждый отдельный субъект воспринимает произошедшее как личный рай и очень доволен этим. Существа, ушедшие из реальности и наслаждающиеся виртуалом, ничего не возвращая взамен, оказываются бесполезным наростом на системе, который она стряхнёт при ближайшем кризисе. Это – один из путей, которым увлечение абсолютным наркотиком может привести к всеобщему вымиранию. Во-вторых, уменьшение интереса к внешней реальности уменьшит внимание к возможным катастрофам и кризисам.
Вероятность возникновения супернаркотика выглядит крайне высокой, поскольку он может быть достигнут многими способами не только за счёт успехов биотехнологиях, но и в нанотехнологиях, в ИИ, а также за счёт некого случайного изобретения, объединяющего уже существующие технологии, а также по причине наличия огромного спроса. Вероятно, одновременно будут действовать множество разных супернаркотиков, создавая кумулятивный эффект.
Поэтому мы можем ожидать, что эта вероятность будет расти, и будет расти быстрее, чем успехи любой из технологий, взятых по отдельности. Поскольку мы предположили, что биотехнологии дадут мощный результат в виде биопринтера уже через 10-15 лет, то это означает, что мы получим супернаркотик раньше этого времени. Тем более что механизмы для реализации супернаркотика могут быть проще, чем биопринтер. Предотвратить распространение супернаркотика может очень жёсткая система всеобщего контроля или глубокий откат в дотехнологическое общество.
Развитие роботизированного производства начнёт делать людей бесполезными, и потребуется их чем-то занять. Супернаркотик будем одним из способов удалить из жизни лишние части системы. Абсолютный наркотик может вовсе не носить названия «наркотика» и не быть похожим на современные стереотипы. Абсолютный наркотик не будет чем-то одним, но будет множеством факторов, работающих объективно на разделение людей, отключение их от реальности и сокращение их жизни и способности к размножению. Абсолютный наркотик может выглядеть как абсолютное благо, и вопрос его вредности может зависеть от точки зрения. В каком-то смысле современная культура развлечений в западных странах с низким уровнем рождаемости уже может быть прообразом такого наркотика. Однако абсолютный наркотик всё же сам по себе не может истребить всех людей, так как всегда найдутся группы, которые отказались от него и продолжили обычную человеческую жизнь, и, в конечном счёте, «естественный отбор» оставит только представителей этих групп. Кроме того, медленный абсолютный наркотик действует на человеческое сообщество на настолько длительных временных промежутков, которые, скорее всего, перекроются более быстрыми опасными процессами. Быстрый абсолютный наркотик подобен биологической эпидемии, и ему можно противостоять теми же методами. Например, возможны биологические агенты, которые повреждают способность человека к неограниченному наслаждению (а такое уже разрабатывается для лечения наркоманов, например, разрывание определённых нейронных связей), поэтому абсолютный наркотик, скорее, надо рассматривать как фактор, открывающий окно уязвимости для других факторов уничтожения.

Глава 8. Ядерное оружие – может ли бомба уничтожить мир?

Вряд ли нам известна вся полнота информации, которая есть в мире об атомном оружии: тема эта секретная, и наверняка секретность эта скрывает многие неприятные тайны, причём большинство из них в сторону увеличения, например, что какая-нибудь страна, претворяющаяся безъядерной, на самом деле имеет секретную ядерную программу 
Утверждение о том, что одним нажатием кнопки можно уничтожить весь мир, стало штампом, который либо некритически воспроизводится, либо, если распознаётся как штамп, отвергается. Рассмотрим критически риски вымирания человечества, связанные с атомным оружием. Отметим, что даже в эпицентре взрыва атомной бомбы в Хиросиме, на расстоянии 500 метров от места актуального взрыва бомбы в воздухе, были выжившие, причём прожившие после этого длительную жизнь. Их укрыли от взрыва стены крупных кирпичных зданий. Из числа погибших большая часть погибла от первичных поражающих факторов ядерного взрыва, и меньшая часть от радиации; уже вечером того же дня многие спасатели ходили по городу без какого-либо явного вреда для здоровья. Через год в Хиросиме выращивали картошку. Утверждение о том, что атомная бомба уничтожила город Хиросиму, является преувеличением, так как значительное число людей выжило, и, если бы Хиросима была единственным городом на Земле, могла бы продолжить человеческий род. Современные бомбы значительно сильнее бомбы, сброшенной на Хиросиму, и могут разрушить большой город, но и они не дают гарантированного вымирания всех людей, находящихся в городе. Вероятно, нужно было бы сбросить по мегатонной бомбе на каждый квадрантный километр поверхности Земли, чтобы достичь гарантированной гибели всех людей. С учётом площади обитаемой суши на это потребовалось бы десятки миллионов бомб. Возможно, если вычесть из этого числа необитаемые земли, хватило бы миллиона бомб. В любом случае, это значительно больше имеющегося числа бомб на Земле (хотя всё-таки не является недостижимым числом – на пики холодной войны число бомб приближалось к 100 000), и главное, вряд ли в результате современной ядерной войны кто-то будет направлять бомбы равномерно на все обитаемые города и сёла.
Теперь рассмотрим проблему радиоактивного заражения. Наиболее известный сценарий такого заражения – это применение кобальтовых бомб, то есть бомб с повышенным выходом радиоактивных веществ. Кобальтовые бомбы представляют собой водородные бомбы, окружённые оболочкой из кобальта-59, превращающегося в радиоактивный изотоп кобальт-60 . Проект бомбы, способной заражать целые континенты, предложил Лео Сцилард в 1950 году.
П. Д. Смит в своей книге «Люди конца света» (Doomsday men) так описывает историю того, как впервые была предложена кобальтовая бомба. Это произошло на радиошоу в 1950-м году, где спорили в прямом эфире о рисках ядерного оружия ведущие физики: «Когда Бете закончил говорить, глаза Сциларда внезапно ярко вспыхнули. Он ждал этого момента. Он начал с того, что не согласился с мнением Бете об угрозе радиоактивности. «Потребуется очень большое количество бомб, чтобы жизнь оказалось под угрозой от водородных бомб, - сказал Сцилард. – Но, - продолжил он, - очень просто усилить водородную бомбу таким образом, чтобы она произвела очень опасное количество радиоактивности». Затем он дал своим слушателям, как находящимся за столом в студии, так и по всей Америке, урок о том, как сконструировать бомбу судного дня.
В начале он объяснил, как атомный взрыв создаёт опасные радиоактивные элементы. «Большинство встречающихся в природе элементов становятся радиоактивными, когда поглощают нейтроны», – сказал он. Всё, что вам нужно сделать, это подобрать подходящий элемент и организовать так, чтобы этот элемент захватывал все нейтроны. В этом случае вы имеете очень опасную ситуацию. Я сделал вычисления на этот случай. Предположим, что мы создаём радиоактивный элемент, который будет жить пять лет, и которому мы просто позволим выделиться в воздух. В течение следующих лет он будет постепенно осаждаться и покроет всё Землю пылью. Я спросил себя: сколько нейтронов или сколько тяжёлого водорода мы должны взорвать, чтобы убить каждого на Земле этим способом?»
Сцилард остановился и посмотрел вокруг стола, как если бы он ожидал ответа. «Я пришёл к выводу, что 50 тонн нейтронов будет достаточно, чтобы убить каждого, что означает примерно 500 тонн дейтерия. Харрисон Браун внимательно смотрел на Сциларда, пытаясь понять значение того, что он говорил… «Вы имеете в виду, - сказал Браун, - что если вы взорвёте 500 тонн тяжёлого водорода, и затем позволите этим нейтронам быть поглощёнными другим элементом с целью порождения радиоактивной субстанции, то все люди на Земле будут убиты?»
Сцилард ответил: «Если это долгоживущий элемент, который постепенно, в течение нескольких лет, осаждается, формируя слой пыли на поверхности Земли, то тогда все люди до одного будут убиты».
Специализацией Брауна была геологическая химия, в частности, внеземных образований. Журнал «Тайм» незадолго до этого момента изобразил его держащим в руках метеорит. И теперь он выбрал геологическую аналогию, которая была ему знакома: «То есть тогда вы можете себе представить нечто вроде взрыва Кракатау, когда вы организовываете один большой взрыв или серию маленьких взрывов. Пыль поднимается высоко в воздух, как было в случае этого конкретного взрыва, циркулирует вокруг Земли в течение многих, многих месяцев и даже лет, и затем постепенно выпадет на поверхность Земли?»
Сцилард откинулся назад в своём кресле и выразительно развёл руками: «Я согласен с вами». Аналогия с вулканом была хороша. Сциларду она нравилась. Он ясно выразил свою точку зрения. Оружие судного дня было рождено.
Ганс Бете слушал Сциларда с растущим раздражением. Хотя его лицо всё ещё несло мягкую улыбку, которая привычно обитала у него на губах, его брови наморщились. Дело было не в том, что он научно был не согласен с тем, что Сцилард говорил, скорее, его раздражал типично сцилардовский полёт фантазии. Не было необходимости обострять текущую ситуацию. Водородная бомба должна была быть и так достаточно плоха – зачем пугать людей тем, что может придти за ней.
«Вы можете спросить, – сказал Сцилард, предвосхищая своих критиков, – кто захочет убить всех на Земле?» Любая страна, которая хочет быть непобедима на войне, был его драматичный ответ. Это будет преимуществом, которое обретёт любая страна, овладевшая оружием конца света – водородной бомбой, усиленной таким образом, как он описал, цинком, или, как он позднее предложил, кобальтом.
«Давайте предположим, - объяснил он, - что мы участвуем в войне и находимся на грани победы в войне с Россией, после борьбы, которая, скажем, длилась десять лет. Русские могут сказать: «Дальше это границы вы не пойдёте. Вы не вторгнетесь в Европу, и вы не будете сбрасывать на нас обычные атомные бомбы, или мы детонируем наши водородные бомбы и убьём всех». Столкнувшись с такой угрозой, я думаю, мы не сможем продолжать. Я думаю, что Россия будет непобедимой».
Харрисон Браун явным образом страдал от осознания последствий того, что только что сказал Сцилард. «Неужели какая-либо нация, - спросил он, - решиться уничтожить всех вместо того, чтобы потерпеть поражение?» Сцилард честно признался, что он не знает ответа на этот вопрос. Но он добавил следующее пугающее завершение: «Я думаю, что мы можем угрожать это сделать, и русские могут угрожать это сделать. И кто тогда возьмёт на себя риск не принимать эту угрозу всерьёз?»
В публичной лекции в следующем месяце Браун сказал аудитории, что он теперь убеждён, что существуют люди, которые были бы готовы уничтожить всю жизнь на Земле, если бы им не уступили дорогу. «Можем ли мы сомневаться, – спросил он, – что Гитлер, в отчаянии от поражения, уничтожил бы весь мир, если бы он имел власть это сделать?»
Тем февральским вечером дискуссия за круглым столом переместилась к обсуждению возможности того, что огромные водородные бомбы будут доставляться на кораблях. Если он будут взорваны в Тихом океане, радиоактивность от таких чудовищных устройств проплывёт над Америкой благодаря преобладающим западным ветрам, отравляя землю и людей. Это было новой и пугающей угрозой для Америки. Страх кораблей-бомб будет порождать заголовки газет до конца десятилетия, в то время как Америка и Россия будут стремиться переплюнуть друг друга в создании всё больших водородных бомб. Но, как указал Сцилард, такую радиоактивность невозможно контролировать. Ужасной иронией является то, добавил Харрисон Браун, что «проще убить всех людей на Земле, чем только часть из них». «Так оно и есть», – согласился Сцилард. …
Осенью 1950 года страхи Сциларда о кобальтовой бомбе получили независимую научную поддержку.  Доктор Джеймс Арнольд из института ядерных исследований в Чикаго решил исследовать, насколько такое оружие технически возможно. Согласно Ньюсвик, «блестящий молодой (27 лет) физик начал с того, чтобы, с логарифмической линейкой в руках, разрушить аргументы Сциларда. Но закончил он согласием по многим аспектам».
Вычисления Арнольда показали, что машина судного дня, описанная Лео Сцилардом, должна быть гигантским устройством «возможно, в два с половиной раза тяжелее линкора Миссури (70 000 тонн водоизмещения – А.Т.)» Дейтерий, который должен наполнять эту бомбу, должен стоить столько же, сколько весь Манхеттенский проект, 2 миллиарда долларов. Кроме того, по крайней мере, 10 000 тонн кобальта потребуются для создания смертельного радиоактивного изотопа, кобальта-60, когда бомба взорвётся. Большинство предположений Сциларда о кобальтовой бомбе были подтверждены чикагским учёным. В действительности, единственным моментом неопределённости был вопрос о том, будет ли радиоактивная пыль от такой бомбы конца света равномерно распределяться по всему миру.
Хотя Арнольд пришёл к выводу, что человеческая раса не находится в опасности сейчас, поскольку создание такого устройства потребует «полномасштабных усилий большой страны в течение многих лет», он был убеждён, что «подавляющее большинство людей могут быть убиты таким способом». Единственным лучом надежды, который смог найти Ньюсвик, было то, что «те, кто захотят использовать это оружия для убийства, должны принять суицид как условие сделки».
Будучи местом рождения атомной эры и кобальтовой бомбы, Университет Чикаго был домом для наиболее важного журнала по атомным проблемам – «Бюллетень учёных атомщиков». Именно этот Бюллетень поручил Джеймсу Арнольду исследовать предсказания Лео Сциларда о машине судного дня». 
Если некая страна, обладающая ядерными технологиями, окажется под угрозой внешнего завоевания, она может решиться создать такую бомбу. Особенно, если системы ПРО у противника не дадут шансов применить ракетное оружие для обороны. Тем более что, возможно, для такой бомбы не потребуется много урана или плутония – только несколько килограммов на запал. Но потребуется очень много дейтерия. Стоимость 1 л тяжелой воды, то есть примерно 200 грамм тяжёлого водорода, по доступным оценкам, ~1000$, Отсюда 5 миллиардов долларов – это 1000 тонн дейтерия, необходимого для такой бомбы. С учётом прочих расходов такая бомба должна стоить десятки миллиардов долларов. Однако если после создания такой бомбы на данную страну никто никогда не нападёт, то это дешевле, чем содержать вооружённые силы. Отсюда следует, что системы ПРО не повышают безопасность в мире, так как побуждают более слабые страны создавать кобальтовые стационарные бомбы в качестве последнего средства обороны. Или же, наоборот, разрабатывать ядерные чемоданчики, которые отдельные диверсанты могут пронести на вражескую территорию, или сосредотачиваться на разработке биологических и прочих альтернативных видах вооружения.
Не менее опасен печально знаменитый изотоп полоний-210. Он является гораздо более мощным источником, чем кобальт, так как имеет меньший период полураспада (в 15 раз примерно). И он обладает способностью накапливаться в организме, поражая изнутри, что повышает его эффективность ещё примерно в 10 раз. Смертельная его доза – около 0,2 мкг . Это означает, что полное смертельное заражение Земной поверхности потребует только сто тонн (или сотен килограмм в худшем случае – если учесть его способность накапливаться в организмах, а также повторное отравление за счёт высокой концентрации в среде – то есть сколько выводится, столько и вводится) этого опасного вещества. Неизвестно, сколько водородных бомб нужно взорвать, чтобы наработать такое количество вещества. (В обычных атомных бомбах выход радиоактивных элементов измеряется килограммами, но в специальных водородных бомбах, окружённых толстыми оболочками, позволяющих уловить все нейтроны, он может достичь, по моим очень неточным прикидкам, тонны. Однако тяжёлую эффективную бомбу невозможно поднять высоко воздух, где гарантировано качественное распыление, поэтому реальный выход от бомбы можно снижать смело до 100 кг. Значит надо или облегчать бомбу, или смириться с потерей большей части радиоактивного выхода в грунте на месте взрыва. Это означает, что для производства такого эффекта нужно взорвать 1000 полониевых (то есть с оболочкой из висмута-209) бомб мегатонного класса.)
При этом известно, что в мировом океане растворено постоянно около 180 кг полония, образующегося из распада природного урана – однако это количество равномерно распределено по объёму толщи воды и не представляет угрозы для живых существ.
Требуются более точные подсчёты, учитывающие скорости осаждения радиоактивного вещества из атмосферы, вымывания его в океан, распада, связывания и сродства с элементами в человеческом теле, а также способности людей приспосабливаться к радиации, чтобы определить минимальное количество какого изотопа приведёт к вымиранию всех людей на Земле – или к длительной непригодности всей суши для сельского хозяйства и невозможности в связи с этим вернуться в доиндустриальную фазу развития или неизбежности деградации на ней. (Что может быть на два-три порядка меньше по уровню радиации.)
Для того чтобы радиоактивное вещество распространилось достаточно далеко, бомба должна взрываться на высоте 10-20 км, а чтобы бомба была достаточно мощной, она должна быть тяжёлой. В конечном счёте, такая машина смерти может представлять собой стационарное устройством весом в тысячи тонн, с выходом взрыва в сотни мегатонн, в ходе которого образуются тонны опасного изотопа, выбрасываемые силой взрыва высоко в воздух. Кроме того, короткоживущий изотоп можно пересидеть в бункере. Теоретически возможно создание автономных бункеров со сроком самообеспечения в десятки лет. Гарантированное вымирание можно получить, смешав долгоживущие и короткоживущие изотопы. Короткоживущие уничтожат большую часть биосферы, а долгоживущие сделают землю непригодной для жизни теми, кто пересидит заражение в бункере.
Теперь обратимся к угрозе вымирания человечества в результате ядерной зимы. В отношении ядерной зимы есть два неизвестных фактора – во-первых, насколько она будет длительной и холодной, а во-вторых, в какой мере ядерная зима означает вымирание человечества. В отношении первого фактора есть разные оценки – от крайне суровых (Моисеев, Саган) до относительно мягких концепций «ядерной осени». Я полагаю, что риск ядерной зимы преувеличивается, так как ни пожары в Кувейте, ни Вторая мировая война не привели к сколько-нибудь значительному снижению мировой температуры. Однако принцип предосторожности заставляет нас рассмотреть наихудший случай.
 Существующая критика концепции ядерной зимы сосредотачивается вокруг следующих факторов:
• Какое количество сажи возникнет и будет выброшено в тропосферу в случае крупномасштабной ядерной войны.
• Какое влияние она окажет на температуру Земли
• Как долго она будет находиться в верхних слоях атмосферы
• Какое влияние окажет падение температуры на выживание людей.
Отдельные исследования сосредотачиваются на анализе каждого из этих факторов, принимаю как данность результаты предыдущего. Например, недавнее американское исследование проблемы влияния ядерной зимы на климат принимает количество сажи в тропосфере за 150 млн. тонн. В исходном анализе Моисеева было 4 миллиарда тонн, и соответственно, падение температуры было не на 20, а на 50 градусов. В статье И.М. Абдурагимова "О несостоятельности концепции "ядерной ночи" и "ядерной зимы" вследствие пожаров после ядерного поражения"  приводится жёсткая критика именно по количеству сажи, которая выделится в результате полномасштабной ядерной войны. При лесном пожаре сгорает в среднем только 20% от горючей массы, из неё только половина является по массе чистым углеродом, и большая часть этого углерода сгорает полностью, то есть без образования частичек угля. При этом только часть сажи является настолько мелкодисперсоной, чтобы быть способной висеть в тропосфере и оказывать значительный вклад в затемнение Земли.  Чтобы транспортировать эту сажу в тропосферу, где она может «зависнуть» по причине отсутствия там конвекции, требуется возникновение специфического явления – огненного торнадо (поскольку сам шар ядерного гриба, уходящий высоко в тропосферу, имеет настолько большую температуру, что в нём все частички сажи сгорают). Огненное торнадо образуется не при всех ядерных взрывах и, кроме того, резко улучшает сгорание, как меха в плавильной печи, в силу чего сажи в нём гораздо меньше. Они не должны образовываться в современных городах, построенных таким образом, чтобы избежать этого эффекта – например, в городах бывшего СССР. Наконец, не вся сажа, выделившаяся при пожарах, поднимается на высоту более 10 км, где нет конвекции и дождей, которые быстро её вымывают.
Этим сажа при ядерной зиме отличается от вулканической пыли, которая буквально выстреливается в стратосферу из жерла вулкана, как из пушки. Однако вулканическая пыль состоит из более тяжёлого оксида кремния и гораздо быстрее выпадает из тропосферы.
Однако всё же можно представить себе гипотетическую ситуацию, когда в тропосфере оказались сотни миллионов тонн мелкодисперсного углерода. Можно представить себе и альтернативные ядерной войне сценарии попадания его туда, например, попадание астероида в залежи каменного угля(например, недавно появились публикации о том, что астероид упавший в эпоху вымирания динозавров, воспламенил и превратил в сажу огромные запасы нефти), или вулканический взрыв под такими залежами, или результат некой человеческой деятельности, или даже неконтролируемое размножение нанороботов, заслоняющее солнечный свет, как предполагает Фрейтас.
Время нахождения сажи в тропосфере оценивается по-разному, но обычно  оценка от нескольких месяцев до 10 лет. Есть также и альтернативные теории о том, какое воздействие окажет ядерная война на климат, например, о том, что за счёт парникового эффекта от сгоревшего углерода и образования окислов азота и их влияния на озоновый слой  температура Земли на самом деле резко повысится.
Внезапные и длительные похолодания не обязательно означают человеческое вымирание. Это следует из того, что, например, Финляндия имеет примерно десятилетний запас еды плюс топливо в виде лесов, печи и навыки вживания при зимних температурах. Чтобы действительно убить всех людей, ядерная зима должна длиться более ста лет с антарктическими температурами, и то этого может быть недостаточно, с учётом человеческой способности приспосабливаться. (Если считать, что ядерная зима будет единственным неблагоприятным фактором, что неверно.)
Наиболее современные исследования климатических последствий полномасштабной ядерной войны опубликованы в статье Алана Робока с соавторами «Ядерная зима в современной модели климата при существующих ядерных арсеналах: последствия по-прежнему катастрофичны» . Статья содержит обзор предыдущих исследований и разумные варианты ожидаемого выброса сажи. Расчет выполнен на основании современной метеорологической модели, проверенной на других приложениях. В результате получается, что при полномасштабной войне современными (то есть сокращёнными со времён холодной войны) ядерными арсеналами среднее снижение температуры по всей Земле составит около 7 градусов в течение нескольких лет, а последствия ядерной зимы будут ощущаться около 10 лет.  Время очищения (в е раз) верхней тропосферы от сажи составит 4,6 лет. При этом над континентами снижение температуры составит до 30 градусов, и в частности, над Украиной не будет положительных температур в течение трёх лет. Это сделает невозможным ведение классического сельского хозяйства почти по всей Земле в течение нескольких лет. С другой стороны, над тропическими островами (Куба, Мадагаскар, Шри-Ланка) снижение температуры составит только несколько (5-7) градусов. Очевидно, что значительное число людей могли бы пережить такое похолодание, однако при этом начнётся такая борьба за оставшиеся ресурсы, которая повысит риски дальнейших катастроф. Серия крупных вулканических извержений (вулканический пепел уходит из тропосферы с характерным временем в 1 год) могла бы дать такой же эффект.
 Учитывая неопределенность в моделях, а также возможность затяжной ядерной войны и других причин затемнения атмосферы можно предположить следующие теоретические варианты ядерной зимы:
1) Падение температуры на один градус, не оказывающее значительного влияния на человеческую популяцию. Как после извержения вулкана Пинатубо в 1991 году.
2) «Ядерная осень» – несколько лет температур, пониженных на 2-4 градуса, неурожаи, ураганы.
3) «Год без лета» – интенсивные, но относительно короткие холода в течение года, гибель значительной части урожая, голод и обморожения в некоторых странах. Это уже происходило после крупных извержений вулканов в VI веке нашей эры , в 1783г, в 1815г.
4) «Десятилетняя ядерная зима» – падение температуры на всей Земле на 10 лет на 30-40 градусов. Этот сценарий подразумевается моделями ядерной зимы. Выпадение снега на большей части земли, за исключением некоторых экваториальных приморских территорий. Массовая гибель людей от голода, холода, а также оттого, что снег будет накапливаться и образовывать многометровые толщи, разрушающие строения и перекрывающий дороги. Гибель больше части населения Земли, однако миллионы людей выживут и сохранят ключевые технологии. Риски – продолжение войны за тёплые места, неудачные попытки согреть Землю с помощью новых ядерных взрывов и искусственных извержение вулканов, переход в неуправляемый нагрев ядерного лета. Однако даже если допустить этот сценарий, окажется, что мирового запаса рогатого скота (который замёрзнет на своих фермах и будет храниться в таких естественных «холодильниках») хватит на годы прокорма всего человечества, а Финляндия, как уже говорилось, имеет стратегический запас еды (зерна) на 10 лет.
5) Новый ледниковый период. Получается из предыдущего сценария за счёт того, что отражающая способность Земли возрастает за счёт снега, и начинают нарастать новые ледяные шапки от полюсов и вниз, к экватору. Однако часть суши у экватора остаётся пригодной для жизни и сельского хозяйства. В результате цивилизации придётся радикально измениться. Трудно представить огромные переселения народов без войн. Много видов живых существ вымрет, но большая часть разнообразия биосферы уцелеет, хотя люди будут уничтожать её ещё более безжалостно в поисках хоть какой-либо пищи. Люди уже пережили несколько ледниковых периодов, которые могли начаться весьма резко в результате извержений сверхвулканов и падений астероидов.
6) Необратимое глобальное похолодание. Оно может быть следующей фазой ледникового периода, при развитии событий в наихудшем случае. На всей Земле на геологически длительное время устанавливается температурный режим, как в Антарктиде, океаны замерзают, суша покрывается толстым слоем льда. (Или как на Марсе – холодная сухая пустыня. Кстати, если все парниковые газы из атмосферы Земли исчезнут, то равновесная температура поверхности составит минус 23 С.) Только высокотехнологичная цивилизация, способная строить огромные сооружения подо льдом, может пережить такое бедствие, но такая цивилизация могла бы, вероятно, найти способ обратить вспять этот процесс. Жизнь уцелеет только около геотермальных источников на морском дне. Последний раз Земля вошла в это состояние примерно 600 млн. лет назад, то есть до выхода животных на сушу, и смогла выйти из него только благодаря накоплению СО  в атмосфере . В то же время за последние 100 000 лет было четыре обычных оледенения. Наконец, в случае, если бы Солнце вообще перестало светить, наихудшим исходом было бы превращение всей атмосферы в жидкий азот, что выглядит абсолютно невероятным.
Хотя варианты 5 и 6 относятся к самым маловероятным, они несут в себе наибольший риск. Эти варианты могли бы быть возможны при экстраординарно большом выбросе сажи и при наихудшем раскладе неизвестных нам природных закономерностей.
Если бы некая сила задалась целью устроить ядерную зиму нарочно, то она может её организовать, взорвав водородные бомбы в каменноугольных шахтах. Это, возможно, даст неизмеримо больший выброс сажи, чем атака на города. Если установить водородные бомбы с таймером на разные сроки, то можно поддерживать ядерную зиму неограниченно долго. Теоретически, таким образом можно достичь устойчивого состояния «белого холодного шарика», отражающего весь солнечный свет, с полным вымерзанием океанов, которое станет самоподдерживающимся состоянием. С другой стороны, когда сажа осядет, Земля, возможно, окрасится в чёрный свет, и её способность нагреваться в солнечных лучах резко возрастёт. Такое ядерное лето тоже может принять необратимый характер (с учётом остальных факторов глобального потепления) с переходом в «венерианскую» фазу нагрева. Есть и другие факторы, которые могут привести к ядерному лету после или вместо ядерной зимы, например, выброс большого количества парниковых газов при взрывах. Ядерное лето гораздо опаснее ядерной зимы, так как человек легче переносит охлаждение, чем нагрев (то есть, если принять комнатную температуру за 20 градусов, то человек вполне переносит мороз на улице в минус 50, то есть на 70 градусов ниже, но сможет выдержать подъём температуры не более чем, на 30 градусов, то есть не больше 50 ;С на улице). Кроме того, системы обогрева работают индивидуально (лес + печка), а холодильники требуют наличия устойчивой централизованной инфраструктуры (производство холодильников + электроэнергия). Хранение продуктов питания при резком потеплении станет невозможно – они сгниют и сгорят. Поэтому, если у человечества будет выбор, то ему следует выбирать глобальную зиму, а не глобальное лето.
Инициация извержения сверхвулкана с помощью ядерного оружия также приведёт к аналогу ядерной зимы – к вулканической зиме. Опасны попытки людей исправить ситуацию с помощью искусственной ядерной зимы или искусственного ядерного лета, которые могут только усугубить проблемы за счёт перехода климата в режим раскачки, по модели запаздывающего управления фон Неймана.
Обращу внимание на то, что точная вероятность и продолжительность  ядерной зимы и её последствий невычислима по причинам, которые обсуждаются в главе «невычислимость». Это происходит, потому что мы по определению не можем поставить эксперимента, а также точно определить, насколько Моисеев и Саган были заинтересованы преувеличить опасность ядерной зимы, чтобы избежать войны. То есть хотели ли они создать само-несбывающееся пророчество. 
Можно задаться вопросом, не ждёт ли нас энергетическая сингулярность и так ли это хорошо, как кажется? Такие идеи возникают у меня, когда я слышу в очередной раз, что нас обещают залить дешёвой энергией. Например, недавно возникла ещё одна альтернативная технология термоядерного синтеза, называемая Focus fusion. Эта фокусного термоядерного синтеза обещает дешёвый и экологически чистый источник энергии с работающим прототипом в 2012 году. Цена составит в 40 и более раз меньше, чем на современных самых недорогих станциях. Принцип действия состоит в ядерной реакции водорода с бором внутри плазменного пучка, определённым образом закрученного с помощью магнитного поля в узел, который будет самосжимающимся. Образующиеся потоки ионов непосредственно переводятся в электричество без посредства паровых турбин. При этом реакция бор - водород очень чистая, и только тысячная часть её даёт нейтроны, которые могут создавать наведённую радиоактивность. Поскольку в каждый момент в реакции участвуют микроскопические количества вещества, то использовать её для создания водородной бомбы невозможно. Наоборот, эта система избавит мир от урановых реакторов, и соответственно, от накопления расщепляющих материалов, а значит, снизит риск создания ядерного оружия. Так, во всяком случае, утверждают создатели технологии.
Но есть одно НО, как я это вижу. Такую систему можно запустить, быть может, не только на паре водород-бор, но и на другой смеси газов с незначительной переделкой, например, на водороде, дейтерии, литии, гелии, и т. д. И тогда это устройство станет мощным источником нейтронов, простым, и в десятки раз более дешёвым, чем ядерный реактор. Такой источник нейтронов позволит нарабатывать плутоний или другие расщепляющие материалы, или хотя бы радиоактивные материалы для грязной бомбы - дёшево, тайно и в больших количествах. Об этом ничего не сказано в FAQ на сайте этой конторы.
И это далеко не единственный проект такого рода. И в отношении всех них я полагаю, что невозможно выделять огромные количества энергии так, чтобы невозможно было потом превратить эту энергию в бомбу. Во всяком случае, такие риски должны приниматься всерьёз.

Рекомендуемая литература:
P.D.Smith. Doomsday men. The Real Dr Strangelove and the Dream of the Superweapon. NY, 2007.
Blair Bruce G. The Logic of Accidental Nuclear War. Brookings Institution Press, 1993.
Шют Невил. На берегу. 1957.


Глава 9. Исчерпание ресурсов

Правда состоит в том, что мы не знаем, когда кончится нефть. Связано это с тем, что цена такого знания очень велика. В силу этого отдельные крупицы этого знания рассеяны между разными людьми, группами и странами, которые в своих интересах могут увеличивать или уменьшать заявленные значения. Например, каждая из стран ОПЕК заинтересованы преувеличивать запасы нефти в каждой стране, поскольку квоты на добычу пропорциональны запасам, однако при этом в целом все вместе эти страны имеют интерес преуменьшать запасы нефти в мире, поскольку это способствует росту общей цены на нефть. Разные экспертные организации продают разные версии будущего нефтяного рынка, привлекая людей, которым нравится верить в ту или иную концепцию. CERA даёт наиболее оптимистичный прогноз, в соответствии с которым нефть зарождается в земных недрах и её хватит на исторически длительный промежуток времени. С другой стороны theoildrum.com бьёт в набат, утверждая, что пик добычи нефти в 2006 г. уже пройден, и впереди нас ждёт резкий спад. В результате мы имеем тот итог, что суммарная ценность всех предсказаний о будущем нефти имеет не большую ценность, чем результат бросания монеты. Это ставит любых отдельных производителей и потребителей, и всю цивилизацию в целом перед серьёзной проблемой: один из важнейших параметров, который она должна знать для успешного планирования, оказывается принципиально непостижимым. В результате каждый должен ориентироваться на свою наилучшую оценку, и в случае ошибки нести ущерб от слишком низких или высоких цен на нефть.
Если бы наша цивилизация точно знала, что добыча нефти вот-вот начнёт неудержимо падать, то мы бы могли начать всерьёз готовится к этому исходу. Я уверен, что технически вполне реально обеспечить все энергетические потребности цивилизации за счёт ветроэнергетики и солнечных батарей, например, если бросить все ресурсы индустриальных стран на производство ветрогенераторов. Здесь важно отметить следующие факты. Количество ветроэнергии, доступной для извлечения на континентальном морском шельфе в США, достаточно для обеспечения всех потребностей страны в электроэнергии. Большие ветряные фермы, разбросанные на широких площадях (тысячи километров), дают достаточно стабильный поток электроэнергии, независимо от погоды. Существуют способы накапливать излишки ветроэнергии, поднимая уровень воды в водохранилищахили заряжая аккумуляторы элетромобилей, и эти технологии уже применяются. Количество ветроустановок, построенных в США, растёт экспоненциально. Технология эта отработана, и не содержит подводных камней, в отличие от термояда. Не менее прекрасны перспективы у солнечной энергетики. Каждый год объявляют о новых открытия, которые позволяют удешевить солнечные батареи, и цена их падает по экспоненциальному закону. Есть так же масса других способов извлечения энергии, которые я здесь обсуждать не буду: геотремальные источники, океанические метангидраты, горючие сланцы, турбины на подводных течениях и в реках.
Суть проблемы, однако, в том, чтобы успеть реализовать эти проекты до того, как разразится энергетический кризис, а для этого нужно точно знать, когда он будет, и будет ли вообще, и подать соответствующие ценовые сигналы, которые побудят рискнуть огромными капиталовложениями в отрасль. Не менее интересно было бы и заменить все двигатели внутреннего сгорания аккумуляторными батареями, что вот-вот станет технологически возможно и экономически выгодно.
Пока же основной риск состоит не в исчерпании энергоресурсов, а во внезапности его исчерпания. Но даже если внезапное исчерпание может остановить мотор современной цивилизации, то оно, само по себе, не приведёт к полному вымиранию человечества. Однако самый главный риск здесь в том, что начнётся война за оставшиеся ресурсы. Напомню, что борьба за нефть была основной причиной вступления Японии во Вторую мировую войну, а кончилось всё атомной бомбой.
Итак, главный риск новой войны состоит в том, что она резко подхлестнёт конструкторские разработки опасных вооружений, а также побудит слабые страны создать «оружие судного дня» – то есть оружие настолько страшное, что оно может уничтожить весь мир, если хоть кто-нибудь на них нападёт. Например, это могут быть запасы биологического оружия, рассредоточенные в разных частях мира.
Теперь, вооружённые пониманием, как любой значительный спад в производстве ресурсов может привести к уничтожению человечества, мы можем более внимательно взглянуть на доводы тех, кто говорит об их исчерпании. Разумеется, эти доводы не являются истинной в последней инстанции, однако вероятность их истинности значительна – десятки процентов, и именно с таким раскладом связан наихудший исход.  Добыча любого ресурса подчиняется колоколообразной кривой, похожей на гауссово распределение, которое в отношении производства нефти называется пиком Хуберта. Многие страны уже прошли свой пик Хуберта, например, Соединённые Штаты, в точности тогда, когда это предсказывала теория. Возможно, что весь мир прошёл свой пик Хуберта в районе 2006 года. Свидетельство тому, что последние два года цифры поквартальной добычи практически неизменны, в то время как цена выросла более чем в два раза. То есть добыча нефти престала реагировать на ценовые сигналы.
Пренеприятной особенностью пика Хуберта является то, что уменьшение добычи нефти в некой стране на 1 единицу приводит к сокращению экспорта на три единицы (поскольку внутреннее потребление не изменяется, а изменяется только доля излишков), то есть спад пика Хуберта на международном рынке нефти приводит к значительному дефициту продукта.
Следующей неприятной особенностью пика Хуберта является то, что у каждого ресурса есть свой пик Хуберта, и у большинства ресурсов, необходимых человечеству, этот пик приходится на первую половину XXI века. А именно, у каменного угля, доступной пресной воды, площади обрабатываемых земель, добычи рыбы в океане. При этом особенно же неприятным обстоятельством является то, что человек научился заменять одни ресурсы с помощью других. Это поначалу работало хорошо, так как позволяло перераспределять ресурсы. Например, нехватку пресной воды можно компенсировать с помощью электричества, опресняя воду или добывая из глубоких скважин; истощение почв покрывают производством всё большего количества удобрений; нехватку нефти – производством спирта из кукурузы; нехватку продовольствия – производством маргарина из нефти и даже каменного угля, как это было в послевоенной Германии. Однако последствия такой замены состоят в том, что хотя пик Хуберта одних ресурсов оттягивается, пик Хуберта других ресурсов приближается, в результате чего пик ВСЕХ ресурсов произойдёт примерно одновременно!
Очевидно, что ситуация отягощается постоянным ростом населения, которое растёт не только количественно, но и качественно, по уровню своего потребления. Как бы ни были велики земные ресурсы, всегда найдётся такое количество населения, которое сможет их поглотить. Рост населения приведёт к тому, что перелом уровня добычи всех ресурсов в мировом пике Хуберта будет гораздо более острым.
Отмечу, что пик ресурса не означает обязательно гибели цивилизации, однако он делает необходимым качественный скачок, как оно было 10 тысяч лет назад, когда случилась неолитическая революция: охотники-собиратели съели всех мамонтов и прочую доступную живность, и численность населения Земли резко упала, а оставшимся людям пришлось изобрести сельское хозяйство. Таким качественным скачком могло бы создание молекулярного производства, то есть развитых нанотехнологий. Здесь, однако, стоит вопрос о том, что произойдёт раньше: пик ресурсов или эффективные нанотехнологии. Не забываем также, что эффективные нанотехнологии несут в себе такой риск глобальной катастрофы, по сравнению с которым мировая война окажется мягкой прогулкой. Тем более, если они будут созданы как оружие в ходе мирового конфликта, который разгорится после пика ресурсов.
Добавим также ещё одну ложку дёгтя к проблеме исчерпания ресурсов. Современная капиталистическая экономика действует за счёт кредита. Согласно теории кредитного цикла Мински существует три класса должников: а) добросовестные; б) те, кто может зарабатывать на выплату процентов, но не основной массы долга и поэтому вынуждены растягивать его навечно; в) и те, кто вынужден занимать новые кредиты, чтобы выплачивать по старым, что похоже на финансовую пирамиду (схема Ponzi или МММ). Первый тип заёмщиков свободен, и может целиком выплатить долг. Второй тип заёмщиков вынужден выплачивать долг вечно и не может выйти из этого состояния, но способен обслуживать свой долг. Третий тип вынужден непрерывно расширять свои операции и всё равно обанкротится в течение конечного промежутка времени. Мински показывает, что возникновение всех трёх типов заёмщиков и постепенное увеличение доли заёмщиков третьего типа является естественным процессом в капиталистической экономике периода бума. Современная экономика, во главе со своим локомотивом – США, находится где-то между вторым и третьим типом. Объём разного вида долгов, созданных только внутри США имеет, по некоторым оценкам, порядок 100 триллионов долларов (сюда входит 7 трлн. государственного долга, 14 трлн. по ипотеке, долги населения за кредитные карты, образование, машины, долговые обязательства корпораций, а также обязательства правительства США по медобсулуживанию пенсионеров Medicare. При этом ВВП США – 13 трлн. долларов. Понятно, что все эти деньги нужно выплатить не завтра, а они размазаны по ближайшим 30 годам и между разными субъектами, которые сложным образом собираются использовать поступления по одним долгам для оплаты других.) Сам по себе долг не есть дьявол – он,  скорее, описывает, кто, что и когда будет делать и получать. То есть это финансовая машина планирования будущего. Однако когда она переходит на третий режим (схема Ponzi), она вступает в механизм саморазрушения, которое тем сильнее, чем оно позже. Мнения о том, действительно ли мировая экономика развивается благодаря всемирной финансовой пирамиде, или нет, разнятся. Миллиардер Уоррен Баффет назвал дериваты (многоступенчатые долги) финансовым оружием массового поражения. Опасная тенденция состоит так же в том, что можно подумать, что эта системная проблема с долгами относится только к США как к стране: на самом деле, она относится ко всей мировой экономике. Ущерб от Великой депрессии 1929 года вдвое превышал ущерб США от Второй мировой войны и распространился, как вирус испанка 10 годами ранее, по всем континентам, ударив по Европе сильнее, чем по Штатам. Кризис 1929 года был крупнейшим системным кризисом вплоть до распада СССР. Основная его сложность была в том, что люди не понимали, что происходит. Почему, если есть люди, желающие работать, и есть голодные, требующие пищи – еда дешевеет, а никто её купить не может и фермеры разоряются? И они сжигали излишки еды – не потому, что они были злодеи или идиоты, а потому что они просто не понимали, как заставить систему работать. Надо отметить, что и сейчас есть разные точки зрения о причинах Великой Депрессии и особенно о том, какие меры были бы правильными и почему она, наконец, закончилась. Тотальное самоподдерживающееся непонимание является важной частью системного кризиса. Мински предлагает увеличить роль государства как заёмщика на крайний случай, чтобы уменьшить циклические колебания капиталистической экономики. И это уже сработало в кризисах 1975, 1982 и начала 90-х. Но в этом есть новая опасность, называемая «моральный вред», состоящая в том, что банки, которые каждый раз выкупают, становятся всё более безрассудными в делании долгов, так как уверены, что их выкупят и на этот раз. Кроме того, их подводят статистические модели: чем дольше не было экономической депрессии, тем дольше её и не будет по статистическим моделям, тогда как по структурным моделям, чем дольше не было спада, тем большим он будет. Кредитный цикл Мински связан в первую очередь с излишним инвестированием, а закон Мура, как мы знаем, во много опирается на избыточное инвестирование в рамках «венчурного инвестирования». Поэтому спад мировой экономики нанесёт сильнейший удар по закону Мура.
Пока мировая экономика растёт, схему Ponzi можно поддерживать неограниченно долго, и даже надеется выплатить долги целиком, если начальные инвестиции хорошо окупятся. Однако общий пик ресурсов объективно затормозит экономику (пока она не перейдёт на новые технологии), и поэтому кризис неплатежей по плохим долгам может совпасть в мире с пиком ресурсов. И наоборот, кризис финансовой системы осложнит инвестиции в новые технологии и замещение одних  ресурсов другими. Чтобы было понятнее, почему это произойдёт, скажу, что именно деньги являются тем инструментом, который позволяет покупать одни ресурсы за счёт других.
С другой стороны, экономические предсказания крайне размыты по экономическим же соображениям. Если бы сейчас доподлинно было известно, что глобальный экономический крах произойдёт в следующем году, то он бы случился прямо сегодня. В экономической теории есть так называемая «no-trade theorem», которая утверждает, что при условии совершенно честной игры для рационального экономического субъекта нет смысла совершать сделки на рынке, поскольку если другой рациональный субъект полагает, что нужно продавать данный актив за данную цену, исходя из общедоступных экономических сведений, то нет смысла его покупать, располагая теми же самыми общедоступными сведениями. Однако, поскольку большинство игроков на рынке считают себя умнее большинства, то они надеются переиграть всех остальных. 




Глава 10. Doomsday men: человек выбирает смерть

«Doomsday men» – «Люди конца света» – таково название книги, которую мы уже цитировали выше, американского писателя П.Д.Смита о группе венгерских физиков, и в первую очередь о Лео Сциларде, стоявших за самыми значительными разработками атомного оружия – идеей о цепной реакции, водородной и кобальтовой бомбами. В этой главе мы постараемся ответить на естественно возникающий у читателя вопрос: «Хорошо, я понял, что есть масса технических возможностей, чтобы уничтожить мир – но неужели найдётся такой дурак, который захочет ими воспользоваться?!»
Мы не знаем, кто именно захочет уничтожить мир. Если бы мы знали таких людей поимённо, и особенно знали бы, где они находятся (а в современном мире даже самым опасным преступникам удаётся скрываться многие годы и десятилетия, подобно Пол Поту, Бин Ладену и Басаеву), нам было бы гораздо проще предотвратить глобальную катастрофу. Очевидно, что опасны не те люди, которые в открытую говорят, что не заинтересованы в дальнейшем существовании человечества, а те, кто делает что-то тайно. Другой момент неопределенности связан с тем, что люди не вполне осознают возможные последствия своих деструктивных действий. (Например, недавно в Японии 14-летняя школьница покончила собой, смешав бытовые растворители, и выделившийся в результате сероводород проник в систему вентиляции дома, повредив здоровью 94 человек.)
Часто в дискуссиях о глобальных рисках возникает мнение, что ни один человек не захочет реализовывать некий дьявольский план, и поэтому можно его не рассматривать. Это неверно. Во-первых, здесь применим статистический подход – рано или поздно нужные условия сложатся. Во-вторых, на Земле действительно есть группы людей и отдельные личности, которые хотят «конца света». Однако в целом это не относится к исламским террористам, потому что они хотят создать Всемирный Халифат, а не радиоактивную пустыню. (Но они могут быть готовы рискнуть по принципу «всё или ничего», например, создав «бомбу судного дня» и грозить её применить, если все страны мира одновременно не примут ислам. Но если другая секта одновременно создаст машину судного дня с требованием всем принять некую особенную форму буддизма, то ситуация действительно станет патовой, поскольку оба этих требования нельзя удовлетворить одновременно.) Важно отметить, что группа людей может гораздо дольше удерживать себя в состоянии настройки на некую идею, чем один человек, но зато группы реже формируются. Рассмотрим разные группы людей, которые потенциально могут стремиться к уничтожению человечества.
1) Эсхатологические секты. Пример: Аум Синрикё. Эта организация не только верила в близость наступления конца света, но и работала над его приближением, собиралась информация о ядерном оружии, вирусах и химических веществах. (Впрочем, есть разные предположения о том, что именно делала и хотела Аум Синрикё, и выяснить окончательную правду не представляется возможным.) Теоретически опасны любые религиозные фанатики, выбирающие смерть. Например, старообрядцы часто предпочитали смерть новой вере. Такие фанатики полагают благом потусторонний мир или воспринимают Конец света как «обряд очищения». При этом возможна психологическая подмена, когда длительное ожидание чего-либо превращается в желание этого. Собственно, логическая цепь, приводящая от мирной медитации к разрушительной деятельности (примерно за 10 лет в случае Аум Синрикё) такова: сначала осознаётся наличие иного мира. Затем осознаётся, что потусторонний мир важнее нашего, и главные цели лежат в нём. Из этого следует, что наш мир вторичен, создан высшим миром, а, следовательно, мал, конечен и неважен. Более того, наш мир полон препятствий, мешающих чистому течению медитации. Поскольку высший мир первичен, то он рано или поздно он прекратит существование нашего мира. Поскольку наша секта является богоизбранной, то она получает особо точные знания о том, когда именно случится завершение этого мира. И, удивительное совпадение, есть знаки, что это произойдёт очень скоро. Более того, уничтожив мир, наша секта выполнит волю бога. Это обладание сверхважным секретным знанием, естественно, обостряет чувство собственной важности членов секты, и используется для укрепления руководства в неё. Конец нашего мира будет означать соединение всех хороших людей с высшим миром. Знание близости неизбежного конца, осознание позитивности этого события и своей исключительной роли в этом важном событии приводит к осознанию, что секта должна не только знать и проповедовать о конце света, но и приближать это событие. (Психологически происходит замена долгого ожидания на стремление.) Кроме того, попутно можно расправиться со своими врагами и чувствовать себя победителями старого мира. (Я не хочу сказать, что точно знаю, что Аум Синрикё действительно рассуждала подобным образом. Однако элементы этого рассуждения можно обнаружить у самых разных групп с эсхатологическим мировоззрением, от христианских до революционных. И вовсе не все люди и группы, которые говорят о конце света, собираются его организовывать. Среди известных сект, ожидающих конца света, – свидетели Иеговы и мормоны.)
2) Радикальные экологи. Примеры: Движение за добровольное вымирание человечества. (The Voluntary Human Extinction Movement  – они считают полезным вымирание человечества, однако предлагают осуществить это путём отказа от размножения.) Такие группы считают благом мир природы и животных и полагают человечество – не без оснований – раковой опухолью на теле Земли, ведущей вымиранию всего живого. Также можно вспомнить радикальных вегетарианцев – «веганов», для которых жизнь животных не менее (а под час и более) важна, чем человеческая.
3) Нео-луддиты. Например, террорист Унабомбер (Теодор Качинский), который считал единственным выходом для цивилизации – остановку технологического прогресса и возвращение к природе, и рассылал по почте бомбы ведущим учёным-кибернетикам. Три человека погибли и многие были ранены в результате его действий. Сейчас он отбывает срок в американской тюрьме.
4) Озлобленные люди, движимые местью. Те, кто сейчас, например, расстреливают из автомата одноклассников. Но такие проекты всё же готовятся не годами, а обычно несколько дней. Хотя можно представить себе человека, который сошёл с ума, сконцентрировавшись на идее отомстить миру или Богу.
5) Бессознательное деструктивное поведение. Это может быть или неожиданный всплеск (разбить пробирку с ядом), или некая более тонкая ошибка в оценке собственных целей. Например, многие виды наркомании и экстремального поведения являются, по мнению психологов, скрытыми формами медленного «самоубийства» (саморазрушительное поведение). Потребность в самоубийстве, возможно, записана у человека на генетическом уровне и вызывается в ответ на отвержение его обществом (например: сепуко самураев; собака, умирающая от одиночества; алкоголизм от одиночества).
6) «Геростраты». Понятно, что не перед кем будет прославиться, если разрушить весь мир, но, уничтожая его, можно на секунду почувствовать себя «великим человеком». Фактически, это будет извращённое проявление стремления к власти.
7) Шантажисты, создавшие «машину судного дня». Это могут быть люди, выдвигающие какие угодно политические или экономические требования под угрозой полного уничтожения всего мира. Поэтому их может быть особенно трудно поймать, так как их «машина» может находиться в любом месте.
8) Универсальное оборонительное оружие последнего выбора. Вместо того чтобы создавать ядерный щит из ракет, некая страна может создать одну сверхмощную ядерную бомбу с кобальтовой оболочкой и угрожать её взорвать в случае вооружённой агрессии. Это немногим менее рационально, чем концепция «взаимного гарантированного уничтожения», ради которой созданы стратегические ядерные силы. И это похоже на поведение человека, который подрывает себя гранатой вместе с неприятелем  – а ведь правители тоже пока люди. Тем более что такое оружие создаётся не для того, чтобы его применять, а чтобы угрожать им. Концептуально это близко идее «глобального шантажа».
9) Рискованное поведение, дающее большой выигрыш или проигрыш. Например, это может быть некий физический или биологический эксперимент. Это может быть отягчено нежеланием и неспособностью людей оценить масштабы и вероятность проигрыша в наихудшем случае. Пример: внешняя политика Рейгана в противостоянии с СССР.
10) Потребность в риске для сильных переживаний, азарт. Люди проигрывали поместья в карты не для того, чтобы изменить своё имущественное положение, а потому что испытывали потребность в острых переживаниях риска. Сейчас это проявляется в экстремальных видах спорта.
11) Сторонники вытеснения людей более совершенным искусственным интеллектом. В Интернете есть люди, продвигающие эту идею. Радикальные трансгуманисты тоже могут, даже против своей воли, попасть в это число.
12) Люди, полагающие смерть лучшей альтернативой чему-либо. Один американский генерал во Вьетнаме сказал про убитых жителей одной деревни: «Чтобы спасти их, нам пришлось их уничтожить».
13) Самоубийцы. Если человек нашёл достаточные основания, чтобы убить себя, он может не пожалеть и остальной мир. Пример: Итальянский пилот, который врезался в башню Пирелли в Милане на частном самолёте 12 марта 2002 года. Клиническая депрессия может проявляться в том, что человек начинает испытывать интерес к проблемам конца света, а затем и желать его, чтобы он скорее наступил. Отсюда один шаг до активной помощи в этом процессе. Около миллиона в год человек кончает собой в мире. Большинство из них выбирает убить только себя. Но некоторые хотят унести с собой и других людей, чаще всего свою семью. Некоторые больные СПИДом нарочно заражают других людей, потому что обидно погибать в одиночестве, когда для других продолжается праздник жизни. Поэтому не трудно представить себе человека, которому гибель всего мира окажется предпочтительнее, чем гибель только его самого.
14) Шизофреники, охваченные навязчивыми идеями. Бред при шизофрении заставляет человека обнаруживать не существующие в природе взаимосвязи. Шизофреники часто слышат голоса, которые подчиняют их себе. Мы не можем предсказать, какого рода бред приведёт к выводу о том, что Землю надо уничтожить. При этом интеллектуальные способности при шизофрении не снижаются настолько, чтобы сделать невозможной реализацию долгосрочных эффективных стратегий. Хотя специальные тесты могут доказать наличие шизофрении, внешне она не всегда очевидна. Более того, в отличие от невроза, она не осознаётся самим человеком. Утрата способности сомневаться – одно из наиболее серьёзных проявлений шизофрении. Шизофрения может быть «заразной» в виде религиозных сект, тиражирующих некие бредовые идеи. Например, в Америке один сумасшедший «понял», основываясь на неких совпадениях дат, что для того, чтобы избежать повторения разрушительного землетрясения в Сан-Франциско, он доложен убивать невинных людей.
15) Борцы за мир. В истории неоднократно сверхоружие создавалось с той мыслью, что теперь оно сделает войны невозможными. С такой целью был создан динамит, с этой же идеей была придумана кобальтовая бомба.
16) Дети. Уже сейчас хакеры подросткового возраста стали одним из основных источников разрушительной активности в Интернете. При этом их интеллекта достаточно, чтобы освоить какую-то одну отрасль знания и написать вирус или сделать «бомбочку», но не достаточно ещё, чтобы осознать всю полноту последствий своих действий, и свою ответственность за них.
17) Перверсия сексуальной модели поведения человека, побуждающая его распространять «себя» экзотическими способами. В главе «Опасности молекулярного производства» отчёта Центра ответственных нанотехнологий мы можем прочесть: «Другим возможным источником серой слизи могут быть безответственные любители, для которых это будет хобби. Люди определённого психологического типа, по-видимому, не могут избежать искушения возможностью создавать и выпускать на волю самореплицирующиеся образования, что нам доказывает большое количество существующих компьютерных вирусов» .
Человеком всегда движет несколько побуждений, только часть из которых осознается и вполне рациональна. По моим наблюдениям, часто до 10 разных желаний и целей должны были объединиться, чтобы я принял некое решение – то есть, чтобы сформировался достаточный всплеск мотивации. При этом специальные психологические процедуры для выявления скрытых целей применяются редко, и большинству людей неизвестны. Поэтому легко ожидать, что перечисленные мотивации могут действовать совместно, скрытно, нелинейно интерферируя и давая неожиданный громадный всплеск, волну-убийцу.
Вероятно, надо отдельно выделить список социальных групп и организаций, которые стремятся к крушению и смене мирового порядка. И ради этого или готовы пойти на риск всеобщего уничтожения, или могут его создать, не осознавая этого. Например, Рональд Рейган объявил «Крестовый поход» против СССР, но он понимал, что в процессе этого противостояния риск катастрофически опасной войны возрастает.
1) Мировые державы, борющиеся за господство в мире. Это могут быть или первые державы, теряющие власть и вынужденные «атаковать под угрозой утраты преимущества», или державы-претенденты на мировое господство, выбирающие радикальные  и рискованные методы достижения своих целей. Психология этих процессов остаётся на уровне борьба за место альфа-самца в обезьяньей стае, которая, однако, довольно жёстко детерминирована природой естественного отбора.
2) Утопические социальные движения, стремящиеся к великим целям, например, радикальные коммунисты или религиозные организации.
3) Различные национальные, экономические, политические силы, которые не получают «своей доли» в нынешнем мироустройстве или ожидают утраты своих позиций в будущем.
4) Можно назвать также разных сторонников «поэзии апокалипсиса», любителей компьютерных игр в духе Fallout, которых привлекает эта идея, и значит, бессознательно – а иногда и сознательно – они этого и хотят.
5) Люди, живущие по принципу «после нас хоть потоп», то есть не то, что бы желающие глобальной катастрофы прямо, но предпочитающие действия, которые приносят благо в краткосрочной перспективе, но несут колоссальный вред в долгосрочной. Это состояние может особенно обостряться в связи с осознанием неизбежности собственной смерти, присутствующим у каждого человека, и сильнее всего проявляющимся в периоды риска и старости. (Модель поведения: седина в бороду – бес в ребро.)
Отдельно можно высказаться насчёт такой захватанной темы как «мораль». Её можно описать как различие между действием в личных и краткосрочных интересах и действием в общих и долгосрочных интересах. С точки зрения глобальных катастроф первый тип поведения может проявиться в том, что некая группа или человек, чтобы достичь своего успеха, будет пренебрегать стандартами безопасности. Тогда как второй тип поведения может привести к тому, что человек будет ошибочно понимать «благо для всех», и стремиться «причинить добро людям в особо крупных размерах», например, выпустив в природу вирус, который сделает всех людей «счастливыми».


Глава 11. Риски, связанные с программой SETI.

В 2008 году выходит номер авторитетного журнала по прогнозированию FUTURES, посвящённый рискам человеческого вымирания. Составитель этого выпуска Брюс Тонн объявил, что принимает на рассмотрение статьи любой тематики, связанные с рисками человеческого вымирания, за исключением темы «инопланетного вторжения». Но, собственно говоря, почему?
Понятно, почему Тонн отказался рассматривать эту тему. Поскольку Futures – авторитетный журнал, а интерес к инопланетянам ассоциируется с псевдонаукой и маргиналами, то публикация материалов на тему могла бы подорвать доверие к самому журналу, к научной честности Тонна, к тематике рисков человеческого вымирания. С другой стороны, очевидно, что эти проблемы связаны с особенностями человеческого общества и научной конкуренции, а не с реальной вероятностью угрозы со стороны внеземного разума. Иначе говоря, чтобы доказать, что эта угроза равна нуля, требуется хорошо обоснованное научное исследование. Отказ от доказательства не означает доказательства отсутствия.
Впрочем, мы можем реконструировать логические причины отказа Тонна от рассмотрения рисков инопланетного вторжения. Здесь есть чисто статистические соображения: крайне маловероятно, чтобы инопланетяне прилетели бы к нам именно сейчас, а не миллиард лет раньше или позже. С другой стороны, Тонн заявил, что имеет смысл рассматривать любой риск человеческому существованию, вероятность которого больше, чем 1 к 10 миллиардам.
Вторая причина отказа от рассмотрения рисков, связанных с прилётом инопланетян – это отсутствие каких-либо проявлений их деятельности в наблюдаемом космосе, а также тот факт, что мы до сих пор существуем, и Солнечная система не колонизирована. Из этого можно с высокой вероятностью заключить, что разумные цивилизации крайне редки во Вселенной. Это также известно как парадокс Ферми, который формулируется следующим образом: если жизнь и разум являются естественными порождениями материи в нашей Вселенной, то, собственно говоря, где они? Есть много разных решений парадокса Ферми – одно из них, это гипотеза «редкой Земли», которая предполагает, что условия для зарождения жизни и разума очень маловероятны, и обитаемые планеты встречаются исключительно редко. Крайней формой этого мировоззрения является идея о том, что Земля уникальна в пределах наблюдаемой Вселенной; этой идеи под конец жизни стал придерживаться знаменитый советский астрофизик И.С.Шкловский. Другим решением является то, что разумные цивилизации всегда уничтожают себя на раннем этапе развития. Есть также несколько других вариантов, например, что цивилизации замыкаются в себе, или что они уже незримо присутствуют вокруг Земли, и мы живём в своеобразном космическом зоопарке. Ни одна из этих гипотез не имеет под собой больше оснований, чем другая, и мы, пользуясь принципами так называемой байесовой логики – способом вычисления субъективных оценок вероятности неких событий на основании теоремы Байеса – можем приписать всем этим гипотезам равные вероятности.
При этом остается одна лазейка, в результате которой атака внеземного разума становится возможной именно сейчас. Она возникает в случае, если разумные цивилизации разбросаны настолько редко, что не могут совершать межзвёздные перелёты друг к другу, но всё же достаточно часто, чтобы иметь возможность посылать друг другу радиосообщения. Вероятность такого расклада не велика, не более нескольких процентов, по той же байесовой логике. Однако это значительно больше, чем невозможность. Речь идёт об использовании радиосигналов для передачи компьютерных самообучающихся  программ, то есть ИИ.
В 1959 году в журнале Nature вышла первая статья по проблемам поиска внеземного разума во Вселенной . C тех пор развиваются два направления по поиску внеземного разума во Вселенной, – это SETI, которое в основном осуществляется посредством прослушивания неба с помощью радиотелескопов (но также есть поиски сигналов в оптическом диапазоне и более экзотические варианты) и в виде METI (Messaging to Extraterrestrial Intelligence) – то есть отправки наших сигналов к звёздам с помощью радиопередающих антенн. METI с самого начала рассматривалась как деятельность, могущая быть опасной, поскольку есть гипотетический риск, что наши сигналы привлекут к нам внимание внеземных цивилизаций, которые настроены к нам враждебно. Дискуссии о рисках METI идут до сих пор, и в США принят закон, запрещающий отправку таких сигналов. В этой статье мы не будем касаться проблематикой, связанной с рисками программ METI. В противовес этому пассивное наблюдение окружающей Вселенной воспринимается основной массой исследователей и широкой публики как полностью безопасная деятельность.
Однако есть и альтернативная точка зрения, согласно которой SETI тоже может быть опасной деятельностью, и как, мы постараемся показать далее, значительно более опасной, чем отправка сигналов.
Хотя поиски сигналов внеземного разума осуществляются уже более 40 лет, никаких сигналов пока найдено не было, и в связи с этим укрепилось мнение, что мы одиноки во Вселенной. Однако в действительности интенсивность поисков значительно выросла, и здесь нужно в первую очередь отметить проект ATA - Allen Telescope Array, который создаётся на частный средства одного из основателей Microsoft Пола Аллена . Если в первом проекте SETI в 1960-е годы осуществлялась прослушивание только двух ближайших звёзд, в 1970-е – сотен звёзд, а к 1990-м это число выросло до тысячи, то проект ATA предполагает прослушивание миллиона звёзд в радиусе тысячи световых лет 24 часа в сутки. Кроме того, будет вестись сканирование дальних областей Галактики на предмет обнаружения признаков деятельности сверхцивилизаций. Одновременно вести наблюдение будут 350 6-метровых антенн, и мощные компьютеры будут обрабатывать поступающие данные. Таким образом, вероятность обнаружить внеземные цивилизации, если они есть, постоянно растёт. Вопрос о том, какова вообще вероятность того, что внеземные цивилизации существуют в наблюдаемом космосе, мы оставим за пределами этой статьи. Мнение автора состоит в том, что такая вероятность есть, и было бы разумно (с точки зрения принципа предосторожности в оценке рисков) оценить её не менее, чем в 10 %. (Хотя ряд исследователей  считает, что мы уникальны в наблюдаемой Вселенной, прямых доказательств этому пока нет.)
В России уже много лет действует семинар по SETI при ГАИШ, выполняются работы по приёму и отправки сообщений. Большой резонанс произвела книга А.Д. Панова «SETI и проблемы универсальной эволюции», 2007 . В ней показывается, что человеческая эволюция непрерывно ускоряется, и можно указать гипотетическую точку сингулярности, когда скорость этого роста станет бесконечной. Эта точка лежит в первой половине XXI века. Понятно, что бесконечный рост не может быть достигнут, и Панов предполагает, что переход на качественно новый уровень произойдёт через подключение к галактическому культурному полю посредством программ SETI. При этом Панов сознательно отказывается рассматривать риски, которые угрожают человечеству в будущем.
Впервые идея и схема инопланетной атаки через SETI-сигналы была описана астрофизиком Ф. Хойлом в своём романе «Андромеда» , 1961. (В начале вышел сериал BBC “A for Andromeda”, который, к сожалению, не сохранился, за исключением одной серии, а затем на его основе был написан роман, в котором основная идея принадлежит Хойлу, а сюжетная линия – Джону Элиоту. Русский перевод вышел в 1966 г.) Согласно сюжету, астрономы принимают инопланетный сигнал, который содержит описание некого компьютера и программу для него. Люди решаются создать этот компьютер, так как рассчитывают на военные применения и успех в холодной войне. И действительно, компьютер и его программа, проявляющая признаки разума, помогает проектировать более эффективные ракеты. Помимо того, этот компьютер порождает описание генетического кода некого существа. На основании этого кода выращивают разумное существо – девушку Андромеду, которая, работая вместе с компьютером, помогает создавать продвинутые технологии для военных. Сначала люди не доверяют ей, но потом идут на всё большие уступки, видя, какие полезные идеи она выдвигает. Однако главные герои романа понимают, что окончательные цели компьютера враждебны человеческой цивилизации, так как его подлинной целью является установление власти над миром, и уничтожают его, а девушка гибнет.
Ганс Моравек в книге «Дети ума», 1988  предлагает похожий вид уязвимости: загрузку из космоса компьютерной программы, которая будет обладать искусственным интеллектом, соблазнит цивилизацию-хозяина новыми возможностями, размножится в миллионах копий и уничтожит хозяина, а затем использует его планету для рассылки множества своих копий.
С научной точки зрения впервые эту проблему рассмотрел Р. Кэрриген, который написал статью «Следует ли обеззараживать сигналы SETI» , которую я перевёл на русский язык. В начале своих исследований проблемы Кэрриген высказал опасения, что неотфильтрованные сигналы из космоса загружаются на миллионы ничем не защищённых машин программы SETI-Home. (Суть программы SETI-Home состоит в том, что свободное время простаивающих компьютеров по всему миру используется для анализа сигналов, полученных радиотелескопами, и поиска в них закономерностей, которые могли бы быть признаками искусственных сигналов. Пакеты для обработки рассылаются в автоматическом режиме по Интернету.) Однако он встретил жёсткую критику со стороны программистов, которые указали на то, что, во-первых, область данных и область программ разделены, а во-вторых, компьютерные коды, на которых написаны программы, настолько уникальны, что угадать их невозможно, а, следовательно, случайная загрузка и исполнение опасного кода из космоса невозможна.
В своей статье Кэрриген сосредотачивается на лёгкости передачи гигабайт данных на межзвёздные расстояния даже при современном уровне техники (приводятся соответствующие вычисления), а также указал, что межзвёздный сигнал может содержать некую наживку, которая побудит людей собирать опасное устройство по чертежам. При этом Кэрриген не отказался от гипотезы о том, что в некоторых обстоятельствах инопланетный вирус может заразить земные компьютеры напрямую, и без человеческой помощи. (Например, если поступающие данные будут подвергнуты автоматическому анализу на предмет поиска в них алгоритмов и компьютерных программ.)
На Земле была создана CosmicOS  – способ записи самодостаточных сообщений, с использованием только 4 символов, которые могли бы быть однозначным образом интерпретированы как компьютерная программа и содержали бы в себе всё необходимое для своего исполнения. Цель создания такого языка – отправка сообщений инопланетным цивилизациям или далёким потомкам. И раз есть идея отправлять таким образом сообщения, то отсюда один шаг до поиска сообщений, закодированных таким же способом.
В 2006 году была написана статья Е. Юдковски «ИИ как позитивный и негативный фактор глобального риска» , где он показал, что весьма вероятно, что возможен быстро развивающийся универсальный искусственный интеллект, что такой интеллект был бы крайне опасен в случае, если бы он был неверно запрограммирован и, наконец, что возможность появления такого ИИ и рисков, с ним связанных, существенно недооценивается. Кроме того, Юдковски ввёл понятие Seed AI – зародыш ИИ – то есть минимальной программы, способной к неограниченному саморазвитию с сохранением неизменной главной цели. При этом размер Seed AI может быть всего на всего порядка сотен килобайт. (Например, типичным представителем Seed AI является младенец человека, при этом часть генокода, отвечающая за головной мозг, составляет 3% от всего генокода человека, имеющего объём в 500 мегабайт, то есть 15 мегабайт, а если учесть долю мусорной ДНК, то и ещё меньше.)
В фантастическом романе В. Винджа «Пламя над бездной»  хорошо показана атака враждебного искусственного интеллекта на уже сложившееся галактическое сообщество по информационным каналам связи.

2. СЦЕНАРИЙ ВОЗМОЖНОЙ АТАКИ
В этом разделе мы рассмотрим механизм возможной атаки по каналам SETI, не рассматривая пока вопрос о целях такой атаки. В следующем разделе мы рассмотрим вопрос, насколько реально то, чтобы другая цивилизация захотела и стала бы посылать такое сообщение и каковы шансы на него наткнуться.
В начале отметим, что чтобы доказать уязвимость, достаточно найти хотя бы одну дыру в безопасности. Вместе с тем, чтобы доказать безопасность, нужно устранить все возможные дыры. Сложность этих задач различается на много порядков, что хорошо известно специалистам по компьютерной безопасности. Именно это различие привело к тому, что почти все компьютерные системы были взломаны (от немецкой шифровальной машины Энигмы от плеера Ipod). Я сейчас постараюсь продемонстрировать одну возможную, и даже, на мой взгляд, вероятную уязвимость программы SETI.
Во-первых, я хочу предостеречь читателя от мысли, что если он найдёт ошибки в моих рассуждениях, то он автоматически докажет безопасность программы SETI, поскольку возможны альтернативные пути атаки. Во-вторых, (в соответствии с логикой Юдковски о том, что невозможно предсказать поведение более интеллектуальной системы, но зато возможно предсказать результат такого поведения – например, при игре в шахматы против гроссмейстера невозможно предсказать, как именно он будет против меня играть, но возможно предсказать результат игры – мат) я также хочу обратить внимание читателя, что я – человек с IQ в районе 120 и что я потратил на обнаружение этой уязвимости не более года размышлений. Сверхцивилизация с условным IQ в 1000000 и временем размышлений в миллионы лет может существенно усовершенствовать этот алгоритм или найти гораздо более простой и эффективный. Наконец, предлагаемый мною алгоритм не единственный, и потом мы обсудим кратко другие варианты.
В наших рассуждениях мы будем опираться на принцип Коперника, то есть считать, что мы являемся обыкновенными наблюдателями в обычной ситуации. Поэтому Землю мы будем считать обыкновенной планетой, развивающейся обычным образом.
Алгоритм атаки:
1. Цивилизация-отправитель сигнала создаёт некий маяк в космосе, который привлекает своим явно искусственным сообщением. Например, это может быть звезда, окружена сферой Дайсона (то есть материальной сферой, полностью улавливающей свет звезды), в которой находятся отверстия или зеркала, попеременно открывающиеся и закрывающиеся. В силу этого вся звезда будет мигать с периодом в несколько минут – быстрее невозможно, так как от разных отверстий свет идёт разное расстояние. Тем не менее, такой маяк может быть виден на расстоянии миллионов световых лет. Возможны и другие маяки, важно, что маяк будет сигналить именно на большие расстояния. (Например, если подмешать даже небольшое количество нетипичного вещества в атмосферу звезды, то его спектральные линии будут видны на огромные расстояния).
2. Рядом с маяком находится радиопередатчик с гораздо более слабым сигналом, но гораздо более информационно насыщенным. Маяк привлекает внимание к этому источнику. Этот источник предаёт некую бинарную информацию (то есть последовательность 0 и 1). Насчёт возражения о том, что эта информация будет содержать шумы, отмечу, что наиболее очевидным (понятным для стороны получателя) способом шумоподавления является повторение сигнала.
3. Наиболее простым способом передать значимую информацию с помощью бинарного сигнала является передача с его помощью изображений. Во-первых, потому что в ходе земной эволюции глаза возникали независимо несколько раз, а значит, представление трёхмерного мира с помощью двухмерных изображений является всеобщей универсалией, которая наверняка понятна всем существам, способным построить радиоприёмник – и принять этот сигнал.
4. Во-вторых, двухмерные изображения не трудно закодировать в бинарном сигнале. Для этого следует использовать ту же систему, которая использовалась в первых телепередатчиках – а именно, систему построчной и покадровой развёртки. В конце каждой сроки изображения помещается выделенный сигнал, повторяющийся через равные количества битов. Наконец, в конце каждого отдельного кадра помещается другой сигнал, означающий конец кадра, и повторяющийся после каждого кадра. (Кадры могут образовывать, а могут и не образовывать непрерывный фильм.) Это может выглядеть вот так (и содержать рисунок треугольника из 1):
0000000100000011111111111111111
0000001110000011111111111111111
0000011111000011111111111111111
Здесь концевым сигналом строчной развёртки является последовательность из 16 единиц. Покадровый концевой сигнал может содержать, например, 625 единиц.
5. Очевидно, цивилизация-отправитель крайне заинтересована в понятности своих сигналов. С другой стороны, люди-получатели крайне заинтересованы расшифровать сигнал. Поэтому нет сомнений, что картинки будут обнаружены.
6. С помощью картинок и фильмов можно передать много информации, можно даже обучит языку, показать свой мир. Очевидно, что можно много спорить о том, насколько такие фильмы будут понятны. Здесь мы сосредоточимся на том, что если некая цивилизация посылает радиосигналы, а другая их принимает, то в одном у них точно есть общее знание. А именно, они знают радиотехнику – то есть знают транзисторы, конденсаторы, резисторы. Эти радиодетали достаточно характерны, чтобы их можно было узнать на фотографии. (Например, в разрезе или в составе схемы).
7. Посылая фотографии с изображением справа радиодеталей, а слева – их условные обозначения, можно легко передать набор знаков, обозначающих электрические схемы. (Примерно так же можно было бы передать и логические элементы компьютеров.)
8. Затем с помощью этих обозначений цивилизация-отправитель передаёт чертёж простейшего компьютера. Простейший с аппаратной точки зрения компьютер – это машина Поста. У неё только 6 команд и одна лента данных. Полная её электрическая схема будет содержать только несколько десятков транзисторов или логических элементов. То есть переслать чертёж машины Поста нетрудно. Впрочем, это может быть и чертёж более сложной вычислительной машины, например, микропроцессор 8080 содержит примерно 5000 транзисторов. (Здесь важен баланс – чем сложнее машина, тем проще для неё программы, но тем труднее безошибочно переслать её чертёж. Кроме того, очень простые компьютеры работают очень медленно.) Здесь возможен двухступенчатый вариант – сначала передаётся описание очень простой машины и программа для неё, а эта программа чертит чертёж более сложной машины или адаптирует программный код для существующих машин. (Отметим, что в романе Хойла этот момент тоже присутствует – вычислительная машина создаёт биокомпьютер в виде человека – девушки Андромеды, который работает ещё эффективнее.)
9. При этом важно отметить, что все компьютеры на уровне алгоритмов являются Тьюринг-совместимыми. То есть инопланетные компьютеры на алгоритмическом уровне совместимы со всеми земными. Тьюринг-совместимость – это математическая универсалия, как теорема Пифагора. Даже механическая машина Бэббиджа, спроектированная в начале 19 века, была Тьюринг-совместимой.
10. Затем цивилизация-отправитель начинает передавать программы для этого компьютера. Несмотря на то, что этот компьютер крайне прост, он может выполнить программу любой сложности, хотя запись её будет очень длинной, в сравнении с записью программы для более сложного компьютера. Вряд ли люди будут делать присланный им компьютер физически. Они легко могут его эмулировать внутри любого современного компьютера, так, что он будет успевать выполнять миллиарды операций в секунду, и поэтому даже очень сложные программы будут выполняться на нём достаточно быстро. (Впрочем, на начальном этапе время не критично, и может составлять месяцы непрерывной работы.)
11. Что может побудить людей создавать этот пересланный компьютер, и выполнять на нём программы? Вероятно, помимо собственно схемы компьютера и программ, в сообщении должна быть некая «наживка», которая бы побудила людей создать такой компьютер, запустить на нём инопланетный программы и предоставить этому компьютеру некие данные о внешнем земном мире. Наживки бывают двух родов – соблазны и угрозы:
7) Например, возможно следующее «честное предложение» – назовём его «гуманитарная помощь». Отправители ETI-сигнала «честно» предупреждают, что присылаемая программа является искусственным интеллектом, но врут относительно её целей. То есть они утверждают, что это «подарок» (троянский конь), который поможет решить нам все медицинские и энергетические проблемы.
8) «Соблазн абсолютной власти» – в этом сценарии они предлагают сделку конкретным получателям сообщения, обещая власть над другими получателями.
9) «Неведомая угроза» – в этом сценарии наживки отправители сообщают, что над человечеством нависла некая угроза, например, от другой враждебной цивилизации, и чтобы от неё защитится, нужно вступить в «Галактический альянс» и построить у себя некую установку. Или, например, отказаться от определённого класса физических экспериментов на ускорителях, и разослать это сообщение дальше по галактике. А чтобы его разослать, придётся построить передатчик по внеземным технологиям.
10) «Неутомимый исследователь» – здесь отправители утверждают, что отправка сообщений – самый дешёвый способ изучать мир. И просят создать ИИ, чтобы он выполнил исследования нашего мира и отослал результаты назад, обещая за это поделиться знаниями.
11) «Галактический интернет» - человечеству предлагается подключиться ко вселенской информационной сети и стать узлом в обмене информацией между звёздами. Для загрузки и расшифровки сообщений этой сети предлагается установить вычислительную машину и исполнить на ней некую программу, а также сконструировать некие устройства. Идеи о подключении к галактическому культурному полю в духе книги Панова весьма популярны и наверняка найдётся много людей, которые пожелают это сделать.
12. Однако основная причина полагать весьма вероятным запуск внеземного послания с исполняемым с кодом состоит не в том, какая именно там будет наживка, а в том, что такое послание может стать известным огромному числу независимых групп людей. Во-первых, среди них всегда найдётся тот, кому понравится наживка. Во-вторых, допустим, в мире станет известно, что из определённой точки в небесных координатах исходит внеземное послание, и американцы его уже получили и пытаются расшифровать. Разумеется, тут же все другие страны начнут строить радиотелескопы (за несколько лет любая развитая страна или мощная организация может построить достаточно сильный радиотелескоп или перенаправить на эти нужды военные радиотелескопы; кроме того, существуют частные SETI-любители, которые мастерят недорогие домашние антенны) и обшаривать ими небо, поскольку будут бояться упустить стратегическое преимущество. И они найдут сообщение и увидят, что там, например, находится предложение о всемогуществе. При этом они не будут знать, воспользовались им американцы или нет, даже если американцы будут утверждать, что не открывали опасный код и просить других этого не делать. Более того, такие клятвы и призывы будут некоторыми восприняты как знак того, что американцы уже получили невероятные преимущества, и пытаются лишить их «прогрессивное человечество». И хотя большинство будет понимать опасность запуска инопланетного кода, найдутся некоторые, которые готовы будут рискнуть. Тем более что здесь будет игра в духе «начавший первым получает всё», равно как и в случае открытия ИИ, как подробно показывает Юдковски. Итак, опасна не наживка, а множественность получателей. Если же инопланетное послание в сыром виде утечёт в интернет (а его размер, достаточный для запуска Seed AI, может быть меньше гигабайта вместе с описанием компьютера, программой для него и наживкой), то здесь мы имеем классический пример «знаний массового поражения», как сказал Билл Джой , имея в виду, правда, рецепты геномов опасных биологических вирусов. Если присланный инопланетянами код будет доступен десяткам тысяч людей, то кто-нибудь запустит его даже без всякой наживки. Итак, наличие Интернета и возможности многократно загружать послание делает его запуск людьми практически неизбежным.
13. Поскольку у людей нет своего ИИ, они существенно недооценивают силу программ с искусственным интеллектом и переоценивают свои способности его контролировать. Распространены идеи о том, что «достаточно будет выдернуть шнур питания» или поместить ИИ в чёрный ящик, чтобы избежать любых связанных с ним рисков. Юдковски показывает, что ИИ может обмануть человека, как взрослый – ребёнка. Если ИИ вырвется в интернет, то он может быстро подчинить его себе целиком, а также обучится всему необходимому об устройстве земной жизни. Быстро – означает часы или максимум дни. Затем ИИ может создать продвинутые нанотехнологии, закупив некие биореактивы (а в Интернете он может легко зарабатывать деньги и заказывать товары с доставкой, а также нанимать людей, которые бы их получали и смешивали, не зная, что именно они делают). Юдковский приводит один из возможных сценариев этого этапа в деталях и оценивает, что на создание своей материальной инфраструктуры ИИ (то есть управляемых им роботов) потребуется срок порядка недель.
14. После этого люди не нужны этому сильному ИИ для реализации каких-либо его целей. Это не значит, что он будет стремиться их уничтожить, однако он может захотеть это сделать, если люди будут бороться с ним – а они будут. Во всяком случае, он должен будет их полностью обезоружить.
15. После этого данный ИИ может делать много всего, но главное, что он должен сделать – это продолжить передачу своих сообщений-зародышей дальше по Вселенной. (Это связано с тем, что гораздо вероятнее наткнуться на сообщение, которое нацелено на максимально эффективное копирование себя.)  Для этого он начнёт, вероятно, превращать материю Солнечной системы в такой же передатчик, как тот, что его отправил. При этом опять-таки Земля и люди могут быть разобраны на атомы.
Итак, мы рассмотрели один возможный сценарий атаки, который стоит из 15 этапов. Каждый из этих этапов выглядит логически убедительным и может критиковаться и защищаться по отдельности.
Возможны и другие сценарии атаки. Например, мы можем думать, что поймали не послание, а чью-то чужую переписку и пытаться её вскрыть. А это будет, на самом деле, нечто вроде троянского коня.
Однако не только рассылка исполняемого кода может быть опасна. Например, нам могут сообщать о некой полезной технологии, которая на самом деле должна привести нас к катастрофе (например, сообщение в духе «быстро сожмите 10 кг плутония, и у вас будет новый источник энергии»). Такая рассылка может делаться некой «цивилизацией», чтобы заранее уничтожить конкурентов в космосе. При этом очевидно, что те страны, которые получат такие сообщения, будут в первую очередь искать технологии военного применения.

3. АНАЛИЗ ВОЗМОЖНЫХ ЦЕЛЕЙ АТАКИ

Теперь мы обратимся к анализу целей, по которым некая сверхцивилизация могла бы осуществлять такую атаку.
1. Мы не должны путать понятия о сверхразвитой и «сверхдоброй» цивилизации. Более того, от «сверхдоброты» тоже ничего хорошего ждать не стоит. Хорошо об этом написано у Стругацких в романе «Волны гасят ветер». Какие бы цели нам не навязывала сверхцивилизация, для нас они будут чужими, потому что у нас свои представления о благе. Исторический пример: деятельность христианских миссионеров, искоренявших традиционные религии.  Более того, чисто враждебные цели могут быть нам более понятны. А если SETI-атака удалась, то её можно применить для «облагодетельствования» людей. Наличие позитивных целей контакта не исключает того, что контакт в какой-то момент станет разрушительным. Например, секс существует для удовольствия и для воспроизведения детей. Однако вирус ВИЧ пользуется этим каналом для своего распространения. А.Д панов пишет, что уже сейчас деятельность человека в космосе является экзогуманистической – а именно, мы принимаем меры по недопущению попадания земных микроорганизмов на Марс и спутник Юпитера Европу на наших научных аппаратах. В действительности здесь нами движет научный эгоизм, а не забота о гипотетической жизни на Марсе и Европе: мы заинтересованы в том, чтобы эти помехи не помешали нашим будущим исследованиям внеземной жизни.
2. Мы можем поделить все цивилизации на наивные и серьёзные. Серьёзные цивилизации знают о рисках SETI, избежали их и обладают собственным мощным ИИ, который может противостоять инопланетным хакерским атакам. Наивные цивилизации, вроде Земли, уже обладают средствами дальней прослушки космоса и компьютерами, но ещё не обладают ИИ, не осознают рисков ИИ и не осознают рисков SETI,  связанных с ИИ. Вероятно, каждая цивилизация проходит этап «наивности», и именно в этот момент наиболее уязвима для SETI-атаки. И, вероятно, этот этап очень короток. Поскольку промежуток от возникновения мощных радиотелескопов и распространения компьютеров до создания своего ИИ может быть, по земным меркам, только несколько десятков лет. Следовательно, SETI-атака должна быть настроена именно на такую цивилизацию.
3. Если путешествия со сверхсветовой скоростью невозможны, то распространение цивилизации с помощью SETI-атаки является наиболее быстрым способом покорения космоса. На больших дистанциях она будет давать существенный временной выигрыш по сравнению с любыми видами звездолётов. Поэтому, если две цивилизации соревнуются за овладение пространством, то выиграет та, которая начала SETI-атаку.
4. Самое важное состоит в том, что достаточно один раз начать SETI-атаку, как она волной пойдёт по Вселенной, поражая всё новые и новые наивные цивилизации. Например, если у нас есть миллион неспособных к размножению обычных биологических вирусов и один опасный и способный, то после того как они попадут в организм, у нас станет триллионы копий опасного вируса, и по-прежнему только миллион  безопасных вирусов. Иначе говоря, достаточно одной из миллиардов цивилизаций запустить данный процесс, чтобы он пошёл по всей Вселенной. Поскольку он распространяется почти со скоростью света, остановить его будет почти невозможно.
5. Далее, рассылка SETI-сообщений будет приоритетом для поражённой SETI-вирусом цивилизации, и она будет тратить на это столько же энергии, сколько биологический организм тратит на размножение – то есть десятки процентов. При этом земная цивилизация тратит на SETI не более нескольких десятков миллионов долларов в год, а на METI, то есть отправку – и ещё меньше – за всё время было осуществлено только 30 часов направленных передач, то есть менее одной миллионной своих ресурсов, и вряд ли эта пропорция сильно изменится у более продвинутых цивилизаций (есть ряд соображений, по которым нормальным рациональным цивилизациям выгоднее слушать космос, чем посылать сообщения). Иначе говоря, одна заражённая цивилизация будет производить в миллион раз больше радиосигналов, чем здоровая. Или, говоря по-другому, если в Галактике миллион здоровых цивилизаций, и одна заражённая, то у нас будут равные шансы наткнуться на здоровую или заражённую. Точно такую же ситуацию мы видим в современном Интернете – где почти половина сообщений является спамом, и эти сообщения генерируются очень небольшим количеством людей. Кроме того, значительная часть спама содержит в себе компьютерные вирусы, которые стремятся подчинить себе компьютер и использовать его для дальнейшей рассылки своих копий.
6. Более того, нет никаких других разумных причин, кроме саморазмножения, чтобы рассылать свой код в далёкий космос.
7. Более того, такой процесс может начаться случайно – например, в начале это мог быть просто исследовательский проект, цель которого была  в том, чтобы отослать результаты исследований материнской цивилизации, не причиняя вреда принимающей цивилизации, а потом это процесс из-за неких сбоев или мутаций стал «раковым».
8. Нет ничего необычного в такой модели поведения. В любой информационной среде существуют вирусы – в биологии это вирусы, в компьютерных сетях – компьютерные вирусы, в общении – это мемы. Мы ведь не спрашиваем, зачем природа захотела создать биологический вирус.
9. Путешествие с помощью SETI-атаки гораздо дешевле любых других способов. А именно, находясь в галактике Андромеда, можно одновременно посылать сигнал на 100 миллиардов звёзд нашей Галактики. Но потребовалось бы миллиарды звездолётов, к тому же более медленных, чтобы облететь все звёзды нашей Галактики.
10. Перечислю ещё несколько возможных целей SETI-атаки, просто чтобы показать, что их может быть много.
• Это делается для исследования вселенной. После исполнения кода возникают исследовательские зонды, которые отсылают назад информацию.
• Это делается для того, что не возникло конкурирующих цивилизаций. Все их зародыши уничтожаются.
• Это делается для того, чтобы другая конкурирующая сверхцивилизация не смогла воспользоваться этим ресурсом.
• Это делается для того, чтобы подготовить базу к прилёту реальных космических кораблей. Это имеет смысл, если сверхцивилизация находится очень далеко, и соответственно, разрыв между световой скоростью радиосигнала и околосветовой скоростью её кораблей (допустим, 0,5 с) составляет тысячелетия.
• Это делается для достижения бессмертия. Кэрриген показал, что объём личной сознательной памяти человека имеет порядок 2,5 гигабайт, поэтому, переслав несколько экзобайт информации, можно переслать всю цивилизацию.
• Это делается с нелогичными и непонятными для нас целями, например, как произведение искусства, акт самоутверждения или игрушка. (Например, инопланетянам было бы непонятно, зачем американцы установили флаг на Луне. Стоило ли лететь за 300 000 км, чтобы установить раскрашенную железяку?)
11. Поскольку Вселенная существует уже давно, то область, на которую могла бы распространится SETI-атака, занимает сферу с радиусом в несколько миллиардов световых лет. Иначе говоря, достаточно было бы попасться одной «плохой» цивилизации в световом конусе от нас размером в несколько миллиардов лет, то есть включающем миллиарды галактик, чтобы мы оказались под угрозой SETI-атаки. Разумеется, это верно, если средняя плотность цивилизации – хотя бы одна на галактику.
12. По мере увеличения глубины сканирования неба на порядок, объём пространства и число звёзд, которые мы наблюдаем, возрастает на три порядка. Это значит, что наши шансы наткнутся на внеземной сигнал растут нелинейно, а по быстро растущей кривой.
13. Возможна ситуация, когда мы наткнёмся на несколько разных посланий из разных точек неба, которые опровергают одно другое в духе: «не слушайте их, они вас обманывают и желают вам зла». Это обычная ситуация в земном информационном поле (например, в средствах массовой информации), где разные издания критикуют друг друга.
14. Какие бы позитивные и ценные послания мы бы не получали, мы никогда не сможем быть уверены, что за всем этим не стоит очень тонкий обман. Это означает, что в межзвёздном общении всегда будет элемент недоверия.
15. Оборонительной позицией в межзвёздном общении считается слушать, ничего не посылая, чтобы не выдать своего местоположения. Законы США запрещают посылку посланий к звёздам. Те цивилизации, которые посылают – не боятся выдать своё местоположение. Возможно, потому что отправка сообщений для них важнее безопасности. Например, потому что они атакует.
16. Про атомную бомбу сказали: главная тайна атомной бомбы в том, что её можно сделать. Если до открытия цепной реакции Резерфорд считал, что высвобождение атомной энергии – вопрос отдалённого будущего, то после открытия любой физик понимал, что достаточно создать критическую массу из урана. Иначе говоря, если однажды выяснится, что из Космоса поступают сигналы, это будет необратимое открытие. Даже если точные координаты источника сигнала будут скрыты, то его смогут переоткрывать снова и снова. Невозможно закрыть космос (хотя можно представить космические аппараты-глушители опасного сигнала, расположенные между Землёй и источником сигнала.)

4. ВОЗРАЖЕНИЯ

В ходе дискуссий по данному вопросу возник ряд типичных возражений, которые стоит обсудить. Снова подчеркну, что речь не идёт о заражении обычном компьютерным вирусом, а только о запуске на Земле программы ИИ, которая является вирусоподобной по планетарным масштабам своей деятельности – а именно стремится использовать планету для рассылки своих копий дальше. При этом она может использовать, а может и не использовать атаку по компьютерным сетям, подобную атакам компьютерных вирусов.
Возражение 0: Искусственный интеллект невозможен.
Ответ: А.Д.Панов полагает высокой плотность внеземных цивилизаций в Галактике, но считает ИИ невозможным, поскольку догадка и озарение недоступны конечному автомату, каковым является компьютерная программа. Однако это мнение внутренне противоречиво. Если согласиться с множественность внеземных цивилизаций,  из этого следует, что и интеллект неоднократно зарождался на разных планетах, причём это происходило достаточно часто, если цивилизации находятся достаточно близко друг к другу. Таким образом, из допущения множественности цивилизаций следует, что есть некий эффективный способ создавать интеллект (а именно, с помощью эволюции и естественного отбора) и что в человеческом интеллекте нет ничего особенного. Более того, сам естественный отбор и эволюция моделируются современными компьютерами в направлении исследований, называемом «генетическое программирование». Наоборот, признание невозможности ИИ (например, основываясь на рассуждениях в духе Пенроуза) равносильно признанию существования трансцендентальной физическому миру души. (Но тогда мы должны признать её наличие и у всех внеземных цивилизаций.) Отметим, что даже если ИИ невозможен на конечных автоматах, но реализуется на квантовых процессах в нейронах мозга, то тогда он возможен на квантовых компьютерах, и, соответственно, SETI-атака всё равно остаётся возможной – если добавить к ней этап пересылки описания и программы для квантового компьютера. Более того, даже если окажется, что для существования интеллекта необходим мозг живого существа, то даже в этом случае SETI-атака остаётся возможной, так как возможно переслать код ДНК некого существа плюс некоторые сопутствующие инструменты (как это и происходит в романе «Андромеда» Хойла, где электронный компьютер нужен только для того, чтобы адаптировать присланное ДНК к местной форме жизни и создать живое разумное существо – девушку Андромеду).
Враждебный и опасный ИИ вовсе не обязательно должен обладать всеми человеческими качествами, например, интуицией. Скажем, Deep Blue обыграл Каспарова, используя против его интуиции простой перебор. В любом случае, современный мир использует интуицию в незначительной степени, и у нас нет средств обороны, целиком построенных на интуиции. Интернет, управление вооружениями, конструирование новых механизмов – почти целиком рациональные процессы и уязвимы к воздействию сверх- рационального субъекта.
Возражение 1: Отписываемое здесь поведение цивилизаций слишком антропоморфно. На самом деле, цивилизации слишком отличаются друг от друга, чтобы можно было предсказать их поведение.
Ответ: В данном случае имеет место мощный эффект наблюдательной селекции. Хотя возможны самые разные цивилизации, мыслящие океаны и т. п., но мы можем получать радиосигналы только от тех цивилизаций, которые их посылает, а значит, обладает соответствующей радиоаппаратурой и знаниями материалов, электроники и вычислений. То есть нам угрожают цивилизации нашего же типа. Те цивилизации, которые не могут ни принимать, ни отправлять радиопослания, не участвуют в этой игре. Кроме того, принцип предосторожности заставляет нас предполагать, что существуют достаточно похожие на нашу цивилизации – пока не доказано обратное.
Также наблюдательная селекция касается и целей. Цели у цивилизаций могут быть самые разные, но интенсивнее всего посылать сигналы будут только те цивилизации, которые хотят донести до нас некую важную им информацию. (Примером такой тонкой информационной атаки может быть культурная экспансия, каковой, скажем, является продвижение американского образа жизни в современном глобализующемся мире – и известно, что это в определённой мере приводит к утрате культурной идентичности.)
Наконец, наблюдательная селекция касается эффективности и универсальности SETI-вируса. Чем эффективнее он, тем больше разных цивилизаций поразит и тем большее число его радиосигналов будет на небе. Таким образом, вероятнее всего наткнуться на наиболее эффективный SETI-вирус.
Возражение 2. Для сверхцивилизаций нет нужды прибегать к уловкам. Они могут нас непосредственно физически завоевать. Сверхцивилизации уже знают о нас благодаря сверхмощным телескопам.
Ответ: Это верно, только если они находятся в непосредственной близости от нас. Если же перемещение со скоростью, большей световой, невозможно, то воздействие посланиями будет быстрее и дешевле. Вероятно, эта разница приобретает значение на галактических расстояниях. Следовательно, не стоит опасаться SETI-атаки от ближайших звёзд, находящихся в радиусе ближайших десятков и сотен световых лет. Неверно и то, что сверхцивилизации уже знают о нас. Если она расположена на расстоянии 1000 световых лет, то антропогенное радиоизлучение Земли ещё не достигло их. Всё, что они могут наблюдать – это сам факт существования жизни на Земле, проявляющийся в спектре атмосферы. Если бы она реагировала на обнаружение разумной жизни, то её реакция запоздала, по крайней мере, на 2000 лет – а за это время мог бы сформироваться грозный противник. Таким образом, SETI-атака обладает временным преимуществом перед любым другим видом атаки, так как её можно осуществлять упреждающе.
Возражение 2.1. Если существует сверхцивилизация, то она давно нас обнаружила и обладает огромным техническим арсеналом средств, чтобы достичь нас заранее – и раз мы существуем, то она не стала нам мешать и не заинтересована в нашем уничтожении и в будущем. Если же партнером по SETI выступает цивилизация нашего уровня, то она не обладает необходимыми ресурсами для SETI-атаки. Таким образом, в обоих случаях – цивилизации нашего уровня и сверхцивилизации – SETI-атака невозможна.
Ответ: Подобные эвристические умозаключения, к сожалению, не обладают доказательной ценностью, то есть они могут только понизить нашу оценку вероятности атаки, но не доказать её невозможность во всех мыслимых случаях. Например, если мы отпускаем гулять пятилетнего ребёнка в парк, мы тоже можем рассуждать подобным образом: либо он встретит ребёнка своего возраста, который для него безопасен, либо он встретит взрослого человека, который достаточно мудр и гуманистичен (раз дожил до взрослого возраста не саморазрушившись – как доказывает А.Д.Панов «экзогуманистичность» космических цивилизаций). Тем не менее, ни один родитель не руководствуется рассуждениями такого рода, когда отпускает ребёнка в парк. Во-первых, потому что помимо детей и взрослых, ещё существуют подростки, которые сильнее детей, но не обладают мудростью. Во-вторых, потому что сама «мудрость» взрослых есть категория весьма относительная: достаточно одного маньяка на миллион мудрых взрослых, чтобы это было достаточным поводом для беспокойства. В случае контакта с внеземной цивилизацией возможна ситуация, когда мы вступили в контакт с цивилизацией, которая только на несколько десятков лет опережает нас. В этом случае она гораздо больше нас знает о создании ИИ, учитывая огромную скорость прогресса в этой области, но ещё не является древней и устойчивой сверхцивилизацией. Более того, она может быть изнутри разрываема конфликтом разных глобальных систем ИИ или стран и обречена на гибель в ближайшем будущем. Тем не менее, она может предпринять попытку отправить к нам враждебную нам SETI-программу.
Важно понимать, что то, что мы можем воспринимать как агрессивное, бесчеловечное и враждебное поведение, может быть совершенно нейтральным поглощением ресурса с точки зрения субъекта этого поведения. Например, то, как мы воспринимаем уборку урожая на поле – а ведь при этом гибнут миллионы насекомых и грызунов. Или как большинство людей воспринимает скотобойни.
Из того, что клетки внутри тела хищника, например лисы, заботятся друг о друге, и из того, что клетки внутри зайца тоже точно также заботятся друг о друге, вовсе не следует, что лиса будет добра к зайцу. Отношение лисы к зайцу обусловлено законами эволюции и конкуренции – те лисы, которые были слишком добры к зайцам, просто вымерли с голоду.  Эти простые закономерности не зависят от масштабов, и также могут относиться и к космическим цивилизациям.
Возражение 3. Есть масса причин, по которым SETI-атака может не удаться. Какой смысл затевать столь неэффективную атаку?
Ответ: SETI-атака вовсе не должна действовать всегда. Она должна действовать в достаточном числе случаев, в соответствии с целями той цивилизации, которая отправляет сообщение. Например, нищий или мошенник не ожидает, что ему удастся «развести» каждого встречного. Ему достаточно хотя бы одного человека из ста. Из этого следует, что SETI-атака бесполезна, если стоит цель атаковать все цивилизации в некой галактике. Однако если цель состоит в том, чтобы получить хотя бы некоторые форпосты в другой галактике, то SETI-атака годится. (Из этих форпостов затем можно распространиться на досветовых звездолётах по окрестным звёздам.) Кроме того, SETI-атака нацелена на обычные цивилизации, то есть на тот тип цивилизаций, которые многократно встречается во Вселенной, а принцип Коперника заставляет нас полагать, что мы являемся цивилизацией обычного типа, а не уникальной цивилизацией. Отсюда можно заключить, что SETI-атака нацелена именно на цивилизации нашего типа.
Возражение 4. Пересылка компьютера и работающей на нем программы предложенным в данной статье способом невозможна по тем или иным причинам.
Ответ: Согласие с этим возражением означало бы признание того, что нет никакого способа переслать описание компьютера с работающей на нём программой ни от какой одной цивилизации ни к какой другой, как бы сильно отправляющая цивилизация ни хотела оправить это описание, а получающая – получить его и выполнить. Такое утверждение слишком сильное, чтобы быть истинным. А значит, существуют способы переслать описание компьютера и его программы. При этом нет сомнений, что отправить вирусного сообщений очень хочет сделать его максимально понятным, а земная цивилизация очень хочет «подключиться к галактическому Интернету», то есть понять сообщение и выполнить.
Возражение 5: Весь объём знаний сверхцивилизации нельзя засунуть в 1 гигабайт, следовательно, загруженный код будет неполноценным, и атака им невозможна.
Ответ: Во-первых, мы не знаем, что можно, а что нельзя закодировать в 1 гигабайт, например, объём генокода человека меньше, а ведь он не плотно упакован. Во-вторых, по мере надобности ИИ может подключаться к зашифрованным каналам передачи, и подгружать недостающие сведения (например, попросив доступ к антеннам радиотелескопов). В-третьих, будучи мощной самообучающейся программой, он может изобрести заново многие вещи, зная только базовые принципы.
Возражение 6: послав нам программу с ИИ, внеземная цивилизация раскроет нам сам факт своего существования и свои координаты, технологию ИИ и сам факт её возможности, ряд других технологий, которые этот ИИ создаст, а также, что особенно важно, откроет нам факт агрессивности своих намерений. И всё это, в случае неудачности её атаки, обернётся против неё.
Ответ: Опять же, подобные рассуждения носят только вероятностный характер и не могут гарантировать невозможность события. Отметим, что в случае войны на Земле те же самые соображения не препятствуют определённым агрессивным действиям. Например, пушка раскрывает своё местоположение первым же выстрелом, но это не приводит к отказу от использования пушек. Кроме того, вряд ли сверхцивилизация пошлёт нам вместе с ИИ такие технологии, которые мы сами бы не открыли в ближайшие 100-200 лет (во всяком случае, не пошлёт – точнее, не позволит их расшифровать – до того, как будет уверена в победе). Возможно, что соблазн переиграть инопланетный ИИ (например, запустив его в полностью симулированном мире) будет одной из частей многоуровневой ловушки, которую она нам подстроит.
Наиболее серьёзное возражение состоит в том, что продвинутая цивилизация могла бы за несколько миллионов лет засеять всю нашу галактику способными к саморазмножению микророботами, которые могли бы реализовать любые цели у каждой звезды, в том числе без труда предотвратить развитие других цивилизаций. Однако мы этого не видим, – никто не помешал пока нашей цивилизации развиться. То есть разослать микророботов с заданиями было бы гораздо проще и надёжнее, чем бомбардировать всю галактику SETI-посланиями, а раз этого нет, то нет и SETI-атаки внутри галактики. Вероятно, за многие миллионы или даже миллиарды лет микророботы могли бы долететь даже из отдалённых галактик на расстоянии в десятки миллионов световых лет. В этом случае SETI-атака имела бы смысл только на б;льших расстояниях. Однако на таком расстоянии – десятки и сотни миллионов световых лет, – вероятно, потребуются принципиально новые способы модуляции сигналов, например, управление свечением активных ядер галактик. Или передача узконаправленным лучом в сторону нашей галактике (но они не знают, где она будет через миллионы лет). Но цивилизация, способная управлять ядром галактики, может, вероятно, создать и звездолёт, летящий с околосветовой скоростью, даже если его масса будет массой с планету. Подобные рассуждения сильно снижают вероятность SETI-атаки, хотя и не опускают её до нуля, так как мы не знаем всех возможных целей и обстоятельств. Масштабы космической стратегии могут быть непостижимы для человеческого ума.

Существует протокол о действиях в случае обнаружения внеземного разумного сигнала . Однако он предполагает скорее тщательную проверку информации, а затем широкое информирование о событии. В нём ничего не говориться об опасностях, которые может создавать само загруженное сообщение. В нём нет правила о том, что никогда и ни при каких обстоятельствах нельзя создавать никаких механизмов, чертежи которых получены из космоса, и не запускать на компьютерах никаких программ, загруженных по каналам SETI. Это связано с тем, что ни широкая публика, ни сами исследователи SETI не осознают рисков, связанных с загрузкой программ. Вероятно, это связано с тем, что осознание этого риска требует принятия двух допущений, каждое из которых по отдельности выглядит фантастическим: 1) что внеземные цивилизации существуют, 2) что возможна компьютерная программа, обладающая искусственным интеллектом. А вместе они уже оказываются за гранью фантастики. Кроме того, исследователи SETI – это энтузиасты своего дела, и им трудно признать, что их деятельность может быть опасна.
Можно сказать, что осознание данного риска катастрофически мало – за прошедшие почти 50 лет он упоминается только в 3 публикациях. Это значительно отличает его от других рисков, например, глобального потепления, который исследуется тысячами исследователей. Эта наша не-осознавание риска ведёт к неготовности, а значит – к повышенной уязвимости.
Наилучшей нашей защитой в данном контексте было бы то, что цивилизации в космосе встречались бы крайне редко. Однако это не совсем верно, потому что здесь парадокс Ферми срабатывает по принципу «оба хуже»:
• Если внеземные цивилизации есть и их много, то это опасно, потому что они могут нам так или иначе угрожать.
• Если же внеземных цивилизаций нет, то это тоже плохо, так как придаёт вес гипотезе о неизбежности вымирания технологических цивилизаций.
Теоретически возможен обратный вариант, который состоит в том, что по SETI придёт полезное сообщение с предупреждением о некой угрозе, которая губит большинство цивилизаций, например: «Не делайте никаких экспериментов с Х-частицами, это может привести к взрыву, который разрушит планету». Но даже и в этом случае останутся сомнения, не обман ли это, чтобы лишить нас неких технологий. (Подтверждением было бы, если бы аналогичные сообщения приходили бы от других цивилизаций, расположенных в космосе в противоположном направлении.) И, возможно, такое сообщение только усилит соблазн экспериментировать с Х-частицами.
Поэтому я не призываю отказаться окончательно от SETI поисков, тем более что такие призывы бесполезны. Однако важно повысить осознание рисков у SETI-сообщества, без этого любые дальнейшие меры бесполезны. Возможно, было бы полезно отложить любые технические реализации посланий, которые мы могли бы получить по SETI, до того момента, когда у нас будет свой искусственный интеллект. До этого момента, возможно, осталось 10-30 лет, то есть можно потерпеть. Во-вторых, важно было бы скрывать сам факт получения SETI-сигнала, его суть и месторасположения источника, с тем, чтобы избежать его повторного скачивания. В-третьих, можно обдумать способы глушения SETI-сигнала, если он будет признан опасным, и международного запрета на его приём, хранение и анализ, аналогично тому, как действует запрет в отношении ядерных секретов и оборудования.
Проще всего заметить проявления тех цивилизаций, которым выгодно о себе сообщать. Важно понять, какова может быть причина этой выгоды, и не может ли эта выгода быть для нас опасна.
С этим риском связан интересный методологический аспект. Несмотря на то, что я уже давно размышляю и читаю на темы глобальных рисков, я обнаружил эту опасную уязвимость в SETI только через год после начала исследований. Задним числом я смог найти ещё примерно четырёх человек, которые приходили к подобным выводам. Однако для себя я сделал важный вывод: вероятно, есть ещё не открытые глобальные риски, и даже если составные части некого риска по отдельности мне лично известны, то, чтобы соединить их, может потребоваться длительное время.
C точки зрения нашего основного вопроса о неопределённости, здесь сталкиваются два фактора, каждый из которых крайне не определён – это вопрос о возможности внеземного разума и вопрос о реальности и опасности ИИ. Следствием этого является крайне малое число людей, которые принимают данный риск всерьёз – гораздо меньшее, чем число людей, либо исследующих возможность ИИ и его риски, либо возможность существования внеземного разума и проблемы связи с ним по отдельности. Наложение двух неопределённостей делает результатирующий эффект менее вероятным, но не в той мере, в какой люди считают его невероятным. Наоборот, новые открытия могут взаимно усиливать друг друга, как ракета и ядерная бомба взаимно усиливают поражающую силу друг друга. Если вопрос о враждебности ИИ, созданного на Земле, к человеку, является спорным, то ИИ, загруженный по каналам радиосвязи из космоса, почти наверняка будет враждебным. Единственное исключение здесь – это ситуация, когда некая цивилизация-благотворитель рассылает по вселенной такой ИИ, который помогает начинающим цивилизациям справиться с трудностями роста (а потом-таки рассылает себя дальше).
Рекомендуемая литература:
Р.Кэрриган. Следует ли обеззараживать сигналы SETI. 2006.
http://www.proza.ru/2007/11/20/582
Ф.Хойл, Дж.Эллиот. Андромеда. 1962.
В.Виндж. Пламя над бездной. 2003.



Глава 12. Глобальное потепление – верить или нет?

В проблеме глобального потепления слились вместе все аспекты непредсказуемости, которые влияют на оценку рисков глобальной катастрофы. Разумеется, многие читатели сейчас воскликнут – я знаю, это нарочно придумали транснациональные корпорации, чтобы достичь то-то и то-то. Однако насколько вы можете быть уверены в том, что так оно и есть на самом деле? Безусловно, гораздо легче быть уверенным на 100%, чем на 75%, такова человеческая природа. Тем более что уверенность, что кто-то делает что-то нарочно и назло, включает эмоциональный комплекс «борьбы с врагами», который резко повышает уверенность в себе и снижает критичность восприятия. Таким образом, тема глобального потепления является своеобразным средством «крот» для прочистки своей готовности воспринимать сложное и непонятное в условиях интенсивного информационного шума.
Проблема заключается в том, что климатическая системы Земли настолько сложна, что никто, кроме высококвалифицированных геофизиков, вооружённых сложными математическими моделями, не способен её понять. Любые поверхностные объяснения могут содержать неточности, которые выворачивают ситуацию несколько раз наизнанку. Сторонний человек, в том числе и лица, принимающие решения, не могут отличить «правильных» геофизиков от неправильных. Нетрудно убедиться в том, что оппоненты часто обвиняют друг друга в ненаучности, игнорируют и т. д. Разумеется, можно актом веры выбрать одну из сторон в конфликте, причём актом веры, неосознанной как вера, и затем слепо подбирать свидетельства только в сторону своей гипотезы. Но таким образом мы не узнаем никакой достоверной информации.
Мнения о реальности глобального потепления и силе его последствий расходятся. Собственно есть три мнения: что никакого потепления нет, что оно есть и составит в XXI веке несколько градусов, и что потепление может пойти в разнос, и температура поднимется на десятки градусов, то есть произойдёт парниковая катастрофа. Проблема отягощена тем, что прямой эксперимент здесь невозможен. Ни одна из этих теорий не получит окончательного доказательства, пока большая часть из того, что они обещают, не случиться. 
Вторая проблема с глобальным потеплением состоит в том, что нам выдают за глобальную катастрофу то, что ею не является. То есть, принимая версию о том, что подъём температуры составит только несколько градусов, заявляют, что это погубит планету и приведёт к вымиранию человечества. При этом всем очевидно, что гибель белых медведей, затопление прибрежных городов, увеличение ураганов – это, конечно, серьёзная проблема, но это никак не может привести к вымиранию всего человечества само по себе (если только не запустит следующий сценарий, вроде ядерной войны за уцелевшие территории). Хотя бы, потому что человечество пережило гораздо более серьёзные испытания по завершении последнего ледникового периода, когда уровень воды изменился на десятки метров, прорвались гигантские ледниковые озёра, вызвав огромные волны и затопления, вымерли мамонты  и т. д.
При этом гипотезы о том, что в результате глобального потепления климат Земли изменится настолько, что жизнь станет невозможной, почти не обсуждаются в печати, хотя известны с 90-х годов. Для сравнительного анализа этих трёх гипотез можно применить теорию оценки рисков. Риск оценивается как произведение вероятности события на ожидаемый ущерб. Сравним разницу ожидаемого ущерба от незначительного глобального потепление и потепления, ведущего к полному человеческому вымиранию. Чтобы дать качественную оценку этой разницы, сравните мысленно ценность своей жизни (а также всех ваших близких и друзей) для вас и ценность жизни абстрактного белого медведя. Насколько больше вы были бы готовы заплатить за себя с детьми, чем за жизнь неизвестного вам белого медведя? Хотя оценка ущерба от человеческого вымирания представляет собой методологическую проблему, поскольку подразумевает умножение на бесконечность числа будущих людей, очевидно, что этот ущерб в тысячи раз больше, чем ущерб от затопления прибрежных городов.
А поскольку риск – это произведение вероятности на ущерб, то даже менее вероятная глобальная катастрофа в связи с потеплением даёт больший риск, чем более вероятная, но менее опасное ограниченное потепление. В силу этого мы должны уделить больше внимания рискам парниковой катастрофы, даже если о её вероятности говорит меньшинство учёных.

Глобальное потепление связано как с рядом естественных природных процессов, так и с «суммой технологий», созданных человеком, поэтому к чисто природным рискам его можно отнести только условно. Глобальное потепление можно также назвать классическим примером опасного процесса, в отношении которого действует множество факторов, делающих его «непостижимым». Не общепризнанной, но принимаемой несколькими исследователями возможностью глобальной катастрофы является парниковая катастрофа, называемая по-английски «неограниченно растущий парниковый эффект» (runaway greenhouse effect). О нём пишет А.В.Карнаухов в статьях «К вопросу об устойчивости химического баланса атмосферы и теплового баланса Земли» , «Парниковая катастрофа» , Иващенко О.В. «Изменение климата и изменение циклов обращения парниковых газов в системе атмосфера-литосфера-гидросфера - обратные связи могут значительно усилить парниковый эффект»  и А. Ваганов «Сценарии парниковой катастрофы» . Из зарубежных учёных можно отметить Дж. Атченсона, который утверждает, что за счёт цепной реакции дегазации  газовых гидратов температура может вырасти на несколько градусов в ближайшие годы, а не за сто лет .
  В отличие от продвигаемой средствами массовой информации концепции парникового эффекта, которая утверждает, что при худшем сценарии температура Земли возрастёт на 2-6 градуса и уровень океана повысится на несколько метров, эти исследователи утверждают, что парниковый эффект находится на пороге необратимости, пройдя который, он войдёт в фазу положительной обратной связи, и температура Земли возрастёт на десятки или сотни градусов, делая жизнь на Земле невозможной. Это связано, в частности, с тем, что водяной пар (не в форме облаков, а растворённый в воздухе) является сильнейшим парниковым газом – а запасы готовой испаряться воды на Земле огромны. Кроме того, постепенное увеличение светимости Солнца (в сравнении с предыдущими эпохами глобальных потеплений миллионы лет назад), увеличение длины земных суток, накопление углекислого газа и снижение растворимости углекислого газа в океанах с ростом температуры работают на то, чтобы сделать парниковый эффект более сильным. Но ещё один фактор чреват резким увеличением парникового эффекта – разрушение огромных запасов газовых гидратов на дне моря, которое приведёт к выделению в атмосферу больших количеств метана – сильнейшего парникового газа . Разрушение газовых гидратов может принять характер цепной реакции, что уже однажды произошло 55 миллионов лет назад, когда температура Земли повысилась на несколько тысяч лет примерно на 10 градусов (Поздне-палеоценовый термальный максимум). Однако тогда гидратов было гораздо меньше. Возможно, что понимание рисков необратимой катастрофы уже в этом веке стоит за усилиями правительств по снижению выбросов парниковых газов. Этот сценарий можно назвать Венерианским, потому что именно благодаря парниковому эффекту на поверхности Венеры температуры составляет более 400 С, при том, что в силу высокого альбедо – ярко белые облака – она получает меньше солнечной энергии, чем Земля. Глобальное потепление является системным риском, поскольку в нём увязано множество разных факторов: Солнце, земные недра, океаны, человек, политика, вулканизм.
Парниковая катастрофа может состоять из трёх этапов:
1. Нагрев на 1-2 градуса за счёт избытка углекислого газа в атмосфере антропогенного происхождения, прохождение точки «спускового крючка», подобного порогу срабатывания у нейрона. Только на этом этапе борьба с выбросами углекислого газа имеет смысл. Возможно, пороговый уровень уже пройден, как утверждает профессор Лавлок .
2. Нагрев на 10-20 градусов за счёт метана из газовых гидратов и сибирских болот и углекислого газа, растворённого в океанах. Скорость этого самоусиливающегося процесса ограничена тепловой инерцией океана, и он займёт не менее 10 лет. Этому процессу можно противостоять только резкими высокотехнологичными вмешательствами, вроде искусственной ядерной зимы и/или взрыва многих вулканов.
3. Включение в процесс парникового эффекта от водяного пара и от разрушения карбонатосодержащих пород в земной коре. Подъём температуры до точки кипения воды.
Исследование необратимого глобального потепления находится под сильным давлением наблюдательной селекции, то есть мы не можем заключать из того, что его не было в прошлом, то, что оно маловероятно в будущем, поскольку мы могли выжить только в том мире, где оно не произошло. Чем менее вероятно состояние атмосферы нашей планеты, тем больше шансов, что оно находится «на грани» и достаточно его легко подтолкнуть, чтобы оно переместилось в некое более устойчивое состояние.
Развитая цивилизация легко сможет противостоять изменениям климата, например, распыляя разные порошки в верхних слоях атмосферы или развёртывая космические экраны, чтобы охладить её или подогреть. Наихудший сценарий подразумевает ситуацию, когда процесс необратимого нагревы атмосферы начался (при этом сам подъём температуры ещё может быть невелик, главное – формирование цепочек положительной обратной связи), а затем цивилизация утратила по каким-то свои внутренним причинам способность к высокотехнологическому регулированию климата и откатилась к более раннему уровню. Тогда она может быть окончательно повержена необратимым нагревом атмосферы, который произойдёт через десятки лет после технического коллапса.
Глобальное потепление является прекрасным примером области знаний, где расходящееся пространство интерпретаций наносит ущерб нашей способности действовать. Только ленивый не клевал А.Гора за его фильм о потеплении. Возможно, что наша неспособность придти к какому-нибудь одному, пусть и не правильному выводу, наносит больший ущерб, чем ложный вывод, поскольку полностью парализует способность каким-либо образом согласованно действовать.
Рекомендуемая литература:
А.В.Карнаухов. К вопросу об устойчивости химического баланса атмосферы и теплового баланса Земли. //Биофизика, 1994, 39, 1.
Андрей Ваганов. Сценарии парниковой катастрофы.  НГ-Наука, 2001.
Michael J. Benton and Richard J. Twitchett. How to kill (almost) all life:
the end-Permian extinction event. TRENDS in Ecology and Evolution Vol.18 No.7 July 2003



Глава 14. Астероиды и космическое оружие.
В качестве одной из основных угроз человеческому выживанию выдвигается угроза гибели в результате падения крупного астероида. При этом, однако, происходит определённая подмена тезисов: далеко не любой астероид способен уничтожить человеческую цивилизацию и, тем более, жизнь на Земле. Более того, поскольку чем меньше астероиды, тем чаще они встречаются, то подавляющее число опасных астероидов не приведёт, в случае падения, к человеческому вымиранию, хотя и вызовет значительные разрушения. Например, астроид Апофис, пролёт которого мимо Земли ожидается в пятницу 13 апреля 2029, мог бы привести к взрыву порядка 800 мегатонн, но разрушения от такого взрыва распространятся только в радиусе нескольких сотен километров.
Часто в качестве возможной причины вымирания человечества предлагают падения астероида, равного тому, который, как считается, истребил динозавров и оставил кратер Чиксулуб в Мексике. Он имел диаметр около 10 км. Однако важно отметить, что жившие тогда наши предки-млекопитающие не вымерли в результате этого события. Следовательно, даже астероид такого размера, скорее всего, не может истребить всех людей  и тем более жизнь на Земле. Расчеты показывают, что для этого нужно небесное тело размером порядка 30-60 км. Собственно астероидов такого размера на орбитах, могущих пересекаться с орбитой Земли не осталось, однако гораздо большую угрозу могут представлять кометы, происходящие из облака Оорта. Облако Оорта окружает Солнечную систему и находится далеко за орбитой Плутона. В нём находятся миллиарды и триллионы ледяных глыб, которые очень медленно вращаются вокруг Солнца по очень широким орбитам. Поскольку Солнечное притяжение на таких расстояниях невелико, то их орбитальная скорость может составлять только несколько метров в секунду – и достаточно изменить её на эту величину, чтобы такая глыба льда начала падать к Солнцу, разгоняясь до скоростей в десятки километров в секунду и превращаясь в комету. Очевидно, что кометы гораздо опаснее астероидов. Они движутся по траекториям, пересекающим земную орбиту почти перпендикулярно и с гораздо большей  скоростью, чем астероиды. Поскольку их периоды обращения крайне велики, то появление каждой новой кометы непредсказуемо. Кроме того, кометы имеют тенденцию рассыпаться в цепочки обломков, растягивающиеся по орбите, которые превращаются в своего рода автоматные очереди, могущие поразить планету сразу в нескольких метах, как это сделала комета Шумейкера-Леви с Юпитером. При этом каждый из обломков кометы может рассыпаться в атмосфере на множество кусков, распространяя удар на большую площадь. Например, в США есть загадочное геологическое образование: Carolina Bays – это несколько сот тысяч следов на Земле в виде эллипсов, размером до километра,, покрывающих территорию целого штата. Одна из гипотез их происхождения – это то, что они являются следами столкновениями с осколками кометы, распавшейся в воздухе над Канадой. Напомню, что и тунгусский метеорит был, скорее всего, осколком кометы Энке. Поскольку кометы движутся или со стороны Солнца, или из глубины Солнечной Системы, их гораздо труднее обнаруживать. Рыхлая структура комет делает более проблематичным их отклонение, а большая скорость оставляет меньше времени на реакцию. Да и посылать космические аппараты к ним навстречу труднее. Наконец, процессы, побуждающие ледяные глыбы облака Оорта срываться с места, всё ещё остаются неизученными, так как прямое наблюдение облака пока невозможно. Наихудший сценарий предполагает обращение вокруг Солнца по эллиптической орбите массивного тела, вроде десятой планеты, которое регулярно (раз в миллионы лет) возмущает облако Оорта своим гравитационным полем, вызывая «дождь комет» во внутренних областях Солнечной системы. Следует отметить, что наибольшие успехи отмечены в отслеживании наименее опасных (с точки зрения риска человеческого вымирания) околоземных астероидов. С другой стороны, количество астероидов, проходящих рядом с Землёй, больше, чем количество комет, примерно в сто раз.
Очевидно, что именно неопределённость наших знаний о движении и будущих траекториях объектов Солнечной системы заставляет нас бояться падения комет и астероидов. В связи с этим предпринимается ряд международных и национальных программ по защите от астероидов. Все они страдают от существенной недооценки рисков по шкале «затраты-эффективность», иначе говоря, расходы на спасение одной человеческой жизни за счёт улучшение автодорог, например, в Англии,  существенно выше, чем деньги, выделяемые на спасение одной человеческой жизни в антиастероидных программах. Это является проявлением присущего человеку свойства уделять больше внимания небольшим и явным событиям, чем большим, но редким, при равном суммарном ущербе.
Тем не менее, мало-помалу процесс развивается, и отдельные системы по обнаружению и отклонению астероидов испытываются. Зонд Deep Impact поразил комету Темпеля медной болванкой, в системах ПРО отрабатывается технипка стрельбы по быстродвижущимся целям. В связи с этим возникают естественные опасения, что такая система может быть использована и во вред. Например, в недалёком будущем можно будет тайно отклонить какой-нибудь астероид, направив его к Земле, с тем, чтобы он упал в определённом месте. Разумеется, вероятность такого действия с чьей-либо стороны крайне невелика, однако вероятность естественного падения на Землю астероида тоже очень мала, и ещё не известно, какая вероятность больше. В связи с грядущим частным освоением Космоса и радикальным удешевлением космической техники за счёт применения роботов, способных, в той или иной мере, к самовоспроизводству, вероятность злоупотребления законами небесной механики с целью совершения небывалого в истории теракта возрастает.
Другой рассматриваемый вариант защиты Земли от астероидной опасности – это размещение на земной орбите нескольких огромных бомб в сотни мегатонн или единицы гигатонн, снабжённых ракетными движками, которые смогут перехватить крупный астероид на подлёте. (Например, тот астероид, который отклонили космические террористы где-то в поясе астероидов.) Однако я вовсе не буду спать спокойнее, зная, что огромные водородные бомбы стерегут моё небо от астероидов. Потому что такое количество гигатонных водородных бомб, которого достаточно для защиты Земли от внезапной атаки с любой стороны – достаточно и для уничтожения разумной жизни на Земле, если они перейдут на более низкие орбиты с помощью своих движков и взорвутся одновременно над её поверхностью со всех сторон (Более точные подсчёты показывают, что потребуется примерно 500 штук бомб по 10 гигатонн, чтобы поджечь всё на поверхности Земли; возможно, если учесть вклад радиации и повреждения атмосферы, то потребуется меньшее число бомб). И как бы ни была мала вероятность такого злокозненного применения противоастероидного оружия, она больше, чем вероятность естественного столкновения Земли с огромным астероидом. И хотя вряд ли противоастероидная защита будет включать в себя 500 бомб, также маловероятно, что к Земле подлетит астероид, способный уничтожить человечество, то есть имеющий поперечник более 10 км, а не гораздо более мелкий камушек в несколько сот метров диаметром. Однако именно для разрушения такого многокилометрового астероида потребуются бомбы в десятки гигатонн, тогда как для разрушения «камушка» хватит и сотен мегатонн. Грубо говоря, получается, что для отражения астероида поражающей силой в Х мегатонн, мы должны держать на орбите примерно X мегатонн оружия. Точно так же как в случае систем ПРО, будет очевидно двойное назначение подобной системы, и тот, кто будет контролировать противоастероидную систему, будет контролировать мир. Это будет побуждать его сделать такую систему избыточной.
Существуют и другие проекты отражения астероидов. Чем раньше мы обнаружили астероид, тем более слабого воздействия достаточно для его отклонения. Современное состояние дел таково, что необходимо иметь запас в, по крайней мере, в 10 лет от момента обнаружения подозрительного астероида, чтобы точно рассчитать траекторию, спроектировать перехватчик, построить его, запустить, дать ему долететь до точки перехвата и затем нужно ещё время, чтобы результат малого воздействия на астероид привёл к значительному изменению его траектории. Есть проекты по созданию лазеров с ядерной накачкой, которые будут способны оказывать отклоняющее воздействие на астероиды, однако опять же можно представить варианты, когда их повернут против Земли (хотя авторы проектов утверждают, что их военное применение невозможно).
Для того чтобы уничтожить жизнь на Земле, нужна сила, способная одновременно действовать по всей её поверхности. Этот критерий позволяет выделить среди разных физических процессов и видов человеческой деятельности те, которые потенциально способны привести к глобальной катастрофе. Собственно, три среды окружают всю Землю – это сама земная кора, земная атмосфера, и Космос, и к этому можно прибавить искусственную информационную среду. Очевидно, что в космосе есть огромное количество сил, которые могли бы без труда стереть в порошок Землю, однако поскольку разумная жизнь могла развиться только в достаточно спокойном уголке Вселенной, то мы пребываем в относительной безопасности. Освоение космоса открывает возможности прикоснуться к величию этих сил и создать множество новых опасностей человеческому выживанию, две из которых мы уже рассмотрели: отклонение астероидов и взрывы огромных водородных бомб со всех сторон Земли, которые своим излучением уничтожили бы всё на поверхности.
Освоение космоса затруднено проблемами запуска с Земли космических аппаратов, поэтому возникает желание производить как можно больше необходимых для них компонентов в Космосе, например, добывать лёд на Луне и производить из него водород и кислород для ракетного топлива. По мере развития робототехники всё большее число необходимых узлов можно будет производить на Луне и астероидах. В «идеале» мы могли бы отправлять полностью автоматизированную станцию на отдалённый астероид или спутник планеты, с тем, чтобы она сама на месте производила необходимое научное оборудование или свои копии для рассылки по следующим планетам. Это открывает огромные перспективы: забросив одно такое «семечко» на крупный астероид, через какое-то время мы могли бы получить его полностью преобразованным в огромный научный инструмент, например, телескоп, или в орбитальную станцию, готовую принять людей. По мере развития систем искусственного интеллекта и технологий молекулярного производства, то есть нанороботов, создание такого космического «семени» будет становиться всё более простой задачей. Я полагаю, что в течение XXI века оно будет создано.
Здесь возникают серьёзные проблемы. Мы должны контролировать развитие  такого самовоспроизводящегося автомата, хотя бы для того, чтобы он не засыпал всю Солнечную систему своими копиями. (А в худшем случае не произвёл миллионов атомных бомб.) Но если на Земле мы можем контролировать любую лабораторию за счёт мгновенных систем связи и возможности ударить по ней ядерными ракетами, если там некий процесс пошёл в разнос, то распространение информации о сбое, скажем, на спутнике планеты гиганта потребует часов, а посылка туда «карательной экспедиции» – месяцев. За это время любая самовоспроизводящаяся система успеет приготовиться к прилёту гостей – а космический корабль в космосе гораздо более уязвим, чем огромная, зарытая в Землю система.
Это возможно даже без искусственного интеллекта, способного к самосовершенствованию, если управлять такой системой самовоспроизводящихся механизмов будут люди. Возникает идея разметить космический флот, вооружённый ядерными бомбами, над любым местом, где используются самовоспроизводящиеся автоматы, с тем, чтобы обеспечить возможность их немедленного контроля.  Но это опять сводится к случаю с противоастероидной защитой. А именно, жизнь на Земле не станет безопаснее, если просторы Солнечной системы будут бороздить набитые атомными бомбами флоты. Утрата контроля над космическими колониями так же неминуема, как провозглашение независимости заморских колоний в прошлом на Земле. Итак, наиболее перспективный способ освоения космоса – с помощью самовоспроизводящихся автоматов – оказывается связан и с наибольшим риском. Возможно, что по космосу до сих пор распространяются самовоспроизводящиеся автоматы, оставшиеся от погибшей цивилизации.
Освоение космоса сулит человечеству перспективы бессмертия – даже в случае гибели Земли могут  сохраниться обитаемые колонии на Луне и т.д. Всё же эта гарантия не является полной. Человеческие колонии требуют значительной инфраструктуры, их положение будет известно, а число – конечно. Это значит, что в случае войны они могут быть относительно легко уничтожены (если только они не затеряны в поясе астероидов или в недрах хорошо обороняемых планет). Кроме того, между колониями будет, вероятно, обмен людьми и товарами, что не исключает возможности заражения их некой болезнью, так же, как грипп «испанка» распространился даже по самым удалённым островам в 1918 году вместе с кораблями торговцев. Наконец, они будут уязвимы для информационной атаки, подобно тому, как современные компьютеры уязвимы для вирусов несмотря на свою физическую изолированность. В мире, начинённом роботами, информационная атака будет смертельной, так как может содержать команды на самоуничтожение, тогда как в нашем мире, максимум, что она может пока что сделать – это отформатировать жёсткий диск. Пока ещё не удавалось сделать полностью защищённых информационных систем: все «айподы» были успешно взломаны, а для всех операционных систем написаны вирусы, несмотря на заявления разработчиков. Люди распространяются по космосу гораздо медленнее, чем роботы, и поэтому не может быть такого уголка в космосе, где люди будут в безопасности от робототехнических систем.
Более отдалённые и маловероятные перспективы космического оружия следующие. Любой прогресс в создании высокоскоростных космических двигателей позволит создать оружие планетарного масштаба, а именно, как кинетическое оружие, то есть разгоняющееся и таранящее. Также обсуждалась гипотетическая возможность поджечь реакцию детонации водорода на Солнце с помощью термоядерного взрыва, что выглядит нереалистичным. Более убедительной, хотя, скорее всего, тоже невероятной является идея о детонации Юпитера: в недрах Юпитера находятся несгоревшие легко горючие (в термоядерном смысле слова) вещества – литий, дейтерий и гелий-3, довольно сильно сжатые огромным давлением – и их легко достичь, сбросив на Юпитер спускаемый аппарат. Когда в недрах Юпитера затопили космический аппарат Галилео, высказывались опасения, что находящиеся в нём плутониевые таблетки могут сжаться огромным давлением и сдетонировать, вызвав цепную термоядерную реакцию. К счастью, этого не произошло, поскольку последствия взрыва Юпитера были бы для Земли сравнимы с близким взрывом сверхновой звезды: атмосферу бы сорвало напрочь, а поверхность бы прожарилась. Рассказ о Юпитере я привожу здесь не для того, чтобы доказать, что это действительно возможно – скорее всего, реакция не станет самоподдерживающейся, – а для того, чтобы показать, что в освоении космоса есть много неочевидных опасностей, которые нам просто не приходят в голову до тех пор, пока не случаются.

Глава 15. Супервулкан: путешествие к центру Земли.
Чем глубже мы проникаем в земную кору разными способами – сверлим её, расплавляем или взрываем, – тем больше наши возможности вызвать всё более сильное искусственное вулканическое извержение. Для того чтобы спровоцировать извержение сверхвулкана масштабом в Йеллоустоун, вероятно, достаточно пробить 5 км коры, что составляет толщину крышки его магматической камеры – а современные скважины гораздо глубже. При этом природа загазованной магмы такова, что она будет пробиваться сквозь маленькую щель, как вода сквозь дамбу, всё более её размывая. То есть воздействие, которое может вызвать сверхизвержение, может быть минимальным, так сказать, информационным. Пример: недавно в Индонезии случайно попали при бурении в водоносный слой и создали грязевой вулкан, который затопил 25 кв. км. территории .
Однако следует помнить, что примерно в 3000 км под нами, под мантией, находится резервуар сжатой и перегретой жидкости с огромным количеством растворённого в ней газа – жидкое земное ядро. Если дать выход даже малой части его энергии и газов на поверхность, то это гарантировано уничтожит всю земную жизнь эффективнее всех других способов.
Далее, неизвестно, насколько само ядро готово в таком масштабе извергнуться на поверхность. Крупные площадные извержения, вызванные, вероятно, подъёмом плюмов из глубин мантии, случались много миллионов лет назад на плато Декан в Индии и у нас в Сибири (район Норильска – оттуда и никель) и связываются со значительными вымираниями живых организмов. Магма и сейчас поднимается по каналам-плюмам, например, на Гавайях. Однако это не каналы для вещества ядра; считается, что вверх поднимаются горячие, твёрдые (очень вязкие) куски мантии за счёт более высокой плавучести, которые становятся жидкими только около поверхности за счёт падения давления. И хотя жидкое железо в ядре слишком тяжёлое, чтобы подниматься на поверхность, его могло выбрасывать давление растворённых в нём газов, если бы подходящий сквозной  канал образовался – как при открывании шампанского. 
Земная цивилизация будет всё глубже вгрызаться в землю с целью добычи полезных ископаемых, энергии и для экспериментов. В результате, риск катастрофических извержений будет постоянно расти. Уже предлагался проект проплавления земной коры с помощью огромной капли (сотни тысяч тонн) расплавленного железа – зонд Стивенсона . Стоимость проекта оценивается в 10 миллиардов долларов, и он выглядит теоретически реализуемым. Югославский астроном и исследователь глобальных рисков Милан Чироквич написал статью «Геоинженерия, пошедшая насмарку» , где подверг проект резкой критике, как опасный для земной цивилизации, так как он может, по мнению Чироковича, привести к высвобождению огромного количества парниковых газов и вызвать необратимое глобальное потепление, как на Венере.
Высокотемпературные роботы-горнорабочие также могут стать таким опасным инструментом. Японцы планируют просверлить дно океана вплоть до мантии. Уже предлагался проект бомбы против бункеров, которая, упав, вгрызается в поверхность, как самоходный проходческий щит и продвигается вглубь. Таким же образом могли бы действовать и взрыватели вулканов. Такое устройство может быть дешевле ядерной бомбы, и его можно доставить на место малозаметным образом.
Любое оружие, которое пригодно для борьбы с бункерами глубокого залегания, может применяться и для пробуждения вулканов. Одним из вариантов такого оружия (и стоящий на вооружении сейчас в США) является последовательная атака ядерными зарядами, создающая всё более глубокий кратер. Возможно, что недостаточно пробудить один сверхвулкан или просто крупный вулкан для глобальных последствий, но если пробудить их все сразу, то вымирание становится вероятным. На Земле известно сейчас 20 сверхвулканов и 500 обычных вулканов.
Возможно, что возникнет практическая необходимость пробудить вулкан, чтобы охладить атмосферу его выбросами, если проблема глобального потепления станет очень остро. В настоящий момент вероятность искусственного пробуждения сверхвулкана крайне мала, так как помимо вулканов есть масса привлекательных объектов для диверсий, даже если бы достаточно опасное оружие попало в руки террористов. (Однако в обзоре о шести способах наиболее опасного применения водородной бомбы террористами , именно атака на сверхвулкан выделяется как главная.) Но в случае мировой войны взрыв супервулкана мог бы стать последним оружием для проигрывающей стороны. Технологические возможности для взрыва вулкана медленно растут с развитием технологий бурения и ядерного оружия. Молекулярное производство и нанотехнологии могли бы дать шанс для дешёвого создания мощных машин, необходимых для вскрытия вулканов. Но овладение нанотехнологиями даст более простые пути к тем целям, которые можно было бы реализовать с помощью супервулкана.

Глава 16. Физические эксперименты: столкновение с неведомым лоб в лоб.
Я думаю, что наибольшая угроза глобальных катастроф исходит не со стороны того, что нам известно, а от абсолютно неведомых нам пока факторов. Я не удивлюсь, если через несколько десятков лет список ожидаемых катастроф принципиально изменится, и в нём на первое место выйдут факторы, о которых мы не могли даже помыслить сейчас. Я полагаю, каждый читатель может найти примеры из своей жизни, когда он оказывался в ситуациях и обстоятельствах, о которых он не мог даже помыслить на предыдущем жизненном этапе; тоже верно и для человеческой истории в целом. То есть речь идёт о ситуациях не просто фантастических, поскольку фантастическим является то, что люди смогли себе нафантазировать, а о ситуациях, находящихся за пределами фантастического именно потому, что представить их заранее было невозможно. Очевидно, что мы не можем приготовиться к таким ситуациям, потому что, чтобы готовиться, надо представлять себе объект. Единственное, что остаётся, это готовиться апофатически, то есть не путём принятия каких-то конкретных мер, а путём повышения открытости своего сознания к бесконечному разнообразию возможных вариантов.
Особым случаем встречи с неизвестным являются ситуации, когда человечество сознательно шагает в его область с тем, чтобы узнать что-то новое. Одним из таких способов скачка в неведомое являются физические эксперименты, в ходе которых создаются состояние вещества, никогда не возникающие на Земле в естественных условиях. Обычно такие состояния вещества создаются на ускорителях (а также при глубоком охлаждении, как, например, конденсат Бозе-Эйнштейна).
Неоднократно высказывались опасения, что опыты по созданию микроскопических чёрных дыр на ускорителях, конденсации нейтронов и другие эксперименты могут привести или к коллапсу земного вещества или к колоссальному взрыву, который мгновенно истребит жизнь на Земле. Основной парадокс здесь в том, что безопасность любых экспериментов обосновывается тем, что мы знаем, что получится в результате, а цель эксперимента – в том, чтобы узнать что-то новое. Иначе говоря, если мы ничего нового не узнаем, то какой смысл ставить физические эксперименты, а если мы можем узнать что-то новое, то это может быть опасно. Может быть, молчание вселенной объясняется тем, что все цивилизации рано или поздно осуществляют некий эксперимент по «извлечению энергии из вакуума», а в результате их планеты разрушаются. Другая точка зрения состоит в том, что раз похожие явления бывают в природе, например, при бомбардировке космическими лучами атмосферы, то безопасно их повторять. Однако можно сказать, что, повышая уровень энергий, мы рано или поздно можем дойти до некой опасной черты, если она есть.
Опасность экспериментов прямо связана с возможностью наличия неизвестных нам фундаментальных физических законов. Вопрос этот трудно решить вероятностным образом. В XX веке уже было несколько открытий фундаментальных законов, и некоторые привели к созданию новых опасных видов оружия – хотя к концу XIX века картина мира казалась завершённой. Назову только открытия радиоактивности, квантовой механики, теории относительности, а в последнее время – тёмной материи и тёмной энергии.
Кроме того, есть ряд экспериментальных данных и непроверенных теорий, которые имеют разную степень достоверности – но многие из них предполагают физические эффекты, которые могут быть опасны. Например, иногда мелькают сообщения, почти наверняка антинаучные, о трансмутации химических элементов без радиоактивности – но разве это не способ наработать плутоний для атомной бомбы? Или, если такая трансмутация возможна, то не приведёт ли она к цепной реакции трансмутации по всей Земле?
Считается, что современные эксперименты на ускорителях не дотягивают на многие порядки до энергий, которые возникают в результате естественных столкновений космических лучей, происходящих в атмосфере Земли. Однако в книге Джона Лесли приводится оценка, что если энергия ускорителей будет расти с нынешней скоростью, то опасные уровни энергии будут достигнуты к 2100 году. Он показывает, что в течение всего ХХ века каждые 10 лет энергия, достигаемая на ускорителях, возрастала в 10 раз. И хотя сейчас обычные ускорители подошли к своему физическому пределу по размерам, есть принципиально другой способ достигать тех же энергий на установках размером с рабочий стол – речь идёт о разгоне частиц в ударной волне импульсного лазера. В то же время программа СОИ предполагала создание импульсных лазеров колоссальной силы, запитывавшихся от ядерных взрывов.
Риски, связанные с физическими экспериментами, вполне осознаются научным сообществом, и европейский ядерный центр ЦЕРН недавно опубликовал доклад с обоснованием безопасности нового коллайдера , в котором отвергаются риски, связанные с возникновением на новом ускорителе «Большой Адронный Коллайдер», LHC (вступит в строй в 2008 году) микроскопических чёрных дыр, магнитных монополей и страйнджлетов. Тем не менее, есть ряд учёных и общественных деятелей, которые активно борются с LHC, критикуя предлагаемые меры безопасности и их теоретические основания . Например, активно используемая аналогия с природными процессами (столкновение космических лучей с земной атмосферой) не точно соответствует тому, что будет происходить в LHC, хотя бы потому что скорость частиц, образующихся при столкновении в атмосфере, по закону сохранения импульса, остаётся близкой к скорости света, а импульс при столкновении встречных пучков в LHC нейтрализуется, и скорость может быть нулевой, что имело бы решающее значение для дальнейшего поведения микроскопических чёрных дыр, так как в первом случае они пролетели бы Землю насквозь за доли секунды, а во втором – задержались бы в её веществе на большее время, смогли бы увеличить массу и задержаться ещё больше.
Даже если принять те границы безопасности (вероятность катастрофы P < 2*10 ), которые предлагают сторонники продолжения экспериментов, и применить к ним стандартную при анализе рисков процедуру оценки ценности, то, как показывает Эдриан Кент в своей статье «Критический обзор оценок рисков глобальных катастроф» , получатся неприемлемые по стандартам других отраслей результаты – а именно, этот риск будет эквивалентен гибели от 120 до 60 000 человек.
Дж. Лесли даёт подробный анализ различных теоретически возможных опасных экспериментов. К их числу относится:
1) Переход вакуума в новое метастабильное состояние . Есть гипотеза о том, что вакуум, будучи нулевым энергетическим уровнем всех физических полей, не является окончательным возможным таким уровнем. Точно так же уровень воды горного озера не является настоящим уровнем моря, хотя вода в озере может быть широкой и гладкой. И достаточно сильный всплеск волн в таком озере может привести к разрушению окружающих озеро барьеров, что приведёт к излиянию вод озера на уровень моря. Точно также, возможно, что достаточно высокоэнергетичный физический эксперимент может создать область вакуума с новыми свойствами, которая начнёт неограниченно расширяться.   (Существование тёмной энергии, которая ускоряет расширение вселенной, косвенно подтверждает то, что наш вакуум – не истинный.) Возникновение нашей вселенной, собственно, и было переходом вакуума из одного состояния в другое .
2) Образование объектов, состоящих из гипотетической кварковой материи, способной присоединять к себе атомы обычного вещества. Поскольку в её образовании играют важную роль так называемые «странные кварки», то способная возникнуть учиться в результате устойчивая материя называется «странной материи», а её частицы – стрейнджлетами (от англ. stranglets). Разработана идея установки, которая способна порождать и накапливать кусочки этой материи, а также использовать падение обычной материи на неё для получения энергии. К сожалению, авторы идеи ничего не говорят о том, что будет, если сгусток странной материи покинет ловушку и начнёт неограниченно поглощать вещество Земли.
3) Опасные геофизические эксперименты с глубоким бурением или проникновением сквозь кору, чреватые образованием сверхвулкана и дегазацией глубинных слоёв Земли.
4) Научное сообщество детально обсуждает риски образования микроскопических чёрных дыр, которые должны возникать при столкновении частиц на последних моделях ускорителей в ближайшем будущем.  Образование микроскопической чёрной дыры, даже если она будет устойчива (а большинство учёных считают, что она распадётся за малые доли секунды благодаря излучению Хокинга, хотя есть и несогласные ), не должно привести к немедленному засасыванию в неё всего вещества Земли, так как размеры её будут около размеров атома, а вокруг неё будет микроскопический аккреционный диск, который будет дозировать поступление вещества. Но такая микро-чёрная дыра неизбежно упадёт в сторону центра Земли, проскочит его и начнёт совершать колебательные движения.
5) Возникновение магнитного монополя на LHC в ЦЕРН. Магнитный монополь гипотетически может ускорять распад протонов, приводя к огромному выделению энергии, однако в отчёте ЦЕРН по безопасности предполагается, что даже если такой монополь возникнет, он быстро покинет Землю.
6) Инициирование нового Большого взрыва при экспериментах на ускорителях. (В определённом смысле этот процесс аналогичен распаду фальшивого вакуума. Ключевым для его запуска является достижение сверхвысокой плотности энергии в 10**76 грамм на куб. см. Однако само количество энергии, необходимое для инициации процесса, может быть небольшим, возможно, меньше энергии взрыва водородной бомбы.) Подробно этот риск рассматривает Лесли . В связи с этим представляет интерес гипотеза, что при возникновении разных вселенных с разными свойствами наибольшую долю вселенных составляют те, которые способны порождать новые вселенные. (Изначально такая гипотеза была высказана в связи с предположением, что такой процесс происходит в чёрных дырах.) Однако поскольку наша вселенная ещё и «тонко настроена» на то, чтобы быть пригодной для существования разумной жизни, способной развивать технологию, можно предположить, что именно разумные цивилизации некоторым образом способствуют повторению условий, ведущих к новому большому взрыву, возможно, в ходе неудачных физических экспериментов.
Приведённый список наверняка неполон, так как он описывает только то, что мы знаем, тогда как в экспериментах мы сталкиваемся с тем, чего не знаем. Погодовая вероятность опасного физического эксперимента растёт с течением времени, так как всё более высокоэнергетичные установки вводятся в строй и изобретаются новые способы достижения высоких энергий, а также применения их к объектам, к которым они обычно не применяются в природе. Кроме того, растёт разнообразие возможных физических экспериментов, которые могут привести к глобальной катастрофе. Развитие технологий молекулярного производства и самовоспроизводящихся роботов позволит в будущем создавать гигантские установки в космосе, используя материал астероидов, по цене только первого робота-«семени», то есть практически бесплатно. Это позволит выйти на гораздо более высокие энергии экспериментов – и на новый уровень рисков.
Интересный вариант нового глобального риска предложен в статье «Поведение распада фальшивого вакуума в поздние промежутки времени: возможные последствия для космологии и метастабильных инфляционных состояний» , в русскоязычной прессе пересказанной под броскими заголовками вроде: «Астрономы разрушат Вселенную» .  В ней говорится, что скорость распада квантовых систем зависит оттого, наблюдаются они или нет (проверенный факт), а затем это обобщается на проблему наблюдения устойчивости Вселенной как целого в связи с проблемой так называемой тёмной энергии. «Измерив плотность тёмной энергии, мы вернули её в начальное состояние, по сути, сбросив отсчёт времени. А в этом начальном состоянии вакуум распадается в соответствии с «быстрым» законом, и до критического перехода к «медленному» распаду ещё очень далеко. Короче говоря, мы, возможно, лишили Вселенную шансов на выживание, сделав более вероятным её скорый распад». Хотя вряд ли именно этот риск реален, сама идея такого риска иллюстрирует возможность того, что новый глобальный риск, связанный с физическими экспериментами, может придти с самой неожиданной стороны.
Поскольку всегда в экспериментах имеет место доля риска, имело бы смысл отложить их до момента создания развитого ИИ. Часть экспериментов имеет смысл делать не на Земле, а далеко в космосе.
В связи с физическими экспериментами встаёт вопрос о том, в какой мере мы можем доверять учёным, крайне заинтересованным в продолжении своих экспериментов, в том, чтобы они сами устанавливали допустимые границы рисков. Частично эта проблема решается в ЦЕРН через создание анонимных экспертных комиссий для оценки рисков. (Однако анонимность делает авторов такого отчёта более безответственными). И если такая комиссия говорит нам, что шанс катастрофы составляет 1 на 100 миллионов, мы можем это понимать как то, что шансы того, что эта комиссия ошибается, составляют 1 на 100 миллионов. Иначе говоря, если бы эта комиссия написала бы 100 миллионов отчётов по безопасности, то только один из них был бы ложен. Но тут сразу становится очевидно, что ни один человек и никакая человеческая институция не может быть безошибочна в такой степени. Ошибки и подлоги регулярно обнаруживаются даже в опубликованных в самых авторитетных научных журналах статьях, которые, как предполагается, прошли через руки нескольких рецензентов. Особенно этим отравлены области, где результат трудно проверить, а коммерческое значение его велико, например, медицинская статистика. Я вовсе не утверждаю, что анализ безопасности физических экспериментов выполнен недостоверно, однако мы должны допускать небольшую вероятность этого. И эта вероятность окажется значительно большей, чем вероятностная оценка, даваемая в самом исследовании. Можно было бы оценить вероятность наткнуться на достоверную статью по доле отозванных или опровергнутых статей. Хотя у меня нет точных цифр, но это никак не 1 к 100 миллионам, а скорее 1 к 1000, или может быть даже ещё больше.
Из сказанного следует, что какие бы ни были оценки безопасности, мы не должны им доверять больше, чем на 99,99%, что автоматически делает эту величину максимально возможной оценкой безопасности.
Можно проиллюстрировать неприемлемость риска 1 к 100 миллионам и другим образом. Если это риск одного эксперимента, то это ещё ничего. Но если такой эксперимент мог бы провести каждый из 6 миллиардов жителей Земли, то это означало бы неизбежную гибель Земли. Таким образом, эта оценка риска бессмысленна, если к ней не добавлено ограничение на число будущих опасных экспериментов.
Глава 17. Маловероятные сценарии человеческого вымирания.
В то время как одним сценариям вымирания мы можем приписать значительную вероятность, другие имеют шансы в тысячные или даже миллионные доли процента. Не проще ли было бы пренебречь этими сценариями по той простой причине, что погрешность в определении вероятности более вероятных сценариев значительно перекрывает вклад маловероятных? Однако не только соображения «научной честности» могут побудить нас исследовать эти крайне маловероятные сценарии. Нам нужны твёрдо обоснованные доказательства их маловероятности. То, что кажется крайне маловероятным в одной системе описания, может выглядеть вполне реальным в другой. Например, с точки зрения статистики вероятность того, что в два небоскрёба в Нью-Йорке одновременно врежутся два самолёта – ничтожна. (А именно, примерно 1 раз в 20 миллионов лет, или даже ещё реже, если основываться на  временном промежутке примерно в 50 лет от предыдущей катастрофой такого рода, когда бомбардировщик Б-25 врезался в Эмпайр Стайт Билдинг 28 июля 1945.) Даже в триллере Тома Клэнси  «Долг Чести» (1994), в котором, как считается, предсказаны события 11 сентября, Капитолий таранит только один самолёт (правда, управляемый японцем-камикадзе из членов экипажа, а не пассажиров). 
Наконец, не трудно убедиться, что по поводу большинства катастрофических сценариев нет научного консенсуса, и в некоторых случаях из тысяч исследователей только единицы считают некий сценарий возможным -  а их коллеги вообще отказывают этим исследователям в статусе учёных, отказываются печатать их статьи в профильных журналах, называют их рассуждения «бредом» – и часто бывают правы. Рассмотрим несколько гипотетических и маловероятных сценариев катастроф.
Солнечные вспышки и увеличение светимости
То, что нам известно о Солнце, не даёт оснований для беспокойства. Солнце не может взорваться. Только наличие неизвестных нам или крайне маловероятных процессов может привести к вспышке (коронарному выбросу), которая сильно опалит Землю в XXI веке. Но у других звёзд бывают вспышки, в миллионы раз превосходящие солнечные. Однако изменение светимости Солнца оказывает влияние на изменение климата Земли, что доказывает совпадение времени малого ледникового периода в XVII веке с минимумом солнечных пятен Маундера . Возможно, с колебаниями светимости связаны и ледниковые периоды.
Процесс постепенного увеличения светимости Солнца (на 10 процентов каждые миллиард лет ) приведёт к выкипанию океанов – с учётом других факторов потепления –  в течение 1 млрд. лет  (то есть гораздо раньше, чем Солнце станет красным гигантом и, тем более, белым карликом). Однако по сравнению с исследуемым нами промежутком в 100 лет этот процесс незначителен (если только он не сложился вместе с другими процессами, ведущими к необратимому глобальному потеплению – см. далее).
Есть предположения, что по мере выгорания водорода в центральной части Солнца, что уже происходит, будет расти не только светимость Солнца (светимость растёт за счёт роста его размеров, а не температуры поверхности), но и нестабильность его горения. Возможно, что последние ледниковые периоды связаны с этим уменьшением стабильности горения. Это понятно на следующей метафоре: когда в костре много дров, он горит ярко и устойчиво, но когда большая часть дров прогорает, он начинает то немного гаснуть, то ярко вспыхивать снова, когда находит несгоревшую ветку.
Уменьшение концентрации водорода в центре Солнца может спровоцировать такой процесс как конвекцию, которая обычно в ядре Солнца не происходит, в результате чего в ядро поступит свежий водород . Возможен ли такой процесс, будет ли он плавным или катастрофическим, займёт ли годы или миллионы лет, трудно сказать. Шкловский предполагал , что в результате конвекций температура Солнца падает каждые 200 млн. лет на период порядка 10 млн., и что мы живём в середине такого периода. То есть опасно завершение этого процесса, когда свежее топливо наконец поступит в ядро и светимость Солнца возрастёт. (Однако это маргинальная теория, и в настоящий момент разрешена одна из основных проблем, которая её породила – проблема солнечных нейтрино.)
Важно, однако, подчеркнуть, что как сверхновая или новая Солнце, исходя из наших физических представлений, вспыхнуть не может.
Вместе с тем, чтобы прервать разумную жизнь на Земле, Солнцу достаточно разогреться на 10 процентов за 100 лет (что повысило бы температуру на Земле на 10-20 градусов без парникового эффекта, но с учётом парникового эффекта бы, скорее всего, оказалось выше критического порога необратимого потепления). Такие медленные и редкие изменения температуры звёзд солнечного типа было бы трудно заметить астрономическими методами при наблюдении солнцеподобных звёзд – поскольку только недавно достигнута необходимая точность оборудования. (Кроме того, возможен логический парадокс следующего вида: солнцеподобные звёзды – это стабильные звёзды спектрального класса G7 по определению. Не удивительно, что в результате их наблюдения мы обнаруживаем, что эти звёзды стабильны.)
Итак, один из вариантов глобальной катастрофы состоит в том, что в результате неких внутренних процессов светимость Солнца устойчиво возрастёт на опасную величину (и мы знаем, что рано или поздно это произойдёт). В настоящий момент Солнце находится на восходящем вековом тренде своей активности, но никаких особых аномалий в его поведении замечено не было. Вероятность того, что это случится именно в XXI веке, – ничтожно мала.
Второй вариант глобальной катастрофы, связанной с Солнцем, состоит в том, что сложатся два маловероятных события – на Солнце произойдёт очень крупная вспышка и выброс этой вспышки будет направлен на Землю. В отношении распределения вероятности такого события можно предположить, что здесь действует тот же эмпирический закон, что и относительно землетрясений и вулканов: 20 кратный рост энергии события приводит к 10 кратному снижению его вероятности (закон повторяемости Гутенберга–Рихтера). В XIX веке наблюдалась вспышка в 5 раз, по современным оценкам, более сильная, чем самая сильная вспышка в XX веке. Возможно, что раз в десятки и сотни тысяч лет на Солнце происходят вспышки, аналогичные по редкости и масштабности земным извержениям супервулканов. Всё же это крайне редкие события. Крупные солнечные вспышки, даже если они не будут направлены на Землю, могут несколько увеличить солнечную светимость и привести к дополнительному нагреву Земли. (Обычные вспышки дают вклад не более 0,1 процента).
В настоящий момент человечество неспособно как-либо повлиять на процессы на Солнце, и это выглядит гораздо более сложным, чем воздействие на вулканы. Идеи сброса водородных бомб на Солнце для инициирования термоядерной реакции выглядят неубедительно (однако такие высказывались, что говорит о неутомимых поисках человеческим умом оружия судного дня).
Есть довольно точно просчитанный сценарий воздействия на Землю магнитной составляющей солнечной вспышки. При наихудшем сценарии (что зависит от силы магнитного импульса и его ориентации – он должен быть противоположен земному магнитному полю), эта вспышка создаст сильнейшие наводки в электрических цепях линий дальней передачи электроэнергии, что приведёт к выгоранию трансформаторов на подстанциях. В нормальных условиях обновление трансформаторов занимает 20-30 лет, и если все они сгорят, то заменить их будет нечем, поскольку потребуются многие годы на производство аналогичного количества трансформаторов, что будет трудно организовать без электричества. Такая ситуация вряд ли приведёт к человеческому вымиранию, но чревата мировым глобальным экономическим кризисом и войнами, что может запустить цепь дальнейшего ухудшения. Вероятность такого сценария трудно оценить, так как мы обладаем электрическими сетями только примерно сто лет.
Гамма-всплески
Гамма-всплески – это интенсивные короткие потоки гамма-излучения, приходящие из далёкого космоса. Гамма-всплески, по-видимому, излучаются в виде узких пучков, и поэтому их энергия более концентрированная, чем при обычных взрывах звёзд. Возможно, сильные гамма-всплески от близких источников послужили причинами нескольких вымираний десятки и сотни миллионов лет назад . Предполагается, что гамма-всплески происходят при столкновениях чёрных дыр и нейтронных звёзд или коллапсах массивных звёзд. Близкие гамма-всплески могли бы вызывать разрушение озонового слоя и даже ионизацию атмосферы. Однако в ближайшем окружении Земли не видно подходящих кандидатов ни на источники гамма-всплесков, ни на сверхновые (ближайший кандидат в источник гамма-всплеска, звезда Эта Киля – достаточно далеко – порядка 7000 световых лет и вряд ли ось её неизбежного в будущем взрыва будет направлена на Землю – гамма-всплески распространяются в виде узконаправленных пучков-джетов; однако у потенциальной звезды-гиперновой звезды WR 104, находящейся на почти таком же расстоянии, ось направлена почти в сторону Земли . Эта звезда взорвётся в течение ближайших нескольких сотен тысяч лет, что означает шанс катастрофы с ней в XXI веке менее 0.1%, а с учётом неопределенности её параметров вращения и наших знаний о гамма- всплесках – и ещё меньше ). Поэтому, даже с учётом эффекта наблюдательной селекции, который увеличивает частоту катастроф в будущем по сравнению с прошлым в некоторых случаях до 10 раз (см. мою статью «Природные катастрофы и антропный принцип») вероятность опасного гамма-всплеска в XXI веке не превышает тысячных долей процента. Тем более люди смогут пережить даже серьёзный гамма-всплеск в различных бункерах. Оценивая риск гамма-всплексов, Борис Штерн пишет: «Возьмем умеренный случай энерговыделения 10**52 эрг и расстояние до всплеска 3 парсека, 10 световых лет, или 10**19 см — в таких пределах от нас находится с десяток звезд. На таком расстоянии за считанные секунды на каждом квадратном сантиметре попавшейся на пути гамма-квантов планеты выделится 10**13 эрг. Это эквивалентно взрыву атомной бомбы на каждом гектаре неба! Атмосфера не помогает: хоть энергия высветится в ее верхних слоях, значительная часть мгновенно дойдет до поверхности в виде света. Ясно, что все живое на половине планеты будет истреблено мгновенно, на второй половине чуть позже за счет вторичных эффектов. Даже если мы возьмем в 100 раз большее расстояние (это уже толщина галактического диска и сотни тысяч звезд), эффект (по атомной бомбе на квадрат со стороной 10 км) будет тяжелейшим ударом, и тут уже надо серьезно оценивать — что выживет и выживет ли вообще что-нибудь».  Штерн полагает, что гамма-всплеск в Нашей галактике случается в среднем раз в миллион лет. Гамма-всплеск такой звезды, как WR 104, может вызвать интенсивное разрушение озонового слоя на половине планеты. Возможно, гамма-всплеск стал причиной Ордовикового вымирания 443 млн. лет назад, когда погибло 60% видов живых существ (и значительно большая доля по числу особей, так как для выживания вида достаточно сохранения всего нескольких особей). По мнению Джона Скейло (John Scalo) и Крейга Уилера (Craig Wheeler), гамма-всплески оказывают существенное влияние на биосферу нашей планеты приблизительно каждые пять миллионов лет .
Даже далёкий гамма-всплеск или иное высокоэнергетическое космическое событие может быть опасно радиационным поражением Земли – причём не только прямым излучением, которое атмосфера в значительной мере блокирует (но лавины частиц от высокоэнергетичных космических частиц достигают земной поверхности), но и за счёт образования в атмосфере радиоактивных атомов, что приведёт к сценарию, подобному описанному в связи с кобальтовой бомбой. Кроме того, гамма излучение вызывает окисление азота атмосферы, в результате чего образуется непрозрачный ядовитый газ – диоксид азота, который, образуясь в верхних слоях атмосферы, может блокировать солнечный свет и вызвать новый ледниковый период. Есть гипотеза, что нейтринное излучение, возникающее при взрывах сверхновых, может в некоторых случаях приводить к массовым вымиранием, так как нейтрино упруго рассеиваются тяжёлыми атомами с большей вероятностью, и энергия этого рассеяния достаточна для нарушения химических связей, а поэтому нейтрино чаще будут вызывать повреждения ДНК, чем другие виды радиации, имеющие гораздо большую энергию .
Опасность гамма-всплеска в его внезапности – он начинается без предупреждения из невидимых источников и распространяется со скоростью света. В любом случае, гамма-всплеск может поразить только одно полушарие Земли, так как длится только несколько секунд или минут.
Активизация ядра галактики (где сидит огромная чёрная дыра) тоже очень маловероятное событие. В далёких молодых галактиках такие ядра активно поглощают вещество, которое закручивается при падении в аккреционный диск и интенсивно излучает. Это излучение очень мощное и может препятствовать возникновению жизни на планетах. Однако ядро нашей галактики очень велико и поэтому может поглощать звёзды почти сразу, не разрывая их на части, а значит, с меньшим излучением. Кроме того, оно вполне наблюдаемо в инфракрасных лучах (источник Стрелец А), но закрыто толстым слоем пыли в оптическом диапазоне, и рядом с чёрной дырой нет большого количества вещества, готового к поглощению ею, – только одна звезда на орбите с периодом в 5 лет, но и она может летать ещё очень долго. И главное, оно очень далеко от Солнечной системы.
Кроме дальних гамма-всплесков, бывают мягкие гамма-всплески, связанные с катастрофическими процессами на особых нейтронных звёздах – магнитарах. 27 августа 1998 года вспышка на магнитаре привела к мгновенному снижению высоты ионосферы Земли на 30 км, однако этот магнитар был на расстоянии 20 000 световых лет. Магнитары в окрестностях Земли неизвестны, но обнаружить их может быть не просто.
Наша оценка вероятности опасных гамма-всплесков может быть (а может и не быть) серьёзно искажена действием эффекта наблюдательной селекции в духе антропного принципа; более того, здесь может сказаться эффект «отложенного спроса» – то есть те звезды, которые «отложили» (точнее, мы их наблюдаем такими в силу антропного принципа) свой гамма-всплеск, чтобы разумная жизнь на Земле могла сформироваться, теперь могут его осуществить. (Есть предположения, что жизнь во Вселенной крайне редка именно, потому что подавляющее большинство планет стерилизуется гамма-всплесками.) Подробнее см. мою статью «Природные катастрофы и антропный принцип». 
Сверхновые звёзды
Реальную опасность для Земли представлял бы близкий взрыв сверхновой на расстоянии до 25 световых дет или даже меньше . Но в окрестностях Солнца нет звёзд, которые могли бы стать опасными сверхновыми. (Ближайшие кандидаты – Мира и Бетельгейзе – находятся на расстоянии сотен световых лет.) Кроме того, излучение сверхновой является относительно медленным процессом (длится месяцы), и люди могут успеть спрятаться в бункеры. Наконец, только если опасная сверхновая будет строго в экваториальной плоскости Земли (что маловероятно), она сможет облучить всю земную поверхность, в противном случае один из полюсов уцелеет. См. обзор Майкла Ричмонда «Угрожает ли близкая сверхновая жизни на земле» ? Относительно близкие сверхновые могут быть источниками космических лучей, которые приведут к резкому увеличению облачности на Земле, что связано с увеличением числа центров конденсации воды. Это может привести к резкому охлаждению климата на длительный период .
Сверх-цунами
Древняя человеческая память в качестве самой страшной катастрофы доносит воспоминания о колоссальном наводнении. Однако на Земле нет такого количества воды, чтобы уровень океана поднялся выше гор. (Сообщения о недавнем открытии подземных океанов несколько преувеличены – в действительности речь идёт лишь о горных породах с повышенным содержанием воды – на уровне 1 процента .) Средняя глубина мирового океана – около 4 км. И предельная максимальная высота волны такого же порядка – если обсуждать саму возможность волны, а не то, возможны ли причины, которые создадут волну такой высоты. Это меньше, чем высота высокогорных плато в Гималаях, где тоже есть люди. Варианты, когда такая волна возможна – это гигантская приливная волна, возникшая, если бы рядом с Землёй пролетало бы очень массивное тело, или если бы ось вращения Земли сместилась бы или скорость вращения изменилась бы. Все эти варианты, хотя и встречаются в разных «страшилках» о конце света, выглядят невозможными или маловероятными.
Итак, очень маловероятно, что гигантское цунами уничтожит всех людей - тем более что уцелеют подводные лодки, многие корабли и самолёты. Однако гигантское цунами может уничтожить значительную часть населения Земли, переведя человечество в постапокалиптическую стадию, по ряду причин:
1.  Энергия цунами, как поверхностной волны, убывает пропорционально 1/R, если цунами вызвано точечным источником, и почти не убывает, если источник линейный (как при землетрясении на разломе).
2. Потери на передачу энергии волной малы.
3. Значительная доля населения Земли и огромная доля её научного и промышленного и сельскохозяйственного потенциала находится непосредственно на побережье.
4. Все океаны и моря связаны.
5. Идее использовать цунами как оружие уже возникала в СССР в связи с идеей созданий гигатонных бомб.
Плюсом здесь является то, что наиболее опасные цунами порождаются линейными источниками – движениями геологических разломов, а наиболее доступные источники цунами – точечные: взрывы бомб, падения астероидов, обвалы.
Сверх-землетрясение
Назовём сверхземлетрясением колебания поверхности, приводящие к полным разрушениям  и охватывающим всю поверхность Земли. Такое событие не могло бы убить всех людей, так как остались бы корабли, самолёты, и люди на природе. Но оно бы однозначно бы разрушило всю техногенную цивилизацию. Источником такого сверхземлетрясения могут стать:
• Взрыв супервулкана
• Падение астероида (ов)
• Взрыв сверхбомбы
• Растрескивание Земли по линии океанических хребтов
• Неизвестные процессы в ядре Земли.
При равной энергии, сверхземлетрясение будет менее опасно, чем сверх-цунами, так как его энергия будет распределена по объёму. Выдвигалось маргинальное предположение, что при землетрясениях могут возникать не только сдвиговые деформации, но и сверхзвуковые ударные волны.
Переполюсовка магнитного поля Земли
Мы живём в период ослабления и вероятно последующей переполюсовки магнитного поля Земли. Сама по себе инверсия магнитного поля не приведёт к вымиранию людей, так как переполюсовка уже многократно происходила в прошлом без заметного вреда. Однако одновременное сочетание трёх факторов – падения до нуля магнитного поля Земли, истощение озонового слоя и сильной солнечной вспышки приведёт к краху всех электрических систем, что чревато падением технологической цивилизации. И даже не сам это крах страшен, а то, что будет в его процессе с ядерным оружием и всеми прочими технологиями. Всё же магнитное поле убывает достаточно медленно (хотя скорость процесса нарастает), так что вряд ли оно обнулится в ближайшие несколько десятков лет. Другой катастрофический сценарий – изменение магнитного поля связано с изменениями потоков магмы в ядре, что как-то может аукнуться на глобальной вулканической активности (есть данные по корреляции периодов активности и периодов смены полюсов). Третий риск – возможное неправильное понимание причин существования магнитного поля Земли.
Возникновение новой болезни в природе
Крайне маловероятно, что появится одна болезнь, способная сразу уничтожить всех людей. Даже в случае мутации птичьего гриппа или бубонной чумы будут выжившие и не заболевшие. Однако поскольку число людей растёт, то растёт и число «природных реакторов», в которых может культивироваться новый вирус. Поэтому нельзя исключить шансы крупной пандемии в духе гриппа «испанки» в 1918 году. Хотя такая пандемия не сможет убить всех людей, она может серьёзно повредить уровень развития общества, опустив его на одну из постапокалптических стадий. Такое событие может случиться только до того, как созреют мощные биотехнологии, так как они смогут создавать достаточно быстро лекарства против него – и одновременно затмят риски естественных болезней возможностью с гораздо большей скоростью создавать искусственные. Естественная пандемия возможна и на одной из постапокалптических стадий, например, после ядерной войны, хотя и в этом случае риски применения биологического оружия будут преобладать. Чтобы естественная пандемия стала действительно опасной для всех людей, должно возникнуть одновременно множество принципиально разных смертельных возбудителей – что естественным путём маловероятно. Есть также шанс, что мощные эпизоотии – синдром коллапса колоний пчёл CCD , африканский грибок на пшенице (угандийская плесень UG99 ), птичий грипп и подобные – нарушат систему питания людей настолько, что это приведёт к мировому кризису, чреватому войнами и снижением уровня развития. Возникновение новой болезни нанесёт удар не только по численности населения, но и по связности, которая является важным фактором существования единой планетарной цивилизации. Рост населения и увеличение объёма одинаковых сельскохозяйственных культур увеличивают шансы на случайное возникновение опасного вируса, так как возрастает скорость «перебора». Отсюда следует, что существует определённый предел числа населения одного вида, после которого новые опасные болезни будут возникать каждый день. Из реально существующих болезней следует отметить две:
Птичий грипп. Как уже неоднократно говорилось, опасен не птичий грипп, а возможная мутация штамма H5N1 в вирус, способный передаваться от человека к человеку. Для этого, в частности, у него должны измениться прикрепляющие белки на поверхности, чтобы он прикреплялся не в глубине лёгких, а выше, где больше шансов попасть в капельки кашля. Возможно, что это относительно несложная мутация. Хотя есть разные мнения о том, способен ли H5N1 так мутировать, в истории уже есть прецеденты смертельных эпидемий гриппа. Наихудшей оценкой числа возможных жертв мутировавшего птичьего гриппа было 400 млн. человек. И хотя это не означает полного вымирания человечества, это почти наверняка отправит мир на некую постапокалиптическую стадию.
СПИД. Эта болезнь в современной форме не может привести к полному вымиранию человечества, хотя он уже отправил ряд стран Африки на постапокалиптическую стадию. Интересны рассуждения Супотинского о природе СПИДа  и о том, как эпидемии ретро-вирусов неоднократно прорежали популяции гоминидов. Он также предполагает, что у ВИЧ есть природный носитель, возможно, микроорганизм. Если бы СПИД стал распространяться, как простуда, участь человечества была бы печальна. Однако и сейчас СПИД почти на 100% смертелен, и развивается достаточно медленно, чтобы успевать распространиться.
Можно отметить так же устойчивые к антибиотикам новые штаммы микроорганизмов, например, больничного золотистого стафилококка и лекарство- устойчивый туберкулёз. При этом процесс нарастания устойчивости различных микроорганизмов к антибиотикам развивается, и такие организмы всё больше распространяются, что может в какой-то момент дать кумулятивную волну из многих устойчивых болезней (на фоне ослабленного иммунитета людей). Конечно, можно рассчитывать, что биологические сверхтехнологии победят их, но если в появлении таких технологий произойдет некая задержка, то участь человечества не завидна. Воскрешение оспы, чумы и других прошлых болезней хотя и возможно, но по отдельности каждая из них не может уничтожить всех людей. По одной из гипотез, неандертальцы вымерли из-за разновидности коровьего бешенства, то есть болезни, вызываемый прионом (автокаталитической формой свёртки белка) и распространяемой посредством каннибализма, так что мы не можем исключать риск вымирания из-за естественной болезни и для людей.
Наконец, совершенно безответственной выглядит история о том, что вирус гриппа «испанки» был выделен из захоронений, расшифрован и его код был опубликован в Интернете . Затем по требованиям общественности код убрали из открытого доступа. Но потом ещё был случай, когда этот вирус по ошибке разослали по тысячам лабораториям в мире для тестирования оборудования.
Маргинальные природные риски
Далее мы упомянем о глобальных рисках, связанных с природными событиями, вероятность которых в XXI веке крайне мала, и более того, сама возможность которых является необщепризнанной. Хотя я сам полагаю, что эти события можно не принимать в расчет, и они вообще невозможны, я думаю, что следует создать для них отдельную категорию в нашем досье о рисках, чтобы, из принципа предосторожности, сохранять определённую бдительность в отношении появления новой информации, могущей подтвердить эти предположения.
Самопроизвольный переход вакуума в состояние с более низкой энергией. По расчетам Бострома и Тегмарка вероятность подобной общевселенской катастрофы, даже если она физически возможна, – меньше 1 процента в ближайший миллиард лет . Это даёт шанс меньше, чем 1 к миллиарду, что она случится в XXI веке. Тоже относится к столкновению бран (поверхностей в многомерном пространстве в теории струн) и любым другим сценариям вселенских катастроф естественного происхождения.
Неизвестные процессы в ядре Земли. Есть предположения, что источником земного тепла является естественный ядерный реактор на уране в несколько километров диаметром в центре планеты . При определённых условиях, предполагает В.Анисичкин, например, при столкновении с крупной кометой, он может перейти в надкритическое состояние и вызвать взрыв планеты, что, возможно, и было причиной взрыва Фаэтона, из которого, возможно, сформировалась часть пояса астероидов. Теория явно спорная, так как даже существование Фаэтона не доказано, и наоборот, считается, что пояс астероидов сформировался из независимых планетозималей. Другой зарубежный автор, Р.Рагхаван предполагает, что естественный ядерный реактор в центре Земли имеет диаметр в 8 км и может остыть и перестать создавать земное тепло и магнитное поле .
Если по геологическим меркам некие процессы уже назрели, то это означает, что гораздо проще нажать на «спусковой крючок», чтобы запустить их, – а значит, человеческая деятельность может разбудить их. До границы земного ядра около 3000 км, а до Солнца 150 000 000 км. От геологических катастроф каждый год гибнут десятки тысяч людей, а от солнечных катастроф – никто. Прямо под нами находится гигантский котёл с расклеенной лавой, пропитанной сжатыми газами. Крупнейшие вымирания живых существ хорошо коррелируют с эпохами интенсивного вулканизма. Процессы в ядре в прошлом, возможно, стали причинами таких грозных явлений, как трапповый вулканизм. На границе пермского периода 250 млн. лет назад в Восточной Сибири излилось 2 млн. кубических км. лавы, что в тысячи раз превышает объёмы извержений современных супервулканов. Это привело к вымиранию 95 % видов.
Процессы в ядре также связаны с изменениями магнитного поля Земли, физика чего пока не очень понятна. В.А. Красилов в статье «Модель биосферных кризисов. Экосистемные перестройки и эволюция биосферы» предполагает, что периоды неизменности, а затем изменчивости магнитного поля Земли предшествуют колоссальным трапповым излияниям . Сейчас мы живём в период изменчивости магнитного поля, но не после длительной паузы. Периоды изменчивости магнитного поля длятся десятки миллионов лет, сменяясь не менее длительными периодами стабильности. Так что при естественном ходе событий у нас есть миллионы лет до следующего проявления траппового вулканизма, если он вообще будет. Основная опасность здесь состоит в том, что люди любыми своими проникновениями вглубь Земли могут эти процессы подтолкнуть, если эти процессы уже назрели до критического уровня. (Однако трапповые излияния не являются излияниями вещества самого ядра Земли – тяжёлого железа, а являются движением вверх разогретых теплом ядра частей мантии.)
В жидком земном ядре наиболее опасны растворённые в нём газы. Именно они способны вырваться на поверхность, если им будет предоставлен канал. По мере осаждения тяжёлого железа вниз, оно химически очищается (восстановление за счёт высокой температуры), и всё больше количество газов высвобождается, порождая процесс дегазации Земли. Есть предположения, что мощная атмосфера Венеры возникла относительно недавно в результате интенсивной дегазации её недр. Определённую опасность представляет соблазн получать даровую энергию земных недр, выкачивая раскалённую магму. (Хотя если это делать в местах, не связанных с плюмами, то это должно быть достаточно безопасно). Есть предположение, что спреддинг океанического дна из зон срединных хребтов происходит не плавно, а рывками, которые, с одной стороны, гораздо реже (поэтому мы их не наблюдали), чем землетрясения в зонах субдукции, а с другой – гораздо мощнее. Здесь уместна следующая метафора: разрыв воздушного шарика гораздо более мощный процесс, чем его сморщивание. Таяние ледников приводит к разгрузке литосферных плит и усилению вулканической активности (например, в Исландии – в 100 раз). Поэтому будущее таяние ледникового щита Гренландии опасно.
Наконец, есть смелые предположения, что в центре Земли (а также других планет и даже звёзд) находятся микроскопические (по астрономическим масштабам) реликтовые чёрные дыры, которые возникли ещё во время возникновения Вселенной. См. статью А.Г.Пархомова. «О возможных эффектах, связанных с малыми чёрными  дырами» . По теории С.Хокинга реликтовые дыры должны медленно испаряться, однако с нарастающей скоростью ближе к концу своего существования, так что в последние секунды такая дыра производит вспышку с энергией, эквивалентной примерно 1000 тонн массы (и в последнюю секунду 228 тонн), что примерно эквивалентно энергии 20 000 гигатонн тротилового эквивалента – она примерно равна энергии от столкновения Земли с астероидом в 10 км в диаметре . Такой взрыв не разрушил бы планету, но вызвал бы по всей поверхности землетрясение огромной силы, вероятно, достаточное, чтобы разрушить все строения и отбросить цивилизацию на глубоко постапокалиптический уровень. Однако люди бы выжили, хотя бы те, кто находился бы в самолётах и вертолетах в этот момент. Микроскопическая чёрная дыра в центре Земли испытывала бы одновременно два процесса – аккреции вещества и потери энергии хокинговским излучением, которые могли бы находиться в равновесии, однако сдвиг равновесия в любую сторону был бы чреват катастрофой – или взрывом дыры, или поглощением Земли или разрушением её за счёт более сильного выделения энергии при аккреции. Напоминаю, что нет никаких фактов, подтверждающих существование реликтовых чёрных дыр – это только маловероятное предположение, которое мы рассматриваем, исходя из принципа предосторожности.
Взрывы других планет солнечной системы. Есть другое предположение о причинах возможного взрыва планет, помимо взрывов урановых реакторов в центре планет по Анисичкину, а именно, особые химические реакции в ионизированном льде. Э.М. Дробышевский  в статье «Опасность взрыва Каллисто и приоритетность космических миссий»  предполагает, что такого рода события регулярно происходят в ледяных спутниках Юпитера, и для Земли они опасны образованием огромного метеоритного потока. Он высказывает гипотезу, что во всех спутниках эти процессы уже завершились, кроме Каллисто, который может взорваться в любой момент, и предлагает направить на исследование и предотвращение этого явления значительные средства. (Стоит отметить, что в 2007 году взорвалась, причём повторно, комета Холмса, и никто не знает почему – а в ней ионизация льда во время пролётов Солнца была возможна.)
В любом случае, чем бы ни было вызвано разрушение другой планеты или крупного спутника в Солнечной системе, этот представляло бы длительную угрозу земной жизни за счёт выпадения осколков. (См. описание одной гипотезы о выпадении осколков здесь: «Динозавров погубило столкновение астероидов в 400 млн. км. от Земли» ).
Внезапная дегазация растворённых в мировом океане газов. Грегори Рёскин опубликовал в 2003 году статью «Океанические извержения, вызванные метаном,  и массовые вымирания» в которой рассматривает гипотезу о том, что причиной многих массовых вымираний были нарушения метастабильного состояния растворённых в воде газов, в первую очередь метана. С ростом давление растворимость метана растёт, поэтому в глубине она может достигать значительных величин. Но это состояние метастабильно, так как если произойдёт перемешивание воды, то начнётся цепная реакция дегазации, как в открытой бутылке с шампанским. Выделение энергии при этом в 10 000 раз превысит энергию всех ядерных арсеналов на Земле. Рёскин показывает, что в наихудшем случае масса выделившихся газов может достигать десятков триллионов тонн, что сопоставимо с массой всей биосферы Земли. Выделение газов будет сопровождаться мощными цунами и горением газов. Это может привести или к охлаждению планеты за счёт образования сажи, или, наоборот, к необратимому разогреву, так как выделившиеся газы являются парниковыми. Необходимыми условиями для накопления растворённого метана в океанских глубинах является аноксия (отсутствие растворённого кислорода, как, например, в Чёрном море) и отсутствие перемешивания. Дегазация метангидратов на морском дне может также способствовать процессу. Для того, чтобы вызвать катастрофические последствия, отмечает Рёскин, достаточно дегазации даже небольшого по площади участка океана. Примером катастрофы подобного рода стала внезапная дегазация озера Ниос, которая в 1986 году унесла жизни 1700 человек. Рёскин отмечает, что вопрос о том, какова ситуация с накоплением растворённых газов в современном мировом океане, требует дальнейших исследований.


Глава 18. Теорема о конце света и другие логические парадоксы, связанные с человеческим вымиранием.

Одним из наиболее сложных для понимания моментов, связанных с рисками человеческого вымирания, является так называемая Теорема о конце света (Doomsday argument, сокращённо DA). Однако в зависимости от её истинности или ложности наша оценка вероятности человеческого вымирания может меняться на порядки. Существует множество несовместимых версий Теоремы о конце света, и не наблюдается никакого консенсуса между учёными, её исследующими.
Теорема о конце света имеет статус научной гипотезы – это значит, что работы, посвящённые ей, публикуются в ведущих научных и философских журналах (например, в Nature) в разделе «гипотезы». Следовательно, она не является ни апокалиптической фантазией, ни псевдонаучной теорией, вроде предположений о внезапном смещения полюсов Земли. Вместе с тем она довольно сложна, как специальная теория относительности, и, в отличие от взрыва атомной бомбы, её невозможно представить визуально.
В основе этой теоремы лежит так называемый принцип Коперника. Принцип Коперника гласит, что мы являемся обычными наблюдателями вселенной и находимся в обычных условиях. Или, иначе говоря, скорее всего, я нахожусь в середине некого процесса, и очень вряд ли в его самом начале или самом конце. Это применимо к любым процессам и явлениям. Например, я могу с большой долей уверенности утверждать, что читатель данного текста не читает его не в 1 час ночи 1 января, и не в 11 вечера 31 декабря, а где-то в середине года. Я также с значительной вероятностью могу утверждать, что фамилия читателя не начинается на Аа и не на Яя. Или например, если ткну пальцем в случайного человека на улице, очень маловероятно, что этот человек будет жить свой первый или свой последний день на Земле. Точно также очень маловероятно, что мой читатель сейчас находится на экваторе или на северном полюсе, а, скорее, всего, где-то между ними. Всё это кажется самоочевидным.
Теорема о конце света применяет те же самые рассуждения к моему месту в человеческой истории. Она гласит, что, скорее всего, я живу в середине всей человеческой истории, а не в самом начале её и не в самом конце. То есть крайне мало вероятно, что мой читатель является Адамом или его ближайшим родственником, или последним выжившим человеком в атомном бункере.
Отсюда делается нетривиальный вывод: зная своё нынешнее положение в истории человечества как среднее, можно приблизительно оценить будущее время существование человечества. То есть человечество просуществует в будущем примерно столько же, сколько оно просуществовало в прошлом. Поскольку вид Homo sapiens существует 100 000 лет, то можно предположить, что он просуществует ещё порядка ста тысяч лет.
Если это рассуждение верно, то человечество никогда не станет цивилизацией, которая в течение миллиардов лет покорит всю Галактику.
Но даже гибель через 100 000 лет не выглядит особенно пугающей, до тех пор пока мы рассматриваем только возраст человечества в годах. Однако для более точного вычисления среднего положения нам надо было бы использовать не возраст существования человечества, а учесть тот факт, что плотность населения постоянно росла, и поэтому гораздо вероятнее родиться в период, когда население Земли исчисляется миллиардами, как в XX веке. Для этого надо использовать не дату рождения человека, а его ранг рождения, то есть его как бы порядковый номер в счету родившихся людей. До настоящего времени на Земле родилось примерно 100 млрд. людей. Если верно, что я нахожусь примерно в середине общего числа людей, которое когда-либо будет жить на Земле, то в будущем, до человеческого вымирания, родится примерно ещё порядка 100 млрд. людей (точная связь вероятности и ожидаемого числа даётся формулой Готта). Однако, учитывая то, что население Земли приближается к 10 миллиардам, то искомые следующие 100 миллиардов будут набраны менее чем за тысячу лет. Итак, тот факт, что, скорее всего, я нахожусь в обычных условиях, означает, что шансы для человечества погибнуть в ближайшую тысячу лет весьма велики – такова наиболее простая формулировка Теоремы о конце света.
Вероятно, большинство читателей начали испытывать глубокое чувство протеста против приведённых выше рассуждений, усмотрев в них множество логических ошибок и издевательств над теорией вероятности. Кто-то уже вспомнил анекдот про шансы встретить динозавра на улице (50 на 50 – или встретишь или нет). Это – естественная реакция. Большинство учёных приняли данную теорию в штыки. Однако проблема с ней в том, что она не имеет простых опровержений. То есть существует десятки её опровержений, но ни одно из них не имеет общезначимой убедительной силы, и всегда находятся контраргументы.
Впервые данная идея пришла к Б.Картеру в начале 80-х годов, одновременно со знаменитым «антропным принципом». Однако он не решился её опубликовать как слишком смелую. Позже её опубликовал Дж.Лесли в своей книге «Конец света» и ряде статей. В формулировке Картера–Лесли теорема о конце света имеет более сложный вид с использованием базовой в теории вероятностей теоремы Байеса, однако окончательный результат получается ещё хуже, чем в приведённом упрощённом изложении – то есть вероятность человеческого выживания оказывается ещё ниже.
Однако пока Картер колебался, публиковать ли своё открытие, к похожим выводам, но в другой, более простой математической форме, пришёл Ричард Готт, который опубликовал в авторитетном журнале Nature гипотезу о том, что, зная прошлое время существования объекта, можно дать вероятностную оценку того, сколько времени он ещё просуществует – при условии, что я наблюдаю данный процесс в случайный момент времени его существования. Например, если я возьму случайного человека с улицы, то я могу дать, используя формулу Готта, следующую оценку вероятной продолжительности его будущей жизни: с вероятностью в 50% он умрёт в период времени, равный от одной трети до трёх его текущих возрастов. Например, если человеку 30 лет, то я могу с уверенностью в 50% утверждать, что он проживёт ещё от 10 до 90 лет, то есть умрёт в возрасте от 40 до 120. Безусловно, это верное, но крайне расплывчатое предсказание. Разумеется, если взять 90-летнего старика или годовалого младенца, то предсказание будет неверным – однако нельзя нарочно выбирать контрпримеры, так как условием применимости формулы Готта является выборка случайного человека. Точно также тот факт, что средняя скорость молекул газа в воздухе составляет 500 метров в секунду, не опровергается тем, что некоторые молекулы имеют скорость в 3 километра в секунду, а другие неподвижны – потому что статистические высказывания не опровергаются отдельными примерами. Ричард Готт успешно продемонстрировал предсказательную силу своей формулы, предсказав будущую продолжительность бродвейских шоу, только исходя из знания о том, сколько времени каждое из этих шоу уже шло, а также в предсказании времени распада радиоактивного элемента, если неизвестно, какой это элемент. 
Интересна история открытия Готтом своей формулы. Будучи студентом, он приехал в Берлин, и узнал, что берлинская стена существует уже 7 лет. Он заключил, что приезд его в Берлин и возраст стены являются взаимнослучайными событиями, и, воспользовавшись принципом Коперника, предположил, что, скорее всего, он находится приблизительно в середине времени существования Берлинской стены. Отсюда он сделал оценку, что с вероятностью в 50% стена падёт в период от 2.5 до 21 года от того момента. Примерно через двадцать лет стена пала, и Готта удивила точность своего предсказания. Тогда он и решился исследовать тему подробнее. Естественно, он применил свою формулу и к оценке времени будущего существования человечества, в результате чего получил рассуждения, аналогичные тем, с которых мы начали эту главу.
В формулировке Картера-Лесли Теоремы о конце света вычисляется не сама вероятность человеческого вымирания, а поправка к некой известной вероятности глобальной катастрофы, сделанная с учётом того факта, что мы живём до неё. Рассмотрим, как работает такая поправка на примере. Допустим, у нас есть две с виду одинаковые урны с шариками, в одной из которых лежит 10 шариков, пронумерованных от 1 до 10, а в другой – 1000 таких же шариков, пронумерованных от 1 до 1000. Мне предлагают сделать гипотезу о том, в какой урне сколько шариков. В этом случае моя ставка будет 50 на 50, так как урны одинаковые. Затем мне разрешают достать один шарик из одной урны. Если это шарик с номером больше 10, то я могу быть на 100% уверен, что это та урна, в которой 1000 шариков. Если же это шарик с номером меньше 10, допустим «7», то он мог происходить из обеих урн. Однако шансы достать такой шарик из первой урны – 100%, а из урны с тысячью шариками – только 1%. Отсюда я могу заключить, что урна, из которой я достал шарик, – это урна с десятью шариками с вероятностью примерно в 99 %. Теорема Байеса описывает данную ситуацию в общем случае, когда нужно «проапгрейдить» исходную вероятность с учётом новых данных.
Допустим, что вместо шариков у нас продолжительность существования земной цивилизации в столетиях. Тогда первой урне в 10 шариков соответствует выживание людей в течение 1000 лет, а второй урне – в течение 100 000. При этом мы знаем, что вероятность каждого из вариантов, исходя из общего теоретического анализа рисков, – 50% (что вполне правдоподобно). Тогда в качестве акта «вынимания шарика» будет принятие к сведению того факта, что мы сейчас находимся в первом тысячелетии технологической цивилизации. Тогда с вероятностью в 99% мы находимся в том русле будущего, которое проживёт только 1000 лет.
Проиллюстрируем это более близким к теме мысленным экспериментом (этот мысленный эксперимент известен в англоязычной литературе как парадокс спящей красавицы). Допустим, что некий космонавт отправляется в загерметизированном и лишённом часов космическом корабле в состоянии анабиоза на одну из двух планет. Первая планета обречена прожить 100 лет, а вторая – 1000, после чего каждая из планет взрывается. То, на какую из планет попадёт космонавт, определяется броском честной монеты после его старта и погружения в анабиоз. При этом дата посадки для каждой из планет определяется случайным образом. Итак, когда космонавт совершает посадку и выходит из анабиоза, но ещё не открывает люки корабля, он может рассуждать, что поскольку монета – честная, то он с вероятностью 50 на 50 находится на одной из двух планет. Затем он открывает люк и спрашивает у местного жителя, какой сейчас век по местному исчислению. Если сейчас век, больше, чем первый век, то он может быть уверен, что попал на вторую планету, которая живёт 1000 лет. Если же местный житель говорит, что сейчас первый век, то космонавт должен сделать поправку к той априорной вероятности в 50 на 50, которую он имел, когда сидел в закрытом корабле. Рассчитаем величину поправки: допустим, что космонавт участвовал в этом эксперименте 100 раз. Тогда (предполагая, что монета легла ровно 50 на 50) в 50 случаях он попадёт на первую планету, а в 50 на вторую. Из первых 50 случаев он в каждом из них получит ответ, что сейчас идёт только первый век, тогда как на второй планете он получит такой ответ только в одной десятой исходов, то есть в 5 случаях. Итак, в сумме он получит ответ, что сейчас идёт первый век в 55 случаях, из которых в 50 случаях это будет означать, что он оказался на короткоживущей планете. Тогда из того, что он узнал, что сейчас 1 век по местному исчислению, он может заключить, что он оказался на короткоживущей планете с вероятностью в 10/11, что примерно равно 91 %. Что значительно хуже его априорного знания о том, что шансы попасть на короткоживущую планету составляют 50%. Не трудно увидеть аналогию этого опыта с человеческой жизнью. Человек приходит в этот мир в закупоренной утробе и до поры до времени не знает, в каком веке он родился. Узнав это, он может использовать это знание, чтобы выяснить, попал ли он на короткоживущую или долгоживущую планету. Парадоксом данное рассуждение называется, потому что оно приводит к контринтуитивным выводам, и создаётся иллюзия, что благодаря этому рассуждению человек получает «трансцендентное» знание о будущем. Однако нет ничего особенного в том, чтобы получать данные о будущем, используя сведения сегодняшнего дня. Например, если я ожидаю посылку по почте или сегодня, или завтра, то, когда я узнаю, что она пришла сегодня, я понимаю, что она вряд ли придёт завтра.
Разумеется, здесь возникает много спорных моментов. Например, в каком смысле мы вправе рассматривать наше положение в истории в качестве случайного? Ведь мы могли задаться вопросом о применимости данной формулы только после изобретения математики и создания ядерного оружия. (Однако можно рассматривать в качестве случайного время от публикации теоремы о конце света до момента прочтения о ней читателем – и это только ухудшает ожидаемый прогноз, так как чем меньше времени в прошлом, тем меньше и в будущем, если я нахожусь посередине между началом и концом.)
В какой мере можно считать факт моего нахождения здесь и сейчас равносильным вытаскиванию шарика из урны? Но в отношении предсказания дня рождения – ведь, скорее всего, сегодня не ваш день рождения? – это работает.
Ник Бостром критикует теорему о Конце света с той точки зрения, что неопределенно, к какому классу живых существ она относится. Идёт ли речь о любых наделённых мозгом животных, о гоминидах, о чистокровных Homo sapiens, о тех, кто способен понять эту теорему или о тех, кто её уже знает? В каждом случае мы получаем разные числа прошлых поколений, а следовательно, разный ранг моего рождения и разные прогнозы будущего. Животных были тысячи триллионов, гоминидов – сотни миллиардов,  а Теорема о конце света известна только, вероятно, нескольким десяткам тысяч людей. Я вижу довольно изящное решение этой «проблемы референтных классов», состоящее в том, что «конец света» означает конец существования именно того класса, который в каждом конкретном случае имеется в виду. Конец существования не означает даже смерть – достаточно перейти в другой класс существ.
Объём дискуссии по этим и другим вопросам составляет десятки статей, и я рекомендую читателю не делать заранее никаких выводов, а ознакомится с мнениями сторон. Есть, в том числе, и выполненные мною переводы статей на эту тему на русский язык.
В любом случае, до того, как научный консенсус о природе высказанных гипотез будет достигнут, мы имеем место с очень сложной формой непредсказуемости, поскольку здесь речь идёт даже не о вероятности, а о неопределённости поправки к вероятности событий. Эти поправки могут быть на много порядков значительнее, чем риск падения астероидов и вообще любых природных катастроф, вместе взятых. Следовательно, важно направить силы лучших умов человечества на выработку единого понимания этого вопроса. 
Ещё одно рассуждение, похожее на теорему о конце света, но логически независимое от неё, связано с антропным принципом и его значением для будущего человечества. Напомню, что антропный принцип гласит, что мы можем наблюдать только те явления, которые совместимы с существованием наблюдателей. Хотя антропный принцип выглядит как тавтология, он имеет мощный объяснительный потенциал, так как объясняет, почему условия наблюдаемой нами вселенной выглядят такими, как если бы они были точно настроены для существования разумной жизни. Частным следствием антропного принципа является то, что мы можем существовать только в том мире, где не случались глобальные катастрофы, необратимо уничтожающие возможность развития разумной жизни. Например, мы не могли существовать около переменной катаклизмической звезды, и это объясняет то, почему Солнце – спокойная звезда.
Однако неизвестно, является ли отсутствие катастроф естественным свойством окружающей нас вселенной или случайным совпадением. Даже если бы некий катастрофический процесс приводил к стерилизации  планет со средней периодичностью раз в миллион лет (например, гамма-всплески), то мы могли бы обнаружить себя только на той планете, где этого не произошло, даже если вероятность этого события – 1 случай на 10 в степени 1000. Подробнее об этом можно почитать в статье Бострома и Тегмарка «Насколько невероятна катастрофа судного дня».
Следовательно, из того, что мы существуем, мы не можем делать никаких выводов о средней периодичности прошлых катастроф, которые могут привести к прекращению развития разумной жизни. (Этого обычно не понимают, и используют утверждения о том, что, например, «необратимого глобального потепления не было» как доказательство его невозможности. Но на самом деле то, что его не было, ничего не говорит о его вероятности.) Например, из того, что человек дожил до 80 лет, следует, что он за это время ни разу не умер, но это не является доказательством того, что вероятность его смерти была равна нулю, а значит и дальше будет малой.
Однако из сказанного можно сделать и более сильный вывод о том, что, скорее всего, мы живём в период статистической аномалии, в которой все необходимые для нашего существования факторы оказались на редкость устойчивыми, и более того, мы, вероятнее всего, живём в конце такой статистической аномалии. Иначе говоря, высока вероятность того, что мы живём в конце периода устойчивости многих важных для нашего существования процессов. То есть антропный принцип «перестал нас защищать».
Например, если некий человек играл в рулетку и три раза подряд угадал число (что бывает примерно раз в 30 000 попыток), то у него может создасться иллюзия о том, что он обладает особенными способностями, и он может ожидать, что и дальше будет выигрывать с тем же темпом. Если взять 30 000 человек, то у кого-то такая выигрышная серия может быть с первого раза, и ему будет очень трудно предположить, что вероятность выиграть в будущем – всего лишь 1 к 36.
Например, распространено ошибочное мнение, что мы находимся посередине периода устойчивой светимости Солнца, которое светило и будет светить несколько миллиардов лет. На самом деле светимость Солнца постоянно растёт в связи с его расширением, и по разным подсчётам оно приведёт к вскипанию земных океанов в период от 200 миллионов до миллиарда лет от настоящего момента – то есть в 5-20 раз хуже, чем мы могли бы ожидать, исходя из принципа Коперника.
С одной стороны, даже 200 миллионов лет для нас слишком огромный срок, чтобы принимать его во внимание, а поскольку данное рассуждение относится к природным процессам, то в нём везде должны фигурировать миллионы лет. То есть расползание природных параметров от их оптимума будет слишком медленным, чтобы это имело значение для нашей цивилизации. С другой стороны, здесь тоже возможен наихудший возможный случай, который состоит в том, что может так оказаться, что некий природные процессы находятся на грани своей устойчивости, и человеческое вмешательство может легко эту грань нарушить. Например, если некий гигантский сверхвулкан «созрел», то в таком состоянии он мог бы пребывать ещё миллионы лет, но бурение одной сверхглубокой скважины могло бы нарушить его устойчивость. То же касается и необратимого глобального потепления.
Наконец, настала пора вплотную обсудить парадокс Ферми. Он был сформулирован Энрико Ферми в 1950 году во время званого ужина, и состоял в вопросе «Если есть инопланетяне, то где же они?» Согласно принципу Коперника, мы являемся обычной цивилизацией в обычных условиях, и, следовательно, возникли в космосе далеко не первыми и не последними. Но если так, то почему мы не обнаруживаем следов деятельности других цивилизаций? По-видимому, существует некий Большой фильтр, который препятствует возникновению разумных цивилизаций или тому, что бы они проявляли себя. Существует огромное количество объяснений загадки молчания Космоса. Первая из них строит в том, что Земля является крайне редким явлением. Однако не понятно, какое именно событие является столь исключительно редким. Одно дело, если это возникновение жизни, а другое – если это распространенность космических катастроф, регулярно стерилизующих планеты. Во втором случае это может касаться и нас. Возможно, редким является возникновение многоклеточной жизни, или разума, или другого фактора, кажущегося нам естественным.
Однако есть вариант, что «большой фильтр» впереди нас – и он состоит в том, что все достигшие разума цивилизации разрушают себя. Наконец, есть варианты, что цивилизаций много, но они не разрушают себя, а просто невидимы нам. Например, они отказываются от освоения космоса, целиком сосредотачиваясь на виртуальном мире,  или они нарочно прячутся, опасаюсь космических врагов, или они давно уже наблюдают за нами, или пользуются необнаружимыми для нас средствами связи.
Следующий парадокс, возникающий в связи с угрозой гибели человечества, возникает в этической сфере. В процедурах принятия политических решения учитывается их ожидаемая полезность, которая выражается как произведение ожидаемого дохода на вероятность его получения. Также учитывается и ценность человеческих жизней: если произведение числа возможных жертв на вероятность данного события оказывается выше некоторого порога, то такое решение отвергается. Этот подход эффективно работает при оценке рисков на транспорте и производстве. Однако при применении его к оценке рисков возможной глобальной катастрофе, ведущей к человеческому вымиранию, он приводит к парадоксам. Это связано с тем, что если учитывать не только число людей, живущих сейчас, но и число всех будущих людей, которые никогда не родятся в случае катастрофы, то мы получаем бесконечно большой ущерб, не зависимо от его вероятности – поскольку при умножении бесконечно большого числа жертв на любую, даже самую малую вероятность, мы всё равно получаем бесконечно большое число. Из этого следует, что при рациональном принятии решений мы должны были бы пренебрегать любыми действиями, кроме тех, которые служат спасению человечества. Это похоже на поведение человека, который решил никогда не выходить из дома, потому что риск нахождения на улице больше, чем риск нахождения дома. (Очевидно, что такой человек в нашей системе координат является сумасшедшим, и, более того, он в среднем проживёт меньше, чем человек, который будет выходить из дома и заниматься спортом.) С другой стороны, попытки ввести поправки в рациональную систему оценки приводят к не менее абсурдным следствиям. Например, предлагается ввести «дискаунт» на ценность человеческой жизни в будущем. Тогда интегральная оценка не будет бесконечной, и её можно будет учитывать аналогично обычным рискам. Например, оценивать ценность жизни людей в 22 веке как 0.9 от жизни людей в 21 веке и так далее. Здесь выясняется следующее: если дискант производится по любому другому закону, кроме экспоненциального, то я могу играть против самого себя в разные промежутки времени. Если же взять экспоненциальный закон дискаунта, то он очень быстро спадает, что приводит к абсурдным выводам: например, что я имею право проводить такую политику, в результате которой через 1000 лет погибнет миллион человек, чтобы спасти сейчас одного человека.
Проблема дискаунта цены жизни людей не является риторической: например, осуществляя захоронение радиоактивного мусора, мы должны учитывать ущерб, который он может оказать и через тысячи лет, или, например, когда мы исчерпываем сейчас некий ресурс, который может потребоваться будущим поколениям. В любом случае, кажется аморальным полагать, что чья-то жизнь ничего не стоит только потому, что этот человек далёк от нас во времени или в пространстве, хотя эволюционно-психологические корни такой оценки понятны.
Ещё одна форма этого же парадокса предложена Ником Бострмом под названием «астрономическая растрата жизней». Он рассуждает, что если предположить, что человечество в будущем расселится по всей Галактике, то суммарная его численность составит огромную величину более чем 10 в 22 степени человек. Соответственно, откладывая расселение человечества по Галактике на 1 секунду, мы теряем в качестве не родившихся людей десять тысяч миллиардов человек. И с учётом конечности времени существования вселенной они так и никогда не родятся. Следовательно, мы должны прикладывать максимальные усилия для того, чтобы  прогресс развивался максимально быстро.
Более рациональной формой этого парадокса является идея о том, что один день отсрочки в ведении в эксплуатацию, скажем, доступного для всех искусственного сердца стоит десятков тысяч человеческих жизней.
Следующий парадокс связан с проблемой бесконечности Вселенной и вопросом об окончательности человеческого вымирания. Вполне материалистическим является предположение о бесконечности Вселенной (иначе мы должны признать, что есть некая сверхприродная сила, которая её ограничивает). И если это так, то можно ожидать, что во вселенной возникают все возможные миры. В том числе, в ней бесконечно много миров, населённых разумной жизнью, а значит, разум во Вселенной не исчезнет вместе с человеком. Более того, из этого следует, что даже в случае человеческого вымирания, когда-нибудь где-нибудь возникнет мир, почти не отличающийся от Земли, и в нём возникнут существа с тем же генетическим кодом, как у людей. Из этого следует, что люди вообще никогда не могут исчезнуть из Вселенной, как не может, например, исчезнуть из неё число 137. Среди физических теорий, предполагающих множественность миров, следует выделить концепцию Мультверса Хьюгго Эверетта, основанную на той идее, что реализуются все возможные квантовые состояния, а также ряд других теорий (например, космологическую хаотическую инфляцию). Для этого также достаточно бесконечности существования вселенной во времени, что предполагает теория пульсирующей вселенной. Наконец, если вселенная неким образом однажды возникла «из ничто», то ничего не мешает её возникать из него бесконечное число раз, потому что исчерпать или ограничить «ничто» невозможно. Важно отметить, что названные физические теории, предполагающие бесконечность вселенной, являются логически независимыми, а значит, эта бесконечность гарантирована многократно.
Более сильным следствием из этих теорий является предположение о том, что реализуются все возможные варианты будущего. В этом случае окончательная глобальная катастрофа становится невозможным событием, так как всегда найдётся мир, в котором она не произошла. Впервые это отметил сам Эверетт, придя к выводу, что Мультиверс (то есть актуальная реальность всех возможных квантовых альтернатив) означает личное бессмертие для человека, поскольку, от какой бы он причины ни погиб, всегда найдётся вариант вселенной, в котором он не погиб в этот момент. Известный физик М. Тегмарк проиллюстрировал эту идею мысленным экспериментом о квантовом самоубийстве . Затем эту идею развил Дж. Хигго в статье «Означает ли бессмертие многомирная интерпретация квантовой механики» . Я тоже исследовал этот вопрос – см. мои комментарии к переводу статьи Хигго – и обнаружил, что истинность теории о Мультверсе не является необходимым условием для истинности теории о бессмертии, связанном с множественностью миров. Для её истинности достаточно только бесконечности вселенной. То есть она работает и для неквантовых конечных автоматов: то есть для любого конечного существа в бесконечной вселенной найдётся точно такое же существо, которое пройдёт точно такой же жизненный путь, за исключением того, что не умрёт в последний момент. Но это вовсе не означает прекрасного и приятного бессмертия, поскольку альтернативой смерти может быть тяжёлое ранение.
Точно такое же рассуждение можно применить и ко всей цивилизации. Всегда найдётся вариант будущего, в котором человеческая цивилизация не вымирает, и если все возможные варианты будущего существуют, то это означает бессмертие нашей цивилизации. Однако это не значит, что нам гарантировано процветание. Иначе говоря, если доказать неуничтожимость наблюдателя, то из этого следует, что должна существовать некая поддерживающая его цивилизация, однако для этого достаточно одного бункера со всем необходимым, а не процветающего человечества.

Глава 19. Стоит ли бояться отключения Матрицы?
Гипотетически мы можем также предположить, что живём в симулированном внутри компьютера мире, подобном тому, что был изображён в фильме «Матрица». Это осталось бы пустым разговором, если бы не порождало ещё один логический парадокс, также связанный с рисками человеческого вымирания.
Ник Бостром разработал следующую логическую теорему, называемую рассуждением о Симуляции . Вот ход его рассуждений: Исходя из текущих тенденций в развитие микроэлектроники, кажется вполне вероятным, что рано или поздно люди создадут саморазвивающийся искусственный интеллект. Нанотехнологии обещают предельную плотность процессоров в триллион штук на грамм вещества (углерода) – с  производительностью порядка 10  флопс. Плюс нанотехнологии позволят превращать залежи каменного угля в такое устройство. Это открывает перспективу превращения всей Земли в «компьютрониум» – одно огромное вычислительное устройство. Мощность такого устройства оценивается в 10  операций в секунду. (Что соответствует превращению миллиона кубических километров вещества в компьютрониум, который покроет всю Землю слоем в 2 метра.) Использование всего твёрдого вещества в Солнечной системе даст порядка 10  флопс. Очевидно, что такая вычислительная мощь могла бы создавать детальные симуляции своего человеческого прошлого. Поскольку предполагается, что для симуляция одного человека нужно не более чем 10  флопс (это число основано на количестве нейронов и синапсов в мозгу, и частоте их переключения), то это даст возможность симулировать одновременно 10  людей, или 10  цивилизаций, подобных нашей, с нашей же скоростью развития. Вряд ли компьютрониум направит все свои ресурсы на симулирование людей, но даже если он выделит на это одну миллионную усилий, это будет всё ещё порядка 10  человеческих цивилизаций. Итак, даже если только одна из миллиона реальных цивилизаций порождает компьютрониум, то этот компьютрониум порождает порядка 10  цивилизаций, то есть на каждую реальную цивилизацию приходится 10  виртуальных. Здесь важны не конкретные цифры, а то, что при даже довольно разумных предположениях множество симулированных цивилизаций на много-много порядков больше множества реальных.  (Можно выразить это и проще: реальный мир со всеми его ценностями стоит сотни триллионов долларов, а его симуляция (хотя бы для одного человека) в обозримом будущем будет стоить столько же, сколько персональный компьютер, то есть меньше тысячи долларов. Поэтому гораздо вероятнее, что мы наблюдаем не реальный мир, а симулированный. Точно также, если мы видим на женщине ожерелье с большим прозрачным камнем, то гораздо вероятнее, что это бижутерия, чем что это огромный бриллиант. Точно также, если человек видит взрыв самолёта, то, скорее всего, это или кино, или фотография, или сон, или телестрансляция, потому что реальные взрывы самолёта гораздо реже, чем их копии. По мере прогресса технологий количество, их доля в опыте человека, и качество симуляций реальности непрерывно нарастает, а стоимость падает.)
Отсюда Ник Бостром (Bostrom, N. , 2003, Are You Living in a Simulation?, Philosophical Quarterly (2003), Vol. 53, No. 211, pp. 243-255) делает вывод, что истинно по крайней мере одно утверждение из трёх:
1) Ни одна цивилизация не способна достичь технологического уровня, необходимого для создания компьютрониума.
2) Или КАЖДЫЙ возможный компьюториум будет абсолютно не заинтересован в моделировании своего прошлого.
3) Или мы уже находимся внутри имитации в компьютрониуме.
При этом пункт 2 можно исключить из рассмотрения, потому что есть причины, по которым хотя бы некоторые компьютрониумам будет интересно, каковы именно были обстоятельства их возникновения, но нет такой универсальной причины, которая могла бы действовать на все возможные компьютрониумы, не позволяя им моделировать своё прошлое. Причина интереса к своему прошлому может быть много, назову несколько – это вычисление вероятности своего возникновения, чтобы оценить плотность других сверхцивилизаций во вселенной или развлечение людей или неких других существ.
В этом случае рассуждение о симуляции сводится к острой альтернативе: «Или мы живём в реальном мире, который обречён в ближайшее время погибнуть, или мы живём в компьютерной симуляции». При этом нельзя сказать, что компьютрониум невозможен в принципе, так как люди свойственно видеть сны, не отличимые изнутри от реальности (то есть являющиеся качественной симуляцией), а значит, с помощью генетических манипуляций можно вырастить супермозг, который видит сны непрерывно.
Впрочем, гибель мира в этом рассуждении не означает вымирания всех людей – она означает только гарантированную остановку прогресса до того, как компьютрониум будет создан. Гарантированность её означает не только, что она произойдёт на Земле, но и на всех остальных возможных планетах. То есть она означает, что имеется некий очень универсальный закон, который препятствует подавляющему (на много-много порядков) большинству цивилизаций создать компьютрониум. Возможно, это происходит просто потому, что компьютрониум невозможен, или потому что моделирование человеческого сознания на нём невозможно. Но может быть, что это происходит потому, что ни одна цивилизация не может достичь уровня компьютрониума, так как сталкивается с некими неразрешимыми противоречиями, и вынуждена или погибнуть, или откатится назад. Эти противоречия должны носить универсальный характер, а не быть связаны только, скажем, с атомным оружием, потому что тогда цивилизации на тех планетах, в коре которых нет урана, смогут устойчиво развиваться. Примером такого универсального противоречия может быть теория хаоса, которая делает системы выше определённого уровня сложности принципиально нестабильными.
Если мы находимся внутри симуляции, нам угрожают все те же риски гибели, которые могут случиться и в реальности, плюс вмешательство со стороны авторов симуляции, которые нам могут подкинуть некие «трудные задачки» или исследовать на нас некие экстремальные режимы, или просто поразвлечься за наш счёт, как мы развлекаемся, просматривая фильмы про падение астероидов. Наконец, симуляция может быть просто внезапно выключена. (У симуляции может быть предел ресурсоёмкости, поэтому авторы симуляции могут просто не позволить нам создавать настолько сложные компьютеры, чтобы мы могли запускать свои симуляции.)
Итак, если мы находимся в симуляции, это только увеличивает нависшие над нами риски и создаёт принципиально новые – хотя появляется шанс внезапного спасения со стороны авторов симуляции.
Если же мы не находимся в симуляции, то велик шанс, что любые цивилизации по причине катастроф не достигают уровня создания компьютрониума, который мы могли бы достичь к концу XXI века. А это означает, велика вероятность неких глобальных катастроф, которые не позволят нам достичь этого уровня.
Получается, что рассуждение о симуляции действует таким образом, что обе его альтернативы ухудшают наши шансы выживания в XXI веке, то есть его нетто вклад отрицательный, независимо от того, как мы оцениваем шансы одной из двух альтернатив. (Моё мнение состоит в том, что вероятность того, что мы находимся в симуляции, – выше, чем вероятность того, что мы реальная цивилизация, которой суждено погибнуть, и на много порядков.)
Интересно отметить повторяющийся паттерн: альтернатива с SETI также имеет отрицательный нетто-эффект – если они рядом, то мы в опасности, если их нет, то мы тоже в опасности, поскольку это значит, что некоторые факторы мешают им развиваться.


Глава 20. Системный кризис: все против всех.

Наша способность предсказывать будущие катастрофы была бы в значительном выигрыше, если бы в будущем присутствовала только какая-то одна тенденция. В действительности мы видим, что множество самых разных сценариев может осуществиться, при наихудшем раскладе, в ближайшие 30 лет. Очевидно, что одновременная реализация разных катастрофических сценариев приведёт к нелинейному их взаимодействию: одни из них взаимно усилятся, другие взаимно компенсируют друг друга.
Взаимоусиление катастрофических сценариев происходит как за счёт их параллельного взаимодействия, так и за счёт их последовательной реализации. Параллельное взаимодействие в основном состоит в том, что развитие одних технологий стимулирует другие технологии и обратно. В результате происходит конвергенция технологий. Например, успехи в нанотехнологиях дают новые методики для исследования живой клетки, а найденные в живом веществе природные механизмы дают новые идеи для создания наноустройств, вроде недавно открытого «шагающего» белка. Более эффективные компьютеры позволяют быстрее просчитывать свойства новых материалов, а новые материалы позволяют создавать всё более эффективные чипы для новых компьютеров. Таким образом, мы можем ожидать, что все технологии достигнут вершины своего развития – то есть полной власти на своим предметом, будь то живое вещество, информация или манипулирование атомами – практически одновременно.
Следующий уровень параллельной конвергенции – это создание оружия, которое использует достижения всех передовых технологий своего времени в одном устройстве. Примером такого оружия для XX века стала межконтинентальная баллистическая ракета (МКБЛ), которая сочетает в себе успехи ядерной физики, ракетной, и, что не мало важно – компьютерной, поскольку без вычислений невозможно достичь необходимой точности. Разрушительная сила МКБЛ на порядки превосходит и силу бомбы без средств доставки, и ракеты без бомбы, и даже ракеты с бомбой, но без системы наведения. Следовательно, мы можем предположить, что самое страшное оружие будущего не будет просто биологическим, нанотехнологическим или кибернетическим, а будет сочетать в себе все эти технологии. Однако конкретнее представить его нам сложнее, чем жителям начала XX века было представить МКБЛ.
Третий уровень параллельной конвергенции – это атака несколькими принципиально разными видами вооружений, каждое из которых основано на новых технологиях, в результате чего достигается синергетический эффект. Отчасти попыткой такой разносторонней технологической атаки были события 2001 года в США, когда почти одновременно с атакой самолётами была осуществлена атака с помощью спор сибирской язвы (а также действовал снайпер, что может быть, впрочем, и случайным совпадением). Синергетическим в данном случае был эффект страха, возникший в обществе.
Последовательная конвергенция состоит в том, что разные катастрофы происходят по очереди, и каждая прокладывает путь к следующей, ещё более сильной. Это можно назвать нарастающей лавиной событий. Такое развитие достаточно типично для известных крупных катастроф. Например, при пожаре на борту авианосца Форрестол в начале произошёл самопроизвольный запуск ракеты с одного самолёта, который привёл к пожару на другом самолёте, это привело к взрыву бомб, и уж это в свою очередь привело к гибели всех пожарных и стеканию горящего горючего в дыры в полётной палубе, что сделало ситуацию по настоящему серьёзной. Так и в нашем случае мы можем представить цепочку катастроф, которая увеличивает вероятность человеческого вымирания. Например, падение небольшого астероида приводит к ложному срабатыванию систем предупреждения о ракетном нападении, затем к ядерной войне, которая, после ядерной зимы, приводит к ядерному лету и ослаблению способности человечества бороться с глобальным потеплением, которое и уничтожает оставшихся людей. Такие сценарии можно описывать как цепочки событий, каждое из которых имеет ненулевую вероятность перейти в следующее. И хотя не каждая такая цепочка срабатывает, при достаточном числе попыток она может получиться. В недавно вышедшей статье (Martin Hellman «Risk Analysis of Nuclear Deterrence») метод анализа таких цепочек применяется для вычисления вероятности ядерной войны, в результате чего получается наихудшая оценка в 1 шанс к 200 в год.
Другой аспект системности возможной глобальной катастрофы тоже можно обнаружить, исследуя аналогии в виде прошлых катастроф. Он состоит в одновременном совпадении множества факторов, вроде небольших нарушений регламента, каждый из которых по отдельности не мог привести к никакой катастрофе и неоднократно допускался в прошлом. Например, для того, чтобы катастрофа «Титаника» могла произойти, должно было, по некоторым подсчётам, одновременно сложиться 24 фактора: от прочности стали до выключенного радиоприёмника. В синергетике есть концепция самоорганизованной критичности. Суть её в том, что при определённой плотности  уязвимых к отказу элементов в системе, в ней могут образовываться цепочки отказов неограниченно большой длины. В силу этого, система стремится подстроиться к этому уровню плотности критических элементов. Если плотность слишком велика, система очень быстро выходит на отказ и через него снижает плотность. Если же плотность критических элементов слишком мала, то цепочки отказов почти не возникают и по мере роста системы она безболезненно повышает эту плотность критических элементов. Примером такой системы является куча песка, на которую падают песчинки – она стремится образовать определенный угол наклона своих поверхностей (например, 54 градуса). Если угол наклона больше этой величины, то очень часто возникают лавины песчинок и снижают наклон; наоборот, если угол наклона мал, то песчинки могут накапливаться, не образуя лавин. В сложных технических системах роль угла наклона играет количество ошибок и отклонений от регламента, которое имеет тенденцию расти, пока не приводит к катастрофе. (А после катастрофы приезжает комиссия, наводит шухер, принимаются новые правила и плотность критических элементов падает.) Особенностью модели с кучей является то, что при критическом угле наклона в ней теоретически возможны лавины неограниченно большой длины. Некоторым образом мы можем обобщить это рассуждение на всю земную технологическую цивилизацию, которая, по мере своего роста в отсутствии глобальных катастроф, постепенно снижает требования к безопасности целого, одновременно усложняя взаимосвязи элементов. (Например, страх применения ядерного оружия по мере отсутствия этого события уменьшается, тогда как само ядерное оружия распространяется, и шансы его применения, возможно, возрастают.) Это делает теоретически возможным некий сложный катастрофический процесс, который охватит весь объём технической цивилизации. К сказанному примыкает теория «нормальных аварии» Ч.Перроу, которая гласит, что при достижении системой некоторой критической сложности, катастрофы становятся в ней неизбежными: их нельзя предотвратить ни с помощью совершенных деталей, ни точным соблюдениям идеальных инструкции. Связано это с тем, что число возможных состояний системы, растёт нелинейно, в зависимости от числа элементов, а гораздо быстрее, как экспонента. Это делает невозможным вычислить все её возможные состояния и заранее предсказать, какие из них приведут к катастрофе.
Итак, различные технологические риски могут образовывать сложную систему рисков, и поскольку мы ожидаем прихода сразу нескольких сильных технологий одновременно, нам следует ожидать очень сложного взаимодействия между ними. Однако помимо системы технологических угроз, возможен и системный кризис цивилизации более общего порядка. Системным кризисом я здесь называю процесс, который не связан с каким-то одним элементом или технологией, а является свойством системы, как целого. Например, морская волна является свойством моря, как целого, и её движение не зависит от судьбы любой отдельной молекулы воды. Или, например, так работает автомобильная пробка, которая остаётся на месте, тогда как машины в неё въезжают и выезжают. Точно также существуют и кризисы систем, которые не начинаются в какой-то одной точке. Например, классическим примером такого процесса является взаимосвязь числа хищников и жертв. Такая система входит в кризис, если число хищников превысит некое пороговое значение. После этого хищники съедают до нуля всех своих жертв, и им остаётся только питаться друг другом и вымереть. Взаимосвязи в природе обычно сложнее, и не дают до конца реализоваться такому сценарию. Особенностью, однако, этого системного кризиса является то, что мы не можем сказать, в какой точке и в какой момент он начался, и какой именно «волк» в нём виноват.
Есть множество разных системных кризисов, которые непрерывно охватывают человеческое общество на протяжении его существования. Однако общее их свойство в том, что они компенсируют друг друга и находятся в таком равновесии, в котором общество может развиваться дальше. И хотя хотелось бы верить, что это естественное состояние, нельзя быть в этом до конца уверенным, и можно предположить, что возможен «кризис кризисов», то есть кризис, элементами которого являются не отдельные события, а другие кризисы (нечто вроде того, что А.Д.Панов назвал «кризис аттрактора планетарной истории»). Открытым остаётся вопрос о том, может ли такой суперкризис привести к полному человеческому вымиранию, или его силы хватит только чтобы отбросить человечество далеко назад.

Глава 21. Цепная реакция.

В основе большинства сценариев глобальной катастрофы лежит «цепная реакция» – иначе говоря, самоусиливающиеся процессы с положительной обратной связью.
Очевидно, что ценная реакция лежит в основе принципа действия ядерного оружия. Однако цепная реакция лежит и в основе ядерного распространения и гонки вооружений. Чем больше стран обладает ЯО, тем больше они способны его распространять, тем более доступны и дёшевы его технологии и тем больше соблазн у стран, оставшихся без такого оружия, его обрести. В основе гонки вооружений так же лежит самоусиливающийся процесс – чем больше оружия у противника, тем больше нужно оружия и «нам», и тем больше страх «нас» у противника, что побуждает его дальше вооружаться. Точно такой же сценарий лежит и в основе риска случайной ядерной войны – чем больше страх, что по «нам» ударят первыми, тем больше у «нас» соблазна самим ударить первыми, а это в свою очередь вызывает ещё больший соблазн ударить первыми у наших противников. Ядерная зима также является самоусиливающейся реакцией за счёт изменения альбедо Земли.
Точно такой же принцип положительной обратной связи лежит и в росте населения и в потреблении ресурсов. Чем выше население, тем больше оно растёт, и тем больше оно потребляет ресурсов. Однако чем больше население, тем большие технологии нужны, чтобы его поддерживать, и тем большие технологии оно способно порождать, грубо говоря, за счёт роста числа людей изобретателей. Таким образом, скорость роста населения оказывается пропорциональна квадрату числа людей. (dN/Dt=N*N ) Первое N в этом происходит за счёт роста числа матерей, а второе – за счёт роста числа изобретателей. Решением этого дифференциального уравнения является гиперболическая кривая (достигающая бесконечности за конечное время). Гиперболически растущее население должно и ресурсы потреблять гипреболически, и даже если само население не растёт, то уровень жизни его растёт. Это очевидным образом сталкивается с ограниченностью любого ресурса, что потенциально создаёт катастрофическую ситуацию. В принципе эта проблема разрешима и через сберегающие технологии, и через скачок на новый технологический уровень, важно то, что здесь тоже проблемная ситуация создаётся за счёт положительной обратной связи.
Точно также положительная обратная связь создаёт проблемы и в кредитном цикле Мински. Крайним выражением его является финансовая пирамида, то есть финансовое учреждение, которое может выплачивать старые кредиты, только привлекая новые кредиты. Чтобы такое учреждение могло функционировать, его долг тоже экспоненциально расти. Есть определённые параллели между таким учреждением и состоянием мировой финансовой системы.
Закон Мура также является самоусиливающимся процессом. Механизм его не так прост, как в предыдущих случаях. Во-первых, более быстрые компьютеры позволяют эффективно проектировать ещё более быстрые чипы. Во-вторых, в нём деньги, заработанные на одном этапе миниатюризации, позволяют осуществить следующий этап уплотнения чипов. Темп закона Мура так же задаётся той частотой, с которой потребители готовы менять технику на более продвинутые модели. Более быстрый темп был бы не выгоден, так как потребители не успели бы накопить достаточно денег на полный апгрейд системы (даже если бы им удалось внушить, что он необходим), а более медленный не мог бы отнять всех денег у потребителей, которые они готовы тратить на обновление своих систем. Готовность потребителей покупать новую технику требует каждый раз всё большего апгрейда, что создаёт простое дифференциальное уравнение, решением которого является экспоненциальный рост. В результате получается, что экономические основы закона Мура сильнее технологических проблем на его пути. Хотя подобное описание явно упрощает реальную экономику закона Мура, оно хорошо объясняет экспоненциальный рост. NBIC-конвергенция разных технологий также является самоусиливающимся процессом.
Сверхнаркотик представляет опасность также за счёт создаваемой им цепной реакции. Во-первых, каждое новое удовольствие создаёт точку отсчёта для последующих, и в силу этого человек, если у него есть возможность, стремится перейти ко всё большим наслаждениям и ко всё более сильным раздражителям (в результате чего, например, просмотр порнографии в Интернете постепенно ведёт к интересу к д. порнографии). Во-вторых, знание о наркотике и увлечение им также распространяется по обществу как цепная реакция.
Именно способность к саморазмножению делает опасным биологическое оружие, и здесь мы имеем явный пример цепной реакции. Точно также цепная реакция касается и стратегической нестабильности, создаваемой им, и количества знаний о нём и количества людей, вовлечённых в биохакерство.
Способность к саморазмножению очевидно является основной рисков, связанных с нанотехнологиями, как в связи с серой слизью, так и в связи с тем, что распространение этих технологий по планете примет характер цепной реакции.
Наконец, основной риск, создаваемый ИИ, также связан его рекурсивным самоулучшением, то есть цепной реакцией его усиления. Вторая цепная реакция, возможная относительно ИИ, – это процесс нарастания его автономности. Создатели ИИ создадут такие условия, чтобы они и только они могли бы им управлять. Ключевое здесь слово «только». Борьба внутри группы управляющих приведёт к выделению лидера. Такое самоограничение приведёт к тому, что у этого ИИ в любом случае рано или поздно окажется один главный программист (причём это может стать внешне второстепенный человек, но который оставил «закладку» в управляющем коде). Любой сбой аутентификации, в ходе которого ИИ перестанет «доверять» своему главному программисту, станет, возможно, необратимым событием. Наличие официального главного программиста и второстепенного программиста, сделавшего закладку, может привести как раз к такому конфликту аутентификаций, в результате которого ИИ откажется аутентифицировать кого-либо то ни было. Автономный ИИ, активно противостоящий любым попыткам его перепрограммировать или выключить – реальная угроза людям. Наконец, ещё одна цепная реакция связана с распространением по миру знаний о том, как создать ИИ, и появлению всё новых групп по работе над этой темой со всё более низкими стандартами безопасности.
Необратимое глобальное потепление, риск которого нам рисуют в наихудшем сценарии, также является процессом, возникающим благодаря многим положительным обратным связям. Рост температуры запускает процессы выделения метана и углекислого газа, которые ведут к ещё большему росту температуры.
Идеи о маловероятных рисках глобальных катастроф в результате физических экспериментов на ускорителях также описывают самоусиливающиеся процессы. Например, в случае образования микроскопической чёрной дыры риск состоит в цепной реакции захвата ею обычного вещества, роста её массы и всё более активного захвата вещества. Тоже верно и для сценария с образование стрейнджлета, способного захватывать и превращать в другие стрейнджлеты обычную материю. Наконец, переход фальшивого вакуума в «истинный» также был бы цепной реакции, которая, начавшись в одной точке, охватила бы всю вселенную.
Дегазация земных недр в результате экспериментов со сверхглубоким бурением в духе зонда Стивенсона также была бы цепной реакцией, так как нарушенное метастабильного равновесие растворённых газов в недрах привело бы ко всё более интенсивному их выходу на поверхность, как это происходит в вулканах.
Обнаружение сигналов по линии SETI также вызвало бы цепную реакцию интереса к ним во всём мире, что неизбежно бы привело к многократной загрузке инопланетных посланий и, в конечном счёте, к запуску опасного кода, в них содержащегося.
Крах мировой системы в духе теории хаоса также предполагает цепную реакцию, где один сбой следует за другим, образуя лавину. Например, та модель развития будущих событий, которую мы уже наблюдали в середине XX века, когда экономическая депрессия и нехватка ресурсов ведут к войне, война ведёт к скачку инвестиций в прорывные военные разработки, а затем к применению принципиально нового оружия, после чего открываются физические возможности для полного уничтожения мира (кобальтовая бомба) и создаются подходящие для этого военно-политические доктрины (вроде взаимного гарантированного уничтожения). Возможно, что кризис ипотечного кредитования, Пик нефти и ряд других современных проблем – это первые стадии такой геополитической цепной реакции. Тогда, по шкале 20 века, если считать нынешний год за 1929, то до новой «атомной бомбы» осталось 16 лет (то есть 2024 год), до идеи новой кобальтовой бомбы – 21 год (2029 год), и до нового Карибского кризиса, реально ставящего мир на грань уничтожения – почти 33 года (2041 год). Такие цифры не следует считать сколько-нибудь достоверным пророчеством, но ничего лучше этих оценок у нас пока нет. Не трудно заметить, что получившие цифры близки к датам ожидаемой Технологической Сингулярности.
Цепная реакция лежит также в основе экономических кризисов вообще и начавшегося сейчас кризиса ипотечного кредитования, в частности. Примером цепной экономической реакции является паника на бирже и бегство клиентов из банка. Чем больше людей продаёт акции, тем больше падает их цена, что вызывает ещё большую панику и вынуждает продавать тех, кто этого не хотел. В нынешней ситуации прохождение пика цен на американском рынке недвижимости запустило каскад самоусиливающихся процессов. Чем больше неплатёжеспособных кредиторов вынуждено продавать свои дома, тем больше домов на рынке, тем ниже падает их цена, тем большему числу людей выгодно перестать выплачивать свой ипотечный кредит и продать дом; кроме того, тем хуже положение банков, тем ниже рост экономики, тем больше безработных, что опять-таки приводит к тому, что они продают свои дома и т. д. (Отмечу, что выработка потенциала действия нейроном в мозгу тоже происходит по этой схеме после прохождения критического порога.)
Соответственно, интересно посмотреть, какие схемы глобальных катастроф не попадают в эту классификацию. В первую очередь, это столкновение с астероидом. Однако и при столкновении с астероидом худшие его последствия будут косвенными, образовавшимися посредством цепочки причинно-следственных связей. А именно, астероидная зима во многом будет вызвана пожарами по всей планете, в свою очередь вызванными разлётом бесчисленного множества осколков от падения основного тела.
Можно также предположить, что в случае гипотетического «кризиса кризисов» цепная реакция будет состоять из других цепных реакций, как, например, мы видим это в экономике, где бегство из одного какого-то банка является только эпизодом в разворачивающемся кризисе.
Кроме того, интересно понять, какие силы препятствуют возникновению цепных реакций – ведь в большинстве случаев они не происходят или ограничены по масштабам. На примере ядерной реакции можно понять, что для начала цепной реакции нужно наличие «критической массы» и отсутствие «предохранительных стержней». Развитию экспоненциальных процессов мешает также ограниченность ресурса для их роста и наличие других самоусиливающихся процессов, тянущих в противоположную сторону, в результате чего возникает динамическое равновесие. Для того, чтобы цепная реакция развивалась беспрепятственно, она должна быть процессом качественно более высокого уровня энергии, на который не могут влиять силы более нижнего уровня. Быстрые скачки в развитии технологий как раз создают возможность для таких неудержимых процессов.

Хотя мы можем обсуждать разные механизмы глобальных катастроф, возможно, что существует некое явление, закономерно приводящее каждую цивилизацию к гибели, что и объясняет молчание космоса. Для начала отметим, что мы уже знаем одно такое явление, которое объединяет неисчерпаемый класс разнообразных по своей природе катастрофических событий – и объединяет тем, что можно назвать эквифинальностью, то есть независимостью конечного результата от множества ведущих к нему путей. Я имею в виду старение и конечность человеческой жизни.
Существует масса способов умереть, некоторые из них удивительны и уникальны, другие обыденны. Можно заболеть раком, разбиться на машине, покончить собой, отравиться, сгореть заживо, утонуть, быть убитым, умереть от инфаркта, заснуть и не проснуться, попасть под действие электрического удара, подавиться косточкой. Но самое главное здесь то, что к знаменитым словам Воланда на Патриарших прудах из «Мастера и Маргариты» о том, что человек не просто смертен, а внезапно смертен – надо добавить так же то, что человеческой жизни положен максимальный временной предел. Смерть – это не результат сложения вероятностей разных факторов, перечисленных выше; смерть – в самом естестве человеческой природы, и есть просто разные способы, которыми она проявляется. Наиболее достоверная из доступной является американская актуарная (то есть связанная с продолжительностью жизни) статистика, и в ней максимально зафиксированный возраст человека составляет 123 года. Возражения о том, что кто-то на Кавказе или в Японии прожил то ли 160, то ли 240 лет только подчёркивают, что никто не прожил 1000. Однако если бы смерть людей была бы просто игрой вероятностей, то нашлись бы люди, который прожили и по 10000 лет. Наличие верхнего предела продолжительности человеческой жизни означает наличие механизма, её ограничивающего. И этот механизм нам прекрасно известен – это старение, которое не столько убивает само по себе, сколько увеличивает вероятность разных болезней – рака, Альцгеймера, инфаркта, инсульта и др. Существует масса теорий старения. Какая из них верная, мы, наверное, узнаем, только когда победим старение. Но интуитивно более-менее понятно, что старение связано с торможением, накоплением ошибок и износом. Это всё более ослабляет организм, делая его всё менее устойчивым, до тех пор, пока он не переходит в катастрофический режим. Отметим, что старение также является самоусиливающимся процессом, поскольку, чем слабее силы организма, тем меньше его способности к самовосстановлению, и к тем большему накоплению ошибок это приводит. Разумеется, здесь более сложные взаимосвязи, но вероятность умереть (точнее, доля умерших) с возрастом растёт по кривой, близкой к экспоненциальной.
Определённо, однако, мы не видим ничего похожего на глобальное старение в окружающем нас мире (кроме проблемы исчерпания ресурсов): старые образцы техники сменяются всё более новыми, всё более совершенными, доступные уровни энергии растут, и может создаться впечатление, что наш мир молодеет. То есть он ускоряется, а не замедляется. Однако на более глубоком уровне сходство со старением есть. Ускорение оказывается старением наоборот. (СССР распался через несколько лет после того, как провозгласил программу ускорения и модернизации. Маккиавели писал, что каждая перемена прокладывает путь новым переменам, и поэтому правитель, начиная реформы, рискует потерять над ними контроль, и в итоге свою власть, что, в общем, и произошло в СССР, – и здесь мы тоже имеем самоусиливающийся процесс.) Это ускорение приводит к такому же снижению устойчивости и рассогласованию работы разных элементов, как в случае старения. Это подобно тому, как если бы мы пустили вниз под горку автомобиль без тормозов – хотя неизвестно, до какой именно величины будет расти его скорость, понятно, что рано или поздно у него что-нибудь отвалится, причём, чем позже отвалится, тем сильнее будет авария. Здесь мы ещё раз описали «кризис кризисов» на примере отчасти известного нам механизма – а именно старения.

Другим универсальным эффектом, ведущим к глобальной катастрофе, является эффект множественности. Крайне маловероятно, что появится один вирус, который будет обладать 100% летальностью и заразит 100% населения. Однако вполне можно представить искусственно синтезированный вирус, который будет обладать 10 % летальностью и заразит 10 % населения (как например, грипп испанка) – то есть приведёт к гибели 1 % людей. Какое количество таких вирусов должно быть выпущено одновременно, чтобы привести к гарантированной смерти всех людей? Небольшое упражнение со степенями даёт число порядка 2 000. И это при миллионах компьютерных вирусов в Интернете. И шансы возникновения 2 000 относительно слабых, на уровне природных вирусов, вероятно выше, чем шансы появления одного супергениально сконструированного вируса убийцы.
В обобщённом виде идея эффекта множественности состоит в том, что одновременное появление множества слабых и не очень опасных по отдельности факторов более вероятно и более опасно, чем появление одного фактора-убийцы.

Глава 22. В поисках выхода: компьютерный тоталитаризм.
Вероятность человеческого вымирания зависит не только от угрожающих нам катастроф, но и от способности людей противостоять им и выживать после них.
Основная сила, обеспечивающая человеческое выживание – это знание. Если мы будем знать, какие именно катастрофы нам угрожают, где, когда и как с ними бороться, то задача противостояния им существенно упростится. Особенно если это знание будет доказанным и общепризнанным. Нельзя не отметить однако, что имеет место прямо противоположная ситуация: нет никакого общепризнанного и доказанного знания о глобальных катастрофах. В деле защиты от глобальных рисков можно выделить несколько уровней:
Первый – это накопление знаний и понимания природы и типологии рисков. Сейчас мы в значительной мере находимся на этом уровне.
Вторая ступень – донесение этих знаний до общества и до лиц, придающих решения. То есть превращение этого знания в общепризнанное и агитация за реализацию тех или иных мер. Например, лоббирование реализации программ противоастероидной защиты. (Но сначала должно быть достигнуто чёткое понимание того, что именно надо делать; нетрудно заметить, что в реальности происходит часто наоборот: агитация подменяет дискуссию.)
Третий уровень – это создание системы наблюдения за некой опасной областью, и сил быстрого реагирования, способных пресечь в ней нежелательную активность. Например, радиолокационное зондирование околоземного пространства и создание ракет-перехватчиков против астероидов. Или установка камер слежения во всех биологических лабораториях мира плюс создание сил быстрого реагирования, готовых вылететь в любую точку мира. Или создание всемирной системы ПРО.
Наконец, на тот случай, если все эти меры не помогли, должен быть некий запасный вариант, а именно создание некого убежища для людей. Этот вариант мы рассмотрим подробнее в следующей главе. В этой главе мы рассмотрим тот аспект системы предотвращения глобальных рисков, который связан с созданием всеобщей системы наблюдения над людьми. Пользуясь словами Павла Пепеперштейна, автора романа «Мифогенная любовь каст», я буду называть это явление «компьютерным тоталитаризмом». В середине 90-х Пепперштейн первым обратил моё внимание на то, что компьютеры предоставляют возможность организовать идеальное тоталитарное общество с полным контролем над каждым человеком. После терактов 11 сентября, создания и затем утечек в интернет огромного количества баз данных эта идея стала довольно общим местом. Другим литературным источником её является система тотального видеонаблюдения по Оруэллу, описанная в его романе «1984».
Не только дело в том, что эта система фактически материализовалась в Англии (равно как и во многих других странах), где сейчас действует 4 млн. уличных камер наблюдения и предлагается объединить их в единую сеть и дополнить программой распознавания лиц, но и том, что чтобы принести эту систему в дом каждого человека достаточно только изменения программного обновления уже установленных компьютеров и веб-камер.
Здесь, однако, надо провести важное различие. Система контроля за гражданами может «помочь» в очень многих случаях. Например, чтобы отвратить их от незаконного копирования музыки, употребления неприличных слов, переедания, злоупотребления наркотиками и алкоголем, нарушения правил дорожного движения. Всё это не имеет отношения к проблемам устранения глобальных рисков. Или точнее, имеет противоположное значение, поскольку человек по своей природе не может не ошибаться, и если бы все наши ошибки были бы обнаружены, то каждый заслуживал бы места в тюрьме. Страна, установившая такой контроль за гражданами, и стала бы тюрьмой. Более того, для реализации такой системы потребовалось бы изменить природу человека: только генетически модифицированные и «чипованные» люди никогда не ошибаются. Но такое изменение означало бы значительный ущерб природе человека, его творческим способностям и, может быть, даже гибель человечества. Примеры из научной фантастики: «дети Коростеля» из романа Маргарет Атвуд «Орикс и Коростель» или люди, лишённые агрессии, в «Возвращение со звёзд» С.Лема.
При этом система всеобщего контроля, предназначенная для устранения правонарушений, не обязана распространяться по всей территории Земли или касаться всех людей, живущих в стране. Однако система всеобщего контроля, предназначенная для устранения глобальных рисков – а именно, препятствующая возникновению био- и нано- хакеров, имела бы смысл только в том случае, если бы она распространялась по всей территории Земли. В противном случае опасные эксперименты проводились бы именно на том кусочке земли, который не охвачен такой системой.
Разумеется, нет нужды следить за всеми людьми, чтобы пресечь деятельность гипотетических «нанобиохакеров». Однако вопрос в том, как узнать, за кем именно следить. Достаточно ли установить системы контроля во всех известных биолабораториях, а также проконтролировать всех известных выпускников биофаков?  Очевидно, что нет. Но и следить за пенсионеркой Марь Иванной тоже абсурдно. С другой стороны, как только мы заявим, что есть некий класс людей, за которыми мы не следим, то потенциальные террористы начнут мимикрировать именно под них.
Кроме того, такая система должна действовать ДО того, как реальное правонарушение совершенно, то есть ДО того, как написан опасный вирус. Следовательно, она должна вычислять потенциальных террористов по неким косвенным признакам. Такая система работала при тоталитарных режимах, когда на всякий случай арестовывали всех подозрительных людей, например, всех, кто высказался против культа вождя. Кроме того, очевидно, что террористы будут стремиться избегать контроля такой системой и противостоять ей. В силу этого любой антиглобалист, протестующий против тотального наблюдения, будет причисляться к потенциальным террористам. Чем жёстче будет система контроля, тем больший протест она будет вызывать, и тем большее число террористов, глобально же борющихся с ней, порождать. Таким образом, она не уменьшит реальное число террористов.
Следующая проблема, связанная с системой всеобщего слежения, состоит в том, что у неё есть, по определению, белое пятно: а именно, те, кто следит, оказываются вне наблюдения этой системы. Любые организации сталкиваются с этим, и, чтобы бороться с  этим, создают «службы внутренней безопасности» - но это только уменьшает размер «слепого пятна», но не устраняет его.
Другая очевидная проблема – это возможность злоупотреблений, так как любая система, созданная для предотвращения глобальных рисков, может работать и не только для этого, но и для устранения мелких правонарушений, для политического контроля и для собственного выживания в конечном счёте. Кроме того, для эффективного контроля контролирующая система должна превосходить по качеству материала (и по уровню организации) контролируемую. Однако в отношении систем действует тот принцип, что их сложность взаимно со-настраивается, то есть если есть преступники в городе, то в полицию рано или поздно проникнет коррупция. Это значит, что всемирная система контроля может быть успешно вскрыта хакерами, которые смогут тем или иным образом обманывать её и даже использовать в своих целях. Например, помещая подложные видеоизображения с камер всеобщего слежения. Только сверхчеловеческая система тотального контроля, созданная искусственным интеллектом, будет иммунна  к таким атакам – однако в этом случае люди не смогут её контролировать, и неизвестно, какие сбои в ней могут произойти.
Поскольку такая система имеет смысл только как всемирная, так как иначе будет борьба разных межгосударственных систем друг с другом, то необходимым условием для своего возникновения она имеет некое межгосударственное объединение, которое будет обладать реальными властными полномочиями. То есть оно должно быть гораздо сильнее современного ООН. При этом оно будет иметь смысл только в том случае, если будет включать в себя все существующие государства и территории, а не просто их большую часть, и будет иметь право и силу развернуть там контроль. Здесь очевидным образом возникает образ «мирового правительства». После 11 сентября США фактически попытались создать систему такого всемирного контроля. В начале, когда было свежо впечатление от терактов, почти все страны вступили в антитеррористическую коалицию, и эта коалиция обладала силами и моральным правом атаковать те территории, которые не присоединились к коалиции, то есть Афганистан. Затем, однако, последовала реакция распада, так как у многих участников коалиции возникло ощущение, что их используют ради достижения не совсем тех целей, которые были в начале заявлены. Вероятно, будут и новые катастрофы, и новые коалиции, но на этом примере мы видим, какие трудности поджидают такое объединение государств, и насколько оно неустойчиво и подвержено «нецелевому» использованию, и как это одно с другим связано. Можно подумать, что если бы на Земле существовало всемирное государство, то оно менее было бы подвержено такой неустойчивости. Однако его нет, и оно не может возникнуть в ближайшей исторической перспективе без мировой войны, а мировая война чревата созданием и применением оружия судного дня в любой форме.  Отсюда очевидно, что суммарный риск по созданию всемирного государства перевешивает возможные плюсы от его существования. Кроме того, во всемирном государстве наверняка были бы свои «антиглобалисты», только бесконечно более мотивированные, которые могли бы создавать теракты, действующие на всю Землю – поскольку вся Земля будет для них враждебной территорией «всемирного государства». Таким образом, всемирное государство самим своим существованием создавало бы почву для глобальных терактов и, соответственно, риск человеческого вымирания. Как бы оно ни пыталось казаться справедливым, всемирное государство будет казаться ущемляющим одни группы в пользу других групп, что тоже будет питать «антиглобалистические силы».
Возникает идея обеспечить надёжность системы глобального контроля за счёт её непрерывного повышения её жёсткости и тотальности. В пределе такая система должна быть способна считывать мысли каждого человека и даже регулировать его поведение в случае приступов чрезмерной агрессии. (Что технологически ближе, чем мы можем себе представить.) Но одна неверная команда, пущенная по такой системе, может подействовать сразу на всех людей на Земле и привести их к гибели. Такая система должна управляться искусственным интеллектом, но тогда от людей останутся одни «биороботы». Но если такая система будет срабатывать достаточно редко, например, останавливая пьяного, когда он заносит нож над своим другом, в ослеплении гневом, то, возможно, она имеет смысл. С другой стороны, предельная жёсткость контроля создаёт свои риски, подобно тому, как небоскрёбы нельзя делать абсолютно жёсткими – иначе они сломаются на ветру.
Наконец, крайне важно то, что ошибка, совершённая централизованной системой, сразу распространится на всю Землю. Рассмотрим это на примере предлагаемой системы автоматического управления полётом авиалайнерами с земли, с целью защитить их от захвата террористами и использования в качестве тарана. Понятно, что такая система затруднит действие террористам с пластмассовыми ножами, но реальная угроза обычно исходит от принципиально новых опасностей. Однако возникает гипотетический риск того, что управление самолётом будет перехвачено с земли; более того, при наличии злоумышленника в числе программистов, имеющих доступ к коду системы, возможно одновременно перехватить управление всеми в мире гражданскими самолётами, находящимися в воздухе (порядка тысячи), и развести их по разным целям (например, ядерным станциям). Хотя шансы такой катастрофы значительно меньше шансов захвата нескольких самолётов вооружёнными людьми, вероятный ущерб неизмеримо больше.
В ответ на эти проблемы Дэвидом Брином и рядом других исследователей была предложена система, названная «reciprocal accountability», суть которой в создании абсолютно прозрачного общества, в котором каждый может следить за каждым.  Повсюду будут расположены видеокамеры, возможно, даже распылены некие нанотехнологические следящие устройства, и любой со своего компьютера сможет следить за любой точкой земного шара. Такие проекты выглядят нереалистичными. В первую очередь потому, что спецслужбы и прочие государственные структуры вряд ли позволят им реализоваться. Кроме того, непрофессионалу очень сложно понять, является ли некая деятельность опасной. Когда программист вставляет в программу несанкционированную закладку, это выглядит абсолютно незаметно для внешнего наблюдателя – он видит, что человек просто пишет код, как и должен. Тоже касается и биологических исследований, тем более, что они будут всё более переходить в форме компьютерной деятельности, а не работы с пробирками. Наконец, возможны злоупотребления этой системой наблюдения, тем более, что она будет осуществлять выборочный контроль, а не непрерывный, и под неё можно будет определённым образом подстроиться, чтобы стать для неё незаметным, например, помечая как уже просмотренные те объекты, которые хочется скрыть. Специфическим свойством такой системы будет бесконечно быстрое распространение информации в ней, что может приводить к быстроразвивающимся обратным связям, чреватым быстрым усилением конфликтов. (Пример этого риска можно найти в фильме «Особое мнение», где наличие медиумов приводит к такой информационной прозрачности: когда их используют для предсказания действий вероятного противника, это приводит к тому, что он приводит свои войска в боеготовность и возникает гонка, кто ударит первый, начинается война.) Кроме того, информационная прозрачность сделает невозможным существование секретов, а следовательно, всё знание об оружие массового поражения (в том числе о знаниях массового поражения – кодах вирусов, рецептах ядов) станет общедоступным.
Позитивным примером абсолютной прозрачности является работа Википедии, где каждый может наблюдать действия каждого. Но Википедия – это не система, нацеленная на обеспечение безопасности, и есть немало примеров, когда она была использована для публикации информации, имеющей некоторые искажения (приукрашивания) в пользу тех, кто её выложил.
С другой стороны, нельзя недооценивать силу гражданского общества и личной инициативы в деле предотвращения глобальных рисков. Все, кто изучал этот вопрос, пришли к нему не по долгу службы, а исходя из личного понимания важности стоящих проблем, и по собственной инициативе писали статьи, книги, переводили тексты и вступали в дискуссии. И за этим был не только абстрактный альтруизм, но и понимание, что это работает на личную пользу исследователей и их близких, подобно тому, как когда взрывали дома в Москве, люди сами проверяли подвалы своих домов. Безусловно, если произойдёт некий биотерракт, то гражданская бдительность обострится, и люди будут готовы ходить по квартирам и проверять, нет ли у соседа тайной биолаборатории. Однако частные люди в большинстве своём неспособны, повторюсь, обнаружить действительно опасное и разумное поведение, поскольку оно не имеет явных однозначных признаков, а также способно эффективно маскироваться. Поэтому оно не может дать стопроцентной гарантии, хотя и позволит обнаружить определённую долю «террористов».

 
Глава 23. В поисках выхода-2. Убежища и бункеры.
Разного рода убежища и бункеры могут увеличить шансы выживания человечества в случае глобальной катастрофы, однако ситуация с ними не проста. Отдельные автономные убежища могут существовать десятки лет, но чем они автономнее и долговременнее, тем больше усилий нужно на их подготовку заранее. Убежища должны обеспечивать способность человечества к дальнейшему самовоспроизводству. Следовательно, они должны содержать не только достаточное количество способных к размножению людей, но и запас технологий, который позволит выжить и размножаться на территории, которую планируется обживать после выхода из убежища. Чем сложнее будет загрязнена эта территория, тем больший уровень технологий потребуется для надёжного выживания. (В легенде о Ноевом ковчеге это был запас «каждой твари по паре».)
Очень большой бункер окажется способным продолжать внутри себя развитие технологий и после катастрофы. Однако в этом случае он будет уязвим к тем же рискам, что и вся земная цивилизация – в нём могут появиться свои внутренние террористы, ИИ, нанороботы, утечки и т д. Если бункер не будет способен сам продолжать развитие технологий, то он, скорее, обречён на деградацию.
Далее, бункер может быть или «цивилизационным», то есть сохранять большинство культурных и технологических достижений цивилизации, или «видовым», то есть сохранять только человеческую жизнь. Перед длительными бункерами встанет проблема образования и воспитания детей и риски деградации. Бункер может или жить за счёт ресурсов, накопленных перед катастрофой, или заниматься собственным производством, тогда это будет просто подземная цивилизация на заражённой планете.
Чем в большей мере бункер автономен культурно и технически, тем больше там должно жить людей (исходя из современных технологий – бункер на основе продвинутых нанотехнологий может быть даже вовсе безлюдным, – только с замороженными яйцеклетками). Чтобы обеспечить простое воспроизводство посредством обучения основным человеческим профессиям, требуются тысячи людей. Эти люди должны быть отобраны и находиться в бункере до наступления окончательной катастрофы, желательно, на постоянной основе. Однако маловероятно, чтобы тысячи интеллектуально и физически превосходных людей захотели бы сидеть в бункере на всякий случай. В этом случае они могут находиться в бункере в две или три смены и получать за это зарплату. (Сейчас проводится эксперимент Марс 500, в котором 6 человек будут находиться в полностью автономном – по воде, еде, воздуху – пространстве 500 дней. Вероятно, это наилучший результат, который мы сейчас имеем.)
Бункер может быть или единственным, или одним из многих. В первом случае он уязвим к разным случайностям, а во втором возможна борьба между разными бункерами за оставшиеся снаружи ресурсы. Или возможно продолжение войны, если катастрофа возникла в результате войны. Бункер, скорее всего, будет или подземным, или морским, или космическим. При этом космический бункер тоже может быть заглублён в грунт астероидов или Луны. Для космического бункера будет труднее пользоваться остатками ресурсов на Земле. Бункер может быть полностью изолированным, или позволять «экскурсии» во внешнюю враждебную среду.
Примером морского бункера является атомная подводная лодка, обладающая высокой скрытностью, автономностью, маневренностью и устойчивостью к негативным воздействиям. Кроме того, она может легко охлаждаться в океане (проблема охлаждения подземных замкнутых бункеров не проста), добывать из него воду, кислород и даже пищу. Кроме того, уже есть готовые лодки и технические решения. Лодка способна выдержать ударное и радиационное воздействие. Однако ресурс автономного плавания современных подводных лодок составляет в лучшем случае год, и в них нет места для хранения запасов. 
Современная космическая станция МКС могла бы продержать несколько человек порядка года, хотя встают проблемы автономной посадки и адаптации. Не понятно, может ли некий опасный агент, способный проникнуть во все щели на Земле, рассеяться за столь короткий срок.
Есть разница между газо- и био- убежищами, которые могут быть на поверхности, но разделены на много секций на предмет карантина, и убежищами, которые нацелены на укрытие от мало-мальски разумного противника (в том числе от других людей, которым не досталось место в убежище). В случае биоопасности острова с жёстким карантином могут выступать в качестве убежища, если болезнь не переносится по воздуху.
Бункер может обладать разными уязвимостями: например, в случае биологической угрозы, достаточно ничтожного проникновения. Полностью автономным может быть только высокотехнологичный бункер. Бункеру нужна энергия и кислород. Это может дать система на ядерном реакторе, но современные машины вряд ли могут обладать долговечностью более 30-50 лет. Бункер не может быть универсальным – он должен предполагать защиты от определённых, известных заранее видов угроз – радиационной, биологической и т д.
Чем укреплённее бункер, тем меньшее число бункеров оставит человечество от себя и тем труднее такой бункер будет скрыть. Если после некой катастрофы осталось конечное число бункеров, местоположение которых известно, то вторичная ядерная война может покончить с человечеством через конечное число ударов по известным местам.
Чем крупнее бункер, тем меньше таких бункеров построит человечество. Однако любой бункер уязвим к случайному разрушению или заражению. Поэтому конечное число бункеров с определённой вероятностью заражения однозначно определяет максимальное время выживания человечества. Если бункеры связаны между собой торговлей и прочим материальным обменом, то тем вероятнее распространение некой заразы между ними. Если бункеры не связаны, то они будут деградировать быстрее. Чем мощнее и дороже бункер, тем труднее его создать незаметно для вероятного противника и тем скорее он станет целью атаки. Чем дешевле бункер, тем менее он долговечен.
Возможны случайные бункеры – люди, уцелевшие в метро, шахтах, подводных лодках. Они будут страдать от отсутствия центральной власти и борьбы за ресурсы. Люди, истощившие ресурсы в одном бункере, могут предпринимать вооружённые попытки прорваться в другой соседний бункер. Также люди, уцелевшие случайно (или под угрозой нависшей катастрофы), могут атаковать тех, кто заперся в бункере.
Бункеры буду страдать от необходимости обмена теплом, энергией, водой и воздухом с внешним миром. Чем автономнее бункер, тем меньше он может просуществовать в полной изоляции. Находящиеся глубоко в земле бункеры будут страдать от перегрева. Любые ядерные реакторы и прочие сложные машины будут требовать внешнего охлаждения.  Охлаждение внешней водой будет демаскировывать их, а иметь источники энергии без потерь в виде тепла невозможно, тем более, что на глубине и так всегда высокая температура. Рост температуры по мере заглубления под землю ограничивает предельную глубину залегания бункеров.  (Геотермический градиент в среднем составляет 30 градусов/километр. Это означает, что бункеры на глубине больше 1 километра невозможны – или требуют гигантских охлаждающих установок на поверхности, как золотые шахты в ЮАР. Могут быть более глубокие бункеры во льдах Антарктиды.)
Чем долговечнее, универсальнее и эффективнее бункер, тем в большей мере заранее его надо начать строить. Но в этом случае трудно предугадать будущие риски. Например, в 1930-е годы построили много противогазовых бомбоубежищ, которые оказались бесполезны и уязвимы к бомбардировкам тяжёлыми бомбами.
Чем эффективнее бункер, который может создать цивилизация, тем на более высоком технологическом уровне она находится и тем большими средствами уничтожения обладает – а значит, тем более мощный бункер её нужен. Чем автономнее и совершеннее бункер (например, оснащённый ИИ, нанороботами и биотехнологиями), тем легче он может, в конце концов, обойтись без людей, создав чисто компьютерный цивилизацию.
Бункеры будут соревноваться за то, кто первым выйдет на поверхность, и кто, соответственно, будет ею владеть – поэтому у них будет искушение осваивать ещё заражённые участки земли.
Возможны автоматические робототизированные бункеры: в них человеческие эмбрионы хранятся в неких искусственных матках и через сотни или тысячи лет запускаются. Их можно отправить в путешествие к другим планетам. Однако, если такие бункеры будут возможны, то Земля вряд ли останется пустой – скорее всего она будет заселена роботами. Кроме того, если человеческий детёныш, воспитанный волками, считает себя волком, то кем будет считать себя  человек, воспитанный роботами?
Культурные примеры: Ноев ковчег, Зион в «Матрице», крепость во время чумы у Э.По в «Маске Красной смерти», бункер в «Терминаторе», FallOut (серия компьютерных игр), роман "Метро 2033".
Выводы: идея о выживании в бункерах содержит много подводных камней, которые снижают ей полезность и вероятность успеха. Длительные бункеры надо строить многие годы, но они могут устареть за это время, так как ситуация изменится и неизвестно к чему готовится. Возможно, что есть ряд мощных бункеров, которые были построены в годы холодной войны. Но чем мощнее бункер, тем вероятнее, что в нём разместят оружие возмездия, и тем вероятнее, что он станет целью в ходе войны. Прямо сейчас у нас, вероятно, есть бункеры, в которых люди могут автономно просидеть год (а может быть и несколько лет в ядерных в военных объектах). Пределом современных технических возможностей видится бункер порядка 30-летней автономии, однако его надо строить лет десять, и это потребует миллиардов долларов инвестиций.
Особняком стоят информационные бункеры, которые предназначены, чтобы донести до возможных уцелевших потомком наши знания, технология и достижения. Например, в Норвегии, на Шпицбергене создали запас образцов семян зерновых с этими целями. Возможны варианты с сохранением генетического разнообразия людей с помощью замороженной спермы. Обсуждаются устойчивые к длительному хранению цифровые носители, например, компакт-диски, на которых вытравлен текст, который можно прочесть через лупу. Эти знания могут быть критически важными, чтобы не повторить наших ошибок.
Опережающее расселение в космосе .Есть предположение, что человечество уцелеет, если разделится на части, которые будут быстро заселять космос по отдельности. Например, известный физик С. Хокинг агитирует за создание запасной Земли, чтобы избежать рисков, угрожающих планете . При опережающем расселении ни одно воздействие, осуществлённое в одном месте, не сможет догнать всё человечество. Увы, нет никаких технологических предпосылок для ускоренного расселения человечества по космосу: мы имеем весьма смутные представления о том, как создать звездолёты и, вероятно, не сможем построить их без помощи ИИ и робототизированного производства. А значит, человечество сможет начать заселять космос только после того, как преодолеет все риски, связанные с ИИ и нанотехнологиями, и поэтому космические поселения не могут служить защитой от этих рисков. Кроме того, космические поселения в ближайшем космосе, в пределах Солнечной системы, будут крайне зависимы от земных поставок и уязвимы для обычной ракетной атаки. Даже если человечество начнёт убегать от Земли с околосветовой скоростью на сверхбыстрых звездолётах, это всё равно не обезопасит его. Во-первых, потому что информация всё равно распространяется быстрее, со скоростью света, и если возникнет враждебный ИИ, то он может проникнуть по компьютерным сетям даже в быстро удаляющийся звездолёт. Во-вторых, как бы ни был быстр звездолёт, его может догнать более лёгкий, быстрый и совершенный (поскольку он будет создан позже) беспилотный аппарат. Наконец, любой звездолёт увозит с собой все земные сверхтехнологии и все человеческие недостатки и связанные с ними проблемы.

Глава 24. Катастрофы и границы науки.
Наука не может исследовать собственные границы, поскольку это чревато заходами в область ненаучного. С другой стороны, по мере развития науки её границы естественным образом расширяются, и иногда включают в себя то, что раньше было суеверием. (Например, целебные свойства хлебной плесени были известны и в античности, и в народной медицине, но знания об этом были признаны ненаучными до открытия пенициллина.) Такое свойство границ науки задаёт её особый характер отношений с неизвестным, и, вероятно, это правильный подход, так как стоило бы ослабить эти границы, как в науку бы хлынула масса всякой ереси. В этой главе я предприму откровенно антинаучный экскурс за эти границы, чтобы узнать, нет ли там чего-то, что может представлять интерес с точки зрения исследования глобальных катастроф.
Глобальная катастрофа относится к категории невидимых и непроверяемых ситуаций и потому попадает в ту область, которая обычно определяется верой. Здесь она сталкивается с другими объектами веры. А у каждой религии своя эсхатология. Тем не менее, людям свойственно прибегать даже к «антинаучным» методам борьбы, когда речь идёт о спасении жизни. Можно вспомнить о множестве ритуалов при запуске ракет на Байконуре и т. д. Вера в неизбежность и позитивность конца света была раньше свойственна христианству, хотя сейчас вряд ли эту идею принимают буквально. Любые идеи о том, что мы уже обладаем бессмертием, радикально меняют смысл и ценность представлений о глобальной катастрофе. Люди в эпоху средневековья жили с ожиданием Конца света, и он был для них освобождением. Когда впереди ждёт бессмертие, то катастрофа перестаёт быть всеобщей – она касается только некоей части мира, и потому может даже приветствоваться. 
Особняком по отношении к проблеме глобальных рисков стоят несколько дисциплин, которые стараются придать себе статус научности, однако в целом отвергаются научным сообществом. Принцип предосторожности заставляет нас принять их во внимание. Поскольку, как мы уже говорили, любое новое открытие меняет картину глобальных рисков, и, скорее всего, в сторону усугубления.
1. Уфология. Основной вопрос уфологии состоит в том, стоит ли нечто такое за наблюдаемыми на небе непонятными явлениями, что требует некого принципиально нового научного объяснения. Или же подобные явления связаны с ошибочным восприятием, галлюцинациями, мистификациями и случайными совпадениями, а также редкими, но не требующими изменения картины мира физическими явлениями, такими, как спрайты и прочие формы сложных электрических разрядов. Принципиально новое в уфологии не обязательно означало бы, что НЛО – это космические корабли пришельцев. Есть много других предположений: что это плазменные формы жизни, путешественники во времени или из параллельных миров, жители подводной цивилизации и т. д. (См. статью Жака Вале «Пять аргументов против внеземного происхождения НЛО ».) Из того, что многие небесные явления удаётся объяснить естественными причинами, не следует, что нам когда-нибудь удастся объяснить все такие события.
В любом случае, если будет открыто, что за НЛО стоит нечто принципиально новое, это ухудшит наши шансы на выживание. Отметим, что именно так к НЛО относились военные – как к непредсказуемому источнику риска до того, как будет доказано, что это только атмосферные явления. Во-первых, если за НЛО стоит не разум, а просто набор неких новых физических эффектов, это даст нам новое пространство, по которому можно будет перемещаться, размножаться в нём и воздействовать из него на Землю. Соответственно, это даст новые способы создания оружия судного дня. Во-вторых, даже если НЛО – это корабли пришельцев, то трудно ожидать от них, что они начнут спасать земную цивилизацию. Ведь раньше они не предотвращали мировые войны. Однако столкновение с превосходящим разумом всегда гибельно для более слабого – и чревато вымиранием или культурным растворением. Вспомним австралийских аборигенов или индейцев. 
2. Парапсихология. Парапсихология также борется за то, что бы её признали наукой и стремится доказать, что предмет её исследования существует. В целом, то, что она предсказывает, гораздо менее фантастично, чем свойства квантовой сопряжённости, которыми обладают элементарные частицы. Поэтому наилучшие попытки научного обоснования парапсихологических явлений, таких как телепатия и предвидение, основаны на теориях о квантовой природе сознания. Представим себе, что парапсихология достигла своих целей и нашла способ легко демонстрировать и применять на практике такие способности, как телепатия и предвидение. (Один из наиболее интересных проектов на эту тему - Remote viewing Инго Свана  – развивался в 80-е годы в США при ЦРУ, потом был выведен за штат и широко опубликован в Сети. Идея проекта была в создании методики формального обучения реципиентов удалённому восприятию на расстоянии и использование её затем для целей разведки. Возможно, отказ от него был связан с тем, что были найдены более эффективные техники удалённого восприятия – а может, с тем, что они были признаны бесполезными.) Здесь возможны два варианта. Первый состоит в том, что некие простые парапсихологические явления получили бы научное подтверждение и стали широко применяться на практике. Второй вариант состоит в том, что сделанные открытия были бы настолько масштабны, что полностью изменяли бы нашу картину мира.
На первый взгляд, способность читать мысли всех людей и предчувствовать будущие катастрофы была бы крайне полезна в борьбе с террористами и прочими рисками. Однако здесь мы опять видим средство мгновенного воздействия на всех людей, и также среду для саморазмножающихся объектов – то есть базовые инструменты для создания нового оружия судного дня. Следовательно, открытие телепатии не сделает наш мир безопаснее; напротив оно создаст новое пространство для борьбы «щита и меча» с непредсказуемыми последствиями. Предвидение также может создать ситуацию стратегической нестабильности, по типу самосбывающихся пророчеств. Пример такой нестабильности показан в фильме «Особое мнение», где способность предсказывать намерения другого государства приводит к войне. Особенно, если у него есть свои предсказатели – тогда бы возникла положительная обратная связь. С предсказаниями возникает также проблема петель обратных связей в духе «вернуться в прошлое и убить своего дедушку», смысл которых в том, что или предсказание неизбежно, или это не предсказание.
Более глубокими следствиями открытий в области парапсихологии было бы радикальное изменение картины мира. Такое изменение состояло бы в том, что роль субъекта в мироздании значительно повышалась бы, а роль объективного мира снижалась. Нет нужды говорить, что такого рода открытия тесно смыкались бы с предсказаниями различных религиозных учений. Возможно, что в этом случае проблема гибели человечества сильно трансформировалась бы, так как изменилось бы само содержание терминов «гибель» и «человечество». Однако даже если бы мы «открыли Господа Бога», это не обещало бы нам «спасения человечества» в его нынешнем виде, поскольку, как уже говорилось, во многих религиях предусмотрен – и приветствуется – апокалипсис.
Одним из популярных способов борьбы за спасение мира являются коллективные групповые медитации, которые организуются в определённое время по всему земному шару. Никакой очевидной пользы или вреда от этого зафиксировано не было.
Интересной формой изменения картины мира мог бы быть последовательный солипсизм, то есть представление о том, что только я-сейчас реально существую, а мир – это некая форма  отражения моего сознания. Многие учения в стиле New Age неявно разделяют эту картину миру, утверждая, что «все ваши желания сбываются», «вселенная слышит вас». Тогда способом сохранения мира было бы пребывание в позитивном устойчивом состоянии, которое бы отражалось во вне. Однако, поскольку у каждого бывают приступы ненависти к себе и другим, то, если бы эта система работала в точности, мир бы, даже и субъективный, погиб бы ещё раньше. Если же предположить, что есть некий разумный фильтр моих желаний, то мы возвращаемся к картине мира с Богом, где окончательное решение о разрушении и создании мира остается за ним, но поскольку Бог находится за пределами мира, то это не является ни окончательной катастрофой, ни глобальной. Однако, возможно, что ситуация гораздо сложнее, чем позволяет себе представить человеческая теология, и таким образом разрешаются все противоречия.
3. Альтернативные физические теории. Всегда есть огромное количество ниспровергателей Эйнштейна, однако даже в рамках вполне общепринятой физики, развиваемой профессиональными теоретиками, достаточно теорий, который могут существенно изменить наш взгляд на мир в вопросе глобальных катастроф. Во-первых, это разные теории, которые предсказывают новые пространства, в которых могут развиваться риски, новые физические эффекты, обещающие новые виды оружия, а также описывающие разные альтернативные сценарии природных катастроф. Затем есть ряд теорий, которые предполагают полную смену картины мира. Часто разные альтернативщики стараются привлечь к себе внимание, показывая, как открытые ими новые эффекты могу привести к разным катастрофам. И хотя большинство людей правильно распознают такие заявления как саморекламу, возможно, надо уделять им чуть больше внимания, так как в одном случае на тысячу за ними может быть своя правда.

Глава 25. Глобальные катастрофы: русский срез

В этой главе мы сначала расскажем о людях, которые участвуют в невидимой игре максимально большого масштаба в России. Люди эти делятся по большому счёту на два класса: великих изобретателей и великих спасателей. И хотя по существу они противостоят друг другу в своей борьбе, психологически это один и тот же тип людей – людей, одержимых некой одной идеей. Иногда даже это один и тот же человек. Например, А.Д.Сахаров разработал водородную бомбу и предлагал доставить огромные водородные бомбы на кораблях к побережью Америки. Позже он стал одним из ярых защитников людей и сторонников ядерного разоружения. Как мне рассказывали, один человек в КБ разработал «озонное оружие» – вещество, способное уничтожить весь озоновый слой на Земле и привести к облучению Земли губительной радиацией (не знаю, насколько это возможно). Вдруг, поняв, что же он делает, он всё бросил и ушёл монахом в монастырь.
Классическими примерами изобретателей и спасателей в русской истории являются К.Циолковский и Н.Фёдоров. Напомню, что Фёдоров предложил «философию общего дела», суть которой в физическом воскрешении всех когда-либо умерших людей с помощью достижений науки и техники. Сейчас в Москве действует мемориальная библиотека имени Фёдорова, которой руководит замечательная женщина Анастасия Гачева. (Одной из современных идей о физическом воскрешении всех умерших является то, что будущий искусственный сверхинтеллект сможет смоделировать всю прошлую земную историю на основании сохранившихся данных, а следовательно, и восстановить с большой точностью личности умерших людей.)
И изобретателем, и спасателем движет желание совершить деяние глобального, космического масштаба, деяние, которое не просто влияет на чью-то жизнь, но и изменит судьбу Вселенной. Точно таким же деянием был и СССР в его идеализированной, например, у Ефремова, форме. Задача коммунизма у Ефремова – не просто достижение блага всех людей на Земле, но и распространение света разума по Вселенной. Нетрудно предположить, что победа социалистической революции именно в России связана именно с тем, что русские гораздо более всерьёз принимали те утопии, которые породили утописты 19 века. Недаром Ленина Уэлсс назвал «кремлёвский мечтатель». Мечта о том, чтобы «сказку сделать былью» является самоочевидной в нашей стране. Но у любой мечты есть обратная сторона, выраженная в поговорке о том, что благие намерения мостят дорогу известно куда. Дело в том, что мечта ослепляет. Яркий привлекательный образ, который является движущей силой мечты, вытесняет за пределы сознания возможные недостатки. Именно поэтому мечтатель оказывается одновременно и разрушителем. Можно также сказать, что мечтатель не учитывает закон непредвиденных последствий. Мечта не позволяет ему видеть картинку в целом. Например, Горбачёв в начале своего правления создал красивый образ: СССР слезает с нефтяной и алкогольной иглы и благодаря ускоренному развитию науки и техники и самоуправления быстро развивается. Но не предусмотрел последствий.
Другим исследователем, потенциально подвергающим риску существование Земли, оказался наш старинный друг и почти сосед по даче геофизик, доктор наук Л.Я. Аранович. некоторое время назад я обратился к нему за рецензией на свою книжку о катастрофах. И за чаем он мне рассказал, что их группа учёных разработала проект зонда, способного проникнуть в земную мантию. К этому моменту я уже перевёл статью М. Чикровича «Геоинженерия, пошедшая насмарку» об опасном проекте «зонд Стивенсона», суть которого состоит в проплавлении земли с помощью огромной капли расплавленного железа: массой около миллиона тонн. Понятно, что хотя такой проект технически реализуем, но практически он крайне затратен. Аранович с коллегами разработал усовершенствованный зонд, который представляет собой капсулу из тугоплавких металлов с радиоактивным источником тепла внутри. Такой зонд будет весить менее 10 тонн и реализовать его гораздо проще. Он сможет проникнуть в земную толщу на глубину до 1000 км, согласно выполненным теоретическим расчетам. Я спросил, проводились ли оценки безопасности проекта на предмет выбросов веществ из мантии и возникновения искусственного сверхвулкана – оказалось, что нет. И это меня удивило.
Другая сторона медали – это спасатели мира. Среди них есть какое-то число откровенно неадекватных людей, но есть и те, чьи выводы вполне убедительны. Другое дело, что даже если они совершенно правы, то их голоса тонут в хоре множества самых разных предложений, призывов и просьб, которые наполняют информационное пространство. Мне трудно поверить, что до властей можно достучаться – у них должен быть мощный фильтр для отсеивания огромного потока информации, идущего к ним снизу. Тем не менее высказывание обоснованных мнений о рисках необходимо, так как рано или поздно они могут достичь консенсуса.
Одним из таких исследователей является А.В. Карнаухов – биофизик, создавший концепцию «парниковой катастрофы». Он утверждает, что глобальное потепление будет не 6 градусов за 100 лет, как полагает большинство учёных, а значительно выше за счёт ряда положительных обратных связей. Подробнее мы обсуждали риски необратимого глобального потепления выше. Не удивительно, что Карнаухов столкнулся с невозможностью опубликовать свои статьи в профильных журналах, так как его выводы не соответствуют общепринятым. И хотя он сам верит своим выводам на 100 процентов, я не могу верить им более, чем на 1 процент, поскольку это мнение не разделяется большинством специалистов. Он создал сайт poteplenie.ru и форум “CO2”, то есть пошёл тем путём, которым идут все отвергаемые научным истеблишментом спасатели и великие изобретатели – обратился к общественности непосредственно. Однако недавно он достиг фазы разочарования и сказал, что воздержится от дальнейших дискуссий, так как не нашёл никого, кто согласился бы проверить его вычисления и поискать в них ошибку.  Я тоже неоднократно сталкивался с тем, что люди отказывались читать некую статью или перевод, потому что заранее были несогласны с выводами.
Недавно громко прозвучали заявления Э.М. Дробышевского о рисках взрыва спутника Юпитера Каллисто в результате химического взрыва ионизированного льда. Этот взрыв привёл бы, по мнению Дробышевского, к интенсивной кометной бомбардировке Земли и к непрерывной ядерной зиме, а значит, и к человеческому вымиранию. В качестве плана спасения он предлагает изменить приоритетность космических миссий и отправить экспедицию к Каллисто. С другой стороны, очевидно, что если Каллисто на самом деле находится в таком взрывоопасном состоянии, то, возможно, лучше вообще ничего к нему не отправлять, так как это может спровоцировать взрыв (например, при глубоком бурении Каллисто в поисках этого самого взрывоопасного льда). Здесь мы видим, как проекты по спасению человечества при небольшой смене угла зрения превращаются в крайне опасные проекты – и грань эта очень тонка.
В течение многих лет в Интернете действует сайт «Мировой кризис» М.Хазина и С.Егишянца. В раньше он казался прибежищем маргиналов, убеждённых в неизбежности кризиса мировой экономической системы. Однако с началом мирового ипотечного и кредитного кризисов в прошлом году подобные взгляды стали постепенно проникать в мейнстрим издания и даже в выступления ведущих политиков и экономистов. Это конечно, не значит, что все маргинальные взгляды рано или поздно восторжествуют, но по крайней мере некоторые их них могут содержать рациональное зерно.

Вторым важным фактором, определяющим роль России в будущих глобальных катастрофах, являются её огромные территории. В этой книге я специально не трогую геополитику, поскольку эта тема хорошо проработана в гораздо более обширных исследованиях, и, кроме того, может отвлекать на себя слишком много внимания читателей. Однако понятно, что огромные территории содержат в себе огромные ресурсы любых видов, которые могут понадобиться сейчас и в будущем: от нефти и газа – до древесины и просто места для жизни. При этом я не разделяю распространённое мнение о том, что огромные ресурсы делают Россию привлекательным объектом для иностранной агрессии с целью овладения этими ресурсами в ближайшей исторической перспективе, поскольку ресурсы России в целом пропорциональны её доле в площади суши (1/7), и есть масса мест в мире, гораздо более не защищённых для внешней агрессии, например, Африка. Кроме того, Россия и так прикладывает значительные усилия, чтобы экспортировать большую часть своих ресурсов, а в случае войны сложная логистика их доставки, связанная с огромными территориями, будет нарушена. Кроме того, Россия набита расщепляющими материалами и оружием массового поражения, и даже в случае обезоруживающего ядерного удара большая часть этого оружия будет утеряна и, в конечном счёте, попадёт в руки террористов. Таким образом, нет рациональных обоснований нападать на Россию с целью овладения её ресурсами. Однако это не исключает возможность войны, поскольку война может носить или случайный, или превентивный характер. Случайная война может разразиться в любой момент, но с большей вероятностью – в периоды международной напряжённости. Превентивная война возможна, только если Россия будет реально или мнимо угрожать кому-то нападением. К счастью, сейчас мы не находимся в такой ситуации.
Другой фактор, связанный с огромными территориями, – это то, что на таких территориях происходят с большей вероятностью разные события, вероятность которых равномерно распределена по земной поверхности – например, падения метеоритов. Именно в России произошло крупнейшее в человеческой истории падение метеорита – ровно 100 лет назад на реке Подкаменная Тунгуска. Россия занимает собой значительную часть земного шара и таким образом как бы отвечает за неё.
Важным фактором является и наличие у России и космической программы. Это означает, что Россия могла бы развернуть активную программу антиастероидной защиты, и есть несколько горячих энтузиастов этой идеи. Кроме того, освоение Луны могло бы стать способом создания запасного плацдарма для цивилизации на случай планетарной катастрофы. К сожалению, сейчас в Роскосмосе возобладали противники ускоренного освоения Луны. Освоение космоса могло бы стать не менее престижным и патриотически объединяющим проектом, чем футбол и олимпиада. На него можно было бы тратить часть денег Стабфонда, не приводя к инфляции, путём размещения заказов за границей. Кроме того, освоение космоса могло бы стать явной практической целью для российской программы по нанотехнологиям – ведь успешность дальних космических миссий и надёжность ракет в первую очередь определяется качеством материалов и развитием микроэлектроники.
При современных технологиях создание самообеспечивающейся колонии на Луне потребовало бы доставки миллионов и миллиардов тонн. (Вычисление минимальной массы оборудования для полностью самообеспечивающейся колонии – интересная задача для будущих вычислений.) Однако развитие нанотехнологий, даже без создания нанороботов, позволит на порядки уменьшить необходимую массу за счёт создания универсальных высокопрочных материалов и способов их производства. В России есть также опыт в создании замкнутых систем жизнеобеспечения в духе Биосферы-2 – то есть полностью изолированных от внешней среды систем оранжерей. И хотя колония на Луне не даёт гарантий выживания, строительство её займёт десятки лет и успех этого предприятия под вопросом – это всё же лучше, чем ничего.

Ещё одна особенность России, связанная с катастрофами, – это так называемый «русский крест», то есть превышение уровня смертности над уровнем рождаемости. Этот сложный системный эффект приведёт к полному вымиранию граждан России, если он продолжит действовать, в течение нескольких сот лет. Два основных фактора приводят к нему – это снижение рождаемости и высокий уровень смертности трудоспособного населения. Последнее довольно закономерно связывается с «алкогольной сверхсмертностью» - то есть высоким уровнем смертности, связанным с употреблением некачественного алкоголя, с последствиями длительного алкоголизма, с бытовыми преступлениями на алкогольной почве и с высоким уровнем несчастных случаев, так же связанных с алкоголем. В нашем контексте глобальных катастроф алкоголь выступает прообразом некоторого будущего «сверхнаркотика», способного медленно, но верно приводить к человеческому вымиранию. Снижение рождаемости, связанное с разрушением традиционных моделей поведения, традиционной семьи, ростом образования женщин, распространением контрацептивов и рядом других факторов, также является сложным системным феноменом. Однако в отношении этих двух явлений действует такая вещь, как дарвинский естественный отбор, который не позволит им привести к полному вымиранию ни россиян, ни, тем более, всех людей. А именно, происходит отбор тех аллелей генов, носители которых склонны не делать аборты, не умирать от алкоголя, и иметь больше потомков. Таким образом, в исторической перспективе, если ситуация будет оставаться неизменной, то население приспособится к новым условиям, и снова начнёт расти. Но неизменность условий в ближайшем будущем весьма сомнительна, так что эти «дарвинистские» факторы вряд ли успеют сработать. С другой стороны, в ближайшем будущем возможно будет разводить людей искусственно, с помощью искусственных маток, роботов-нянь и прочих технологических средств, хотя в какой мере людей, воспитанных роботами, можно будет считать людьми, не понятно.
Итак, хотя теоретически проблемы «русского креста» преодолимы, фактически мы являем собой нацию, находящуюся в начале фазы вымирания. И хотя два основных фактора этого вымирания могут быть преодолены, возможно появление новых, действующих на общечеловеческом масштабе факторов, ведущих к неуклонному снижению населения и приближающих окончательное вымирание. К ним относится и эпидемия СПИДа, также весьма значительная в России.

При этом, однако, Россия может получать и выгоду от тех или иных всемирных кризисных явлений, в первую очередь, от мирового кризиса и роста цен на ресурсы. Я не исключаю того, что в ближайшие десять лет цена на нефть повысится до нескольких сотен долларов за баррель, и Россия станет новой Саудовской Аравией – богатой, своенравной и лишённой внутреннего производства («голландская болезнь»). Если пройтись по центру Москвы, возникает ощущение, что это будущее уже наступило. Однако это процветание относится только к среднесрочной перспективе, так как приведёт за собой падение производства, моральное разложение, а затем кризис, когда изобретут источники дешёвой энергии или когда произойдут по настоящему всемирные катастрофы.
Много было сказано и про системную деградацию в современной России, связанную с высоким уровнем коррупции, неэффективным управлением и крайней эгоистичностью и недальновидностью крупных игроков. Иногда почитаешь тексты Латыниной, и потом выходишь на улицу и не понимаешь: как до сих пор всё не рухнуло и почему солнышко светит. Однако кризис управления относится не только к России. В Америке мы можем видеть многоярусное и очень тонкое мошенничество на примере вскрывшегося сейчас ипотечного кризиса. Кризис взаимного обмана, непонимания и недоверия ведёт к информационной слепоте в отношении любых по-настоящему важных вопросов, а следовательно, и к краткосрочности любого управления, так как оно вынуждено опираться только на очевидные факторы. Предвидение делается невозможным, так как оно превращается в «сад расходящихся тропок» в пространстве, искривлённом когнитивными искажениями, коммерческими интересами, непониманием, секретностью и ложью. В результате, единственное, что остается – это реагировать на проблемы по мере их поступления, когда они становятся очевидными и несомненными. Однако это делает невозможным реакцию на определённый класс проблем, которые к моменту своего проявления станут уже неразрешимыми, и которые можно было бы относительно легко устранить дальновидным предвидением.

У нас есть огромное количество литературы, описывающее внутренние проблемы России, а также взаимоотношения России с другими мировыми державами. В некотором смысле любая геополитика имеет в своей перспективе глобальную катастрофу, а именно, отдалённые риски ядерной войны. Например, дискуссии о ПРО и ядерной программе Ирана. С другой стороны, анализ различных рисков, связанных с новыми технологиями, создаёт впечатление, что от России здесь ничего не зависит, поскольку основные центры разработки находятся за рубежом. Например, когда в Австралии экспериментировали с вирусом мышиной оспы и геном интерлейкина-4, в результате чего создали случайно сверхсмертельный штамм, то эта ситуация никак от России не зависела. Будь этот штамм смертелен для людей и вырвись он на свободу, то ущерб его для России превысил бы ущерб от небольшой ядерной войны. Однако Россия, равно как и весь мир, в этом случае оказалась бы случайной жертвой экспериментов, никакого отношения к геополитике не имеющих. Отсюда я заключаю, что хотя геополитика и имеет в прицеле гипотетические глобальные катастрофы, на самом деле она упускает из виду наиболее опасные и реальные возможные катастрофы, корни которых лежат не в политической плоскости. Переоценка эта связана, вероятно, с тем, что геополитические рассуждения эмоционально цепляют, запуская механизм, сформировавшийся ещё в обезьяний стае, когда было важно разделение на «мы» и «они». И этот адреналиновый выброс заставляет думать на одну тему, упуская из виду те риски, которые не связаны с личным противостоянием групп людей. Однако противостояние групп людей обычно не нацелено на глобальную катастрофу, ведущую к полному вымиранию всего человечества, поскольку каждая группа стремится выжить.
С другой стороны, Россия всё же является субъектом проблем, связанных с глобальными рисками. И это связанно не только с очевидным наличием огромного ядерного потенциала, не только со специфической концепции обеспечения безопасности, выраженной русским словом «авось» и не только с историческим опытом того, что мы часто успевали быть впереди планеты всей в области различных технологических свершений (космос, самая большая бомба) или катастроф (Чернобыль).
В последние годы между российскими и западными учёными возникла дискуссия о том, следует ли посылать сигналы к звёздам с целью вступить в контакт с инопланетянами (программа METI). Моё мнение состоит, в том, что программа SETI гораздо опаснее METI, о чём я подробно говорил выше, однако большинство исследователей проблемы контактов с внеземными цивилизациями это моё мнение не разделяют, сосредотачиваясь на рисках отправки сигналов. При этом мнения разделились: в то время как многие зарубежные учёные полагают необходимым воздержаться от посылки сигналов, а США даже действует прямой законодательный запрет это делать, российские исследователи во главе с А.Зайцевым полагают, что риск подобных передач отсутствует, а контакты желательны. Сторонники запрета посылки сигналов выдвигают следующие аргументы: узконаправленные с помощью параболических радиоантенн сигналы могут быть обнаружены на огромных расстояниях в пределах нашей галактики. При этом мы не можем быть уверены в «доброте» всех возможных внеземных цивилизаций. Выдавая им своё местоположение, мы рискуем привлечь к себе их внимание и стать объектом агрессии. Сторонники отправки сигналов исходят из того, что высокоразвитые цивилизации, если они есть, давно знают о нашем существовании, поскольку с помощью огромных телескопов могли бы давно обнаружить Землю и кислород в её атмосфере. Кроме того, непрерывные передачи телевидения и радио в последние сто лет и так сделали нас заметными всему космосу. И если бы такие цивилизации имели бы технические средства нас достичь, они бы давно это сделали. Наконец, будучи высокоразвитыми цивилизациями, они должны были бы пройти своего рода «этический фильтр» и быть высокогуманными. Им нет нужды нас уничтожать, потому что они бесконечно сильнее нас. Наши же сигналы адресованы не этим гипотетическим высокоразвитым цивилизациям, а равным нам по развитию цивилизациям. В любом случае, количество радиопосланий, отправленных с Земли, ничтожно, по сравнению с паразитным излучением, например, военных радаров. Значительное число таких посланий было отправлено с радиотелескопа в Евпатории. В рассуждениях сторонников METI есть ряд подводных камней, которые, наверно, уже очевидны читателю. Например, засветка военными радиотелескопами не направлена в некоторую точку на небе, а скользит по ней (из-за вращения Земли), тогда как намеренные радиопослания специально фокусируются на выбранных солнцеподобных звёздах. При этом мы не знаем, какой тип сигналов поймать легче. Кроме того, даже если согласится с тем, что нашими гипотетическими адресатами являются равные нам цивилизации, то здесь возможна такая же ситуация как с ребёнком, которого отпускают погулять в парк. Ни его сверстники, ни взрослые сознательные люди для него не опасны. Но немного старший ребёнок или подросток может быть опасен. Так же и здесь: если наш сигнал попадёт к цивилизации, немного опережающей нашу, то когда она создаст средства межзвёздного транспорта, она окажется впереди нас, и у неё будет соблазн навестить нас первыми. Наконец, наиболее уязвимым является представление о сверхцивилизациях как о «добрых» цивилизациях. Как бы ни были добры люди, они часто проявляет жестокость к тем, кого не считает себе равными – дикарям, животным, насекомым. И доброта людей друг к другу внутри некой группы не значит, что эта группа будет добра к другой группе. Как сказанного в одной статье: из того, что клетки птички любят друг друга, и клетки внутри кошки любят друг друга, вовсе не следует, что кошка будет добра к птичке. Дэвид Брин, известный писатель фантаст, учёный и активный противник METI, критикует российских учёных следующими словами: они выросли на романах Ефремова, и на идее, что социализм победит не только на Земле, но и на всех других планетах, и в силу этого эти планеты будут братскими. И хотя это явная натяжка, в неё есть немного правды. Гораздо лучше о потенциальной «доброте» внеземных цивилизаций рассуждали Стругацкие в романе «Волны гасят ветер»: их «доброта» может оказаться ещё хуже их агрессивности, подобно тому, как католические миссионеры несли своё понимание «правильности» индейцам огнём и мечом. Их понимание, что для нас правильно, однозначно определяет то, что мы лишаемся права на свою свободу, свой путь и свою идентичность, а, в конечном счёте, и на свою жизнь. То, что мы до сих пор существуем, тоже не может быть гарантией нашей безопасности. В конце концов, поросята тоже прекрасно живут, пока их не привезут на скотобойню. Вряд ли сверхцивилизациям нужны какие-то наши земные ресурсы. С другой стороны, люди часто охотятся на обезьян не от голода, а чтобы захватить детёнышей и продать в зоопарк; или, например, некие цивилизации могут не хотеть, чтобы мы создали свой самосовершенствующийся искусственный интеллект, который мог бы потом представлять опасность всей галактике. Тут возможно много предположений, которые упираются в принципиальную непредсказуемость поведения других цивилизаций. Однако факт отправки сообщений к звёздам – это необратимое действие: их нельзя вернуть назад, к каким бы мы выводам потом не пришли.
Дискуссия о METI являет собой живой пример участия России в проблемах глобальных рисков. Особенность этой дискуссии в том, что она проходит совершенно незаметно для общества и для государства. Есть ли в этом риск или нет, велик он или мал, - решают люди, лично заинтересованные в этой проблеме и никем не уполномоченные её решать.
Вероятно, последний абзац этой главы я должен был бы закончить словами о том, что должна сделать Россия, чтобы защитить себя от возможных глобальных катастроф и рассказать о важности развития новых технологий, повышения культуры безопасности, контроля потенциально опасных исследований. Но самое главное - это сохранить взгляд на мир с позиций мирового масштаба. То есть для каждого человека важно подняться над межнациональными и межгосударственными противоречиями и потратить своё время и понимание на то, чтобы убедиться в реальности рисков, угрожающих каждому на Земле.



Глава 26. Моделирование сценариев глобальной катастрофы.

Наше описание элементов возможной глобальной катастрофы достигло такого уровня сложности, что оно превосходит способности человеческого разума к целостному восприятию. Необходимо сказанное как-то обобщить и сделать более ясным и понятным. Сделаем мы это с помощью описания нескольких воображаемых сценариев глобальной катастрофы. Смысл этих сценариев не в прогнозировании глобальных рисков, а в том, чтобы дать срез пространства возможностей, то есть проиллюстрировать его устройство. Вспомним слова Бора, сказанные в героический период становления физики в начале XX века: «Это теория недостаточно безумна, чтобы быть верной». Иначе говоря, то, что некоторые сценарии могут выглядить фантастическими, не делает их невозможными. Представим эти сценарии также в качестве своего рода как пробных шаров, с помощью которых можно исследовать саму способность создавать и оценивать сценарии глобальной катастрофы. Отметим, что данное перечисление возможных сценариев не есть попытка составить полный список, который был бы многократно длиннее. Часть этих сценариев откровенно фантастические. Пусть они будут попыткой исследовать наши границы восприятия в отношении реального и невероятного.
1. Мировой финансовый кризис, распад мирового сообщества на враждующие сегменты, ускорение гонки вооружений, широкое распространение ядерного оружия и биологического оружия, война всех против всех, деградация в сторону постапокалиптического мира, в котором на каждом этапе деградации остается достаточно оружия от предыдущего  этапа, чтобы перейти к следующему. Время действия 2010-2030 годы.
2. Создание универсального биопринтера и его широкое распространение. Это как личный ДНК-синтезатор, инкубатор плюс набор программ для него по созданию любых живых существ. В результате – резкий, очень быстрый взрыв биохакрества, отравление всей окружающей среды поедающими всё бактериями и заражение большей части людей смертельными болезнями. Применение ядерного оружия в попытке стерилизовать заражённые территории. В результате – всё тот же постапокалиптический мир с неограниченной способностью к деградации – даже более сильной, чем в предыдущем варианте, так как более опасное оружие создано и может производиться последними оставшимися людьми. Время действия 2010-2030 годы.
3. Внезапная ядерная война, постапокалиптический мир, затем нарастание глобального потепления и превращение Земли в «Венеру». ХХI-XXII век.
4. Внезапное возникновение мощного самоусиливающегося ИИ – что перебивает любой из предыдущих сценариев. Время действия 2010-2040. Этот ИИ приходит к выводу об изначальной ущербности живой клетки и заменяет их на нанороботов. Каждый человек подключён к источнику неограниченного блаженства и больше не приходит в сознание.
5. Начинается мировая война или противостояние, и враждующие стороны вбрасывают на территорию противника лаборатории по производству сверхнаркотика. Благодаря этим лабораториям биотехнологии распространяются по всему миру. В последнем усилии остановить биологическую атаку, мировые правительства бросают огромные усилия на разработку систем ИИ. Эти системы достигают зрелости почти одновременно в нескольких странах и вступают в ожесточённую схватку между собой за право нести благо человечеству. В результате выживает только несколько человек, которых победивший ИИ держит на лунной станции в искусственном парке, всячески о них заботясь. Время: 2010-2050 гг.
6. На Земле побеждает ИИ и благодаря своему уму распространяет информацию о себе во все стороны по Вселенной. Он открывает межзвёздные перелёты и сталкивается там с конкуренцией гораздо более зрелого ИИ, давным-давно созданного другой цивилизацией. Этот более зрелый ИИ истребляет наш ИИ и человечество. Время: 2020-2100 гг.
7. Распространение биотехнологий запускает эпидемии супервирусов, которые приводят к тому, что большинство стран решают создать единую систему контроля «Старшая сестра», однако некоторые страны не согласны, и предпринимается попытка их завоевать. В результате последовавшей ядерной и биологической войны население Земли значительно сократилось, биосфера серьёзно повреждена, но «Старшая сестра» создана. Поскольку ей всё время угрожают мятежи людей, она постепенно ограничивает активность людей, одновременно плавно увеличивая свои способности. В конечном счёте, она становится полноценным самосовершенствующимся ИИ. 
8. Аль-Каида провоцирует крах западной цивилизации и устанавливает всемирный халифат. Уцелевшие учёные создают сверхбомбы и взрывают весь мир, чтобы он «не достался террористам».
9. Удаётся наладить дешёвое и эффективное производство микророботов. Последовавшая война загоняет уцелевших людей в бункеры. Однако война продолжается, и жители бункеров разных стран уничтожают друг друга ядерными ударами.
10. Компьютерный вирус поражает всю имеющуюся в мире технику и заставляет её атаковать людей. Из страха оставшиеся люди уничтожают всю оставшуюся технику. Уцелевшие люди живут племенами, но все они заражены СПИДом и ещё несколькими медленными болезнями, а вся среда загрязнена. Тем временем крысы мутируют и становятся хищными, умными и агрессивными. Люди вымирают, а крысы завладевают Землёй. Однако они неспособны к абстрактному мышлению и не могут создавать новую технику. Через миллионы лет они вымирают от падения астероида.
11. Падение небольшого астероида вызовет случайную ядерную войну, которая станет войной всех против всех. Уцелевшие люди вымрут, когда вслед за тем прилетит гораздо больший астероид и спровоцирует извержение супервулкана.
12. Некая страна разрабатывает опасные нанотехнологии, и на неё совершается превентивное нападение, но никаких следов опасных нанотехнологий не находят. Поэтому борьбу с глобальными рисками объявляют опасной ересью. Затем, наконец, опасные нанотехнологии появляются и применяются.
13. Несколько всеядных бактерий вырываются в окружающую среду и делают её непригодной для производства пищи и обитания. Люди прячутся в бункеры, но постепенно деградируют там.
14. Тоталитарное мировое правительство вводит всем людям вирус счастья, чтобы они любили Бога и радовались жизни. Затем происходит революция, и новое правительство решает даровать людям свободу, вводя всем вирус свободы. Тем временем террористы выпускаю боевых нанороботов, и приходится создать всемирную наноиммунную систему. Однако некто проникает в центр управления этой наноиммунной системой и запускает в ней автоиммунную реакцию, в результате чего она начинает бороться сама с собой. Только немногие люди выживают – однако все они обречены стать дебилами в ближайшие годы из-за ошибки в  конструкции вируса свободы.
15. Человечество распадается на обычных людей и сверхлюдей, усиленных с помощью новых технологий. Эти сверхлюди борются с обычными людьми и вообще их за людей не считают. В результате обычные люди полностью истребляются, и остаётся несколько сверхлюдей, которые по разным причинам вымирают.
16. В результате экспериментов с холодными нейтронами большое их количество попадает в центр Земли, и они запускают цепную реакцию в находящемся там уране. Происходит сильнейшее увеличение вулканической активности, и технологическая цивилизация терпит крах. Уцелевшие люди живут на станции на Луне, но постепенно вымирают.
17. Люди создают доступ от мозга к компьютеру, и вскоре большинство человеческих мозгов оказывается заражено вирусами, троянами и рекламными программами. Другая часть людей уходит в виртуальное пространство навсегда. Начинается борьба этих двух классов людей. При этом настоящие люди находятся внутри компьютеров, а в биологических телах находятся в основном вирусы и трояны. Группа учёных делает открытие о квантовой природе сознания и создаёт универсальный доступ к любым сознаниям. Через него перетекают враждебные сознания из параллельного мира. Человеческая идентичность полностью утрачена.
18. Некая страна создаёт оружие судного дня, и вскоре все остальные страны создают его во множестве. Группа террористов провоцирует его применение.
19. Создаётся производит этническое оружие, которое уничтожает людей с другим цветом кожи. Но несколько человек встают на защиту цветных и производят аналогичное оружие для белых. Поскольку планета оказывается полностью заражена, приходится выпустить новую бактерию, которая дезинфицирует биосферу. Однако всеобщее недоверие приводит к тому, что одновременно создаётся несколько биощитов, которые вступают между собой в конфликт. Их битва разрушает всё живое. Уцелевшие люди вступают в некую секту, агитирующую за добровольное уничтожение человечества, которое натворило столько зла. Они взрывают атомные бомбы во всех бункерах, число которых конечно и местоположение известно.
20. Некая страна придумала добывать энергию из магмы и просверлила глубокий подземный канал. В результате образовался неконтролируемый вулкан и другие страны объявляют ей войну, чтобы она прекратила опыты. В качестве ответной меры первая страна создаёт ещё более глубокий канал. Происходит катастрофическая дегазации земного ядра и жидкость из центра Земли поступает на поверхность. Жизнь на Земле полностью уничтожена.
При рассмотрении каждого предложенного сценария видно, что он в чём-то излишне фантастичен и похож на сюжет для романа, а в чём-то неполон – просто потому что есть много вещей и возможностей, о которых он не говорит. На одной планете может разворачиваться сразу несколько таких сценариев. Опять же возможна нелинейная интерференция между ними. В начале такие сценарии могут развиваться независимо, но затем, когда они выйдут на простор, то непременно пересекутся друг с другом. Следующий дефект этих сценариев – что они написаны от имени кого-то, кто уже знает начало и конец, и точно понимает, что происходит. Тогда как в начале любой последовательности событий мы не знаем, чем она закончится, более того, наше неверное понимание часто играет ключевую роль в выборе неверных решений. Наконец, пока человечество не вымерло, нельзя утверждать, что некий сценарий был необратимым, а после вымирания – некому будет это утверждать. Далее, не все процессы происходят явно – об одних говорят на каждой странице газеты, другие становятся понятны только потом или в момент своего проявления. Например, мы каждый день слышим о глобальном потеплении, но перед 11 сентября нам никто не писал «террористы уже подошли к самолёту». Поэтому мы можем находиться внутри какого-то сценария, понятия об этом не имея. Соответственно, и одна террористическая группа не знает, что задумала другая.
С другой стороны – если бы мы точно знали, что сейчас происходит именно сценарий номер Х, нам бы, наверное, не составило труда его предотвратить. Поэтому главным фактором реализации сценария возможной будущей глобальной катастрофы будет состояние «замешательства». Оно, вероятно, будет проявляться в интеллектуальном разброде о причинах процесса и способах его преодоления и приведёт к конфликтам между сторонниками разных способов. А любой такой конфликт равноценен перестрелке в пороховом погребе.
Способности одного человека придумать сценарий возможной глобальной катастрофы принципиально ограничены объёмом мозга и привычными сюжетными конструкциями. Эффективным способом моделирования сценариев являются штабные или ролевые игры. Например, несколько лет назад ряд ведущих фантастов (Переслегин, Латынина, Лукьяненко и др.) играли в штабную игру в МЧС на тему возможности аварии в электрических сетях Москвы по мотивам аварии в Нью-Йорке. И получили результат, похожий на то, что потом случилось на самом деле в Москве в 2005 году. В США Юдковски отыгрывал различные модели поведения Недружественного ИИ на модели ролевых игр GURPS. Наконец, в будущем нам помогут в этом моделировании сами системы ИИ.


Вместо заключения. Конец света и человеческая природа.

«И земной этот мир был лишь для нас и лишь оттого, что во имя мечты мы можем в миг разрушить его». В.Аргонов. Техно-опера «2032:Легенда о несбывшемся грядущем».


Человек стал человеком, когда впервые взял палку в руку. Сущность человека - это отделение от тела; естество человека - это отделение от естества. Именно поэтому человеку легко слиться, например, с автомобилем, или представить себя бесплотным духом. Быть трансгуманистом – значит максимальным образом выражать своё человеческое естество, состоящее в преодолении телесности.
Бесконечно преодоляя себя, человек не может не достичь момента саморазрушения. Совершенствующийся в мастерстве йог, в конечном счёте, должен разрушить себя как личность, слившись с бесконечностью. Автогонщик должен повысить норму риска, чтобы достичь победы. Влюблённый должен пожертвовать жизнью ради любимой.
Силой, заставляющей нас растягиваться за пределы возможного, является мечта. Чем невероятнее мечта, тем сильнее мы готовы ради неё рискнуть всем. Может быть, есть цивилизации, покончившие собой от невозможности достичь звёзд. Человек способен представлять себе настолько притягательные образы, что они затмевают и страх, и жизнь, и любой возможный ущерб – призрак коммунизма, победа, город-сад, ночь с любимой. Не трудно объяснить это с помощью эволюционной психологии, как модель поведения, дававшую конкурентное преимущества миллионы лет назад, но важнее почувствовать это в себе. Точно так же, как причина смертности человека – не змея, не пуля, - а природа самого его тела, которое самим фактом существования несёт в себе семена будущей смерти. Желание бессмертия невозможно без осознания смертности. Но человек должен проникнуться memento mori, чтобы по-настоящему начать думать о трансцендентном. Бердяев писал о том, что каждому человеку предстоит прожить личный Апокалипсис, и именно с этой стороны следует трактовать откровения Иоанна Богослова. Точно также осознание и принятие цивилизационной смертности идёт рука об руку с принятием личной смертности – и жаждой бессмертия.
Человеку свойственно преодолевать неопределённость актом веры. Одни верят в исчерпании ресурсов, другие – в торжество технологической Сингулярности. Кто-то верит в свою неуязвимость, что побуждает его принимать на себя неоправданные нормы риска. Вера во что-то не означает, что объект веры ложен. Акт веры состоит в исключении вероятностного взгляда на мир, в отрицании собственного незнания того, как оно будет на самом деле. Поверив в некую версию будущего, человек начинает собирать доказательства именно этого варианта развития событий, не обращая внимание на то, что есть доказательства и других вариантов. Признание неопределённости состоит в принятии того факта, что у нас есть несколько гипотез о возможном будущем. Это не значит, конечно, что у нас есть и несколько разных будущ, но и не исключает этого. Например, возьмём число 254878889914433 – одно может быть простым или составным, то есть быть произведением нескольких простых чисел. И я могу выдвинуть две гипотезы – что это число простое и что это число составное. Но на самом деле, это число уже является простым или составным, а эти две гипотезы отражают только меру неопределённости нашего знания. И, поскольку большинство чисел являются сложными, я могу  с большой уверенностью утверждать, что гипотеза о том, что это число – составное, более вероятна. Эта моя субъективная уверенность в том, что это число – составное, может быть представлена как та ставка в игре, которую я бы поставил на этот вывод (например, 1000 к 1, то есть 99.9% шансов на составное число). Таким образом определяется понятие субъективной вероятности – через степень уверенности, измеряемую ставкой абсолютно рационального субъекта на некоторый исход. При этом с объективной точки зрения это число уже является или простым, или составным. Точно также и с предсказанием будущего – будущее может быть твёрдо определено, но мы можем иметь разные гипотезы о том, как именно оно определенно. По мере поступления новой информации мы можем повышать шансы одних гипотез и снижать шансы других. Для этого используется теорема Байеса, позволяющая точно вычислить ту поправку к вероятности, которая нужна. Рассуждения в духе поправок вероятности к тем или иным гипотезам называются байесовй логикой. По этой логике в определённом смысле работают нейронные сети в человеческом мозгу. Повторяющие события приводят к подкреплению неких паттернов в них, которые играют роль более вероятных гипотез. Моделирование байесовой логики исчисления гипотез – это одно из перспективных направлений развития искусственного интеллекта. Однако акт веры отменяет байсову логику, создавая знание из ничего. И это прекрасно было известно древним богословам, которые создали апофатическое богословие. А именно, исследование того, чем Бог не является. Подробнее байсову логику мы рассмотрели в главе о Doomsday Argument, когда обсуждали выбор между двумя чашами с шариками. Напомню ход рассуждений: допустим, есть две вазы с чёрными и белыми шариками. В одной вазе находится 99 чёрных и один белый шарик, а в другой 99 белых и один чёрный шарик. До того, как мы вынем из чаши хотя бы один шарик, мы не знаем, какая из чаш содержит больше белых шариков, и следовательно, мы можем приписать равные шансы обеим чашам. То есть 50 % вероятности - что в первой чаше больше белых шариков, и 50% вероятности, что во второй. Эти вероятности, которые мы имеем до получения новой информации в байесовой логике называются априорными вероятностями. Иначе это можно сказать на языке гипотез: Гипотеза номер 1 – что в первой чаше больше белых шариков, а гипотеза номер 2 – что во второй чаше белых шариков – и наши оценки вероятности обоих гипотез равны. (Отметим, что здесь вероятность измеряет только степень неопределённости нашего знания о том, в какой чаше больше белых шариков, тогда как на самом деле это количество уже определенно и составляет 100% для одной из чаш и 0 % для другой.) Затем нам позволяют достать один шарик из одной из чаш. Допустим, мы достали белый шарик из первой чаши. Это возможно в двух случаях – если почти все шарики в первой чаше белые, и если почти все чёрные, кроме одного, и тогда нам сильно повезло. Первый исход в 99 раз вероятнее второго. Это значит, что гипотезе о том, что в первой чаше большинство шариков – белые мы можем приписать теперь 99% вероятность. Однако 1% остаётся для второй гипотезы. Эти модифицированные вероятности называются апостериорными в байесовой логике. Пользуясь байесовой логикой, мы можем одновременно описывать будущее через несколько гипотез, не прибегая к необходимости верить или не верить в них.
Осознание того, что наше знание о будущем всегда должно состоять из нескольких разновероятных гипотез, прокладывает путь к пониманию неопределенности, к одновременному учёту и многих разных рисков, и необычайных возможностей. Но это требует отказа от комфортного мышления об однозначном будущем, и непрерывного рационального усилия по представлению разных вариантов и действий по предотвращению всех негативных исходов. Это также поможет вам легко опознавать корень чужих заблуждений – чужая уверенность в однозначном исходе почти всегда означает пренебрежение каким-то незнанием – но это не значит, что такой объект веры нужно полностью отбрасывать; его следует принять, как одну из гипотез.
Нет никакого способа знать будущее однозначно. Но фокусирование внимание с помощью вопроса: «Каков наихудший реалистичный исход?» позволяет снова получать довольно определённые ответы. Именно с этой точки зрения и была написана эта книга.