Общественные науки и современность 2009 № 6
Работа принята к публикации.
А.В. Турчин
Процессы с положительной обратной связью и перспективы глобальных катастроф
В эпоху Просвещения и модернизации, целью которых было преодоление голода, социального неравенства и авторитарной власти, в качестве одной из ведущих культурных ценностей в большинстве стран мира утвердилась либеральная ценность прогресса. Именно с ней связывались надежды на преодоление традиционализма в общественной, политической и культурной жизни, застоя в экономике. Именно относительно ценности прогресса сравнивались западные и восточные культуры. В этих условиях все более быстрое развитие науки, питающее прогресс техники и технологии, становилось идеалом, имеющим квазирелигиозный характер. Особенно завораживал самоподдерживающийся характер этого явления, ставший очевидным и устойчиво воспроизводившимся в условиях рыночного хозяйства и развитого гражданского общества, происходящим закономерно, как бы помимо воли и желания людей. Однако восторг по поводу прогресса как явления был недолгим.
Ту р ч и н Алексей Валерьевич – эксперт по глобальным катастрофам Российского трансгуманистического движения, аспирант Института Африки РАН.
Уже в конце XIX– начале XX вв. эта идеологическая позиция стала критиковаться: бурный линейный процесс саморазвития порождал экономические, социальные, политические, военные кризисы, которые не только помогали снимать некоторые из противоречий, но и оборачивались необратимыми, в частности, человеческими потерями. Оптимизм эпохи Просвещения сменился нарастающим пессимизмом, эпоха утопий – эпохой антиутопий (особенно с 1960-х гг.). В 2008 г. несколько событий еще более усилили интерес к рискам: это намечавшийся (но так пока полностью и не состоявшийся) запуск Большого адронного коллайдера, вертикальный скачок вверх, а затем резкое падение цен на нефть, выделение метана в Арктике, война России с Грузией и мировой финансовый кризис. В результате было выросло понимание того, что мы живем в хрупком мире, который может рано или поздно разрушится. Оно стало общественным достоянием.
Это настроение нарастает в период глобальной дестабилизации мирового порядка, вызванной экономическим кризисом, связанным с безудержным ростом финансового рынка. Как пишет В.Пантин, этот кризис опирается также на экологические, демографические, политические и военные факторы, ведет к масштабным геополитическим и геоэкономическим сдвигам [Пантин, 2009]. В условиях такого масштабного кризиса снова и снова встает вопрос о соотношении самоподдерживающегося и регулируемого развития, в котором главную роль играет государство.
В теоретическом плане, в рамках системного подхода, эта антитеза сводится к противопоставлению процессов с положительной обратной связью, когда усиление сигнала на выходе системы ведет к усилению сигнала на входе системы, а процесс становится, таким образом, самоусиливающимся – и процессам с отрицательной обратной связью, когда входной сигнал изменяется таким образом, чтобы противодействовать изменению выходного сигнала, а процесс становится саморегулирующимся. Однако надо видеть, что переход от ориентации на положительную обратную связь к ориентации на отрицательную обратную связь дела не решает: идеалом процессов с отрицательной обратной связью является гомеостаз, а значит, застой.
Как же совместить поступательный характер развития и его устойчивость? Это ключевая проблема, с которой человечество столкнулось на рубеже XXI в. и которая только проявилась наиболее ярко в период текущего экономического кризиса. При этом угроза со стороны процессов с положительной обратной связью остается не до конца осмысленной. Основой переосмысления либеральных подходов в этих условиях должна быть ценность меры, тонкого регулирования взаимодействий в системе. Ф.Спир пишет в связи с этим о коридоре безопасного роста энерговооруженности человечества, при котором потоки энергии должны быть достаточно большими для того, чтобы обеспечить биологические и социальные потребности людей, но недостаточно большими, чтобы люди страдали от их действия [Спир, 2009].
Для того, чтобы конкретизировать этот общий подход, необходимо обратиться к самым опасным проявлениям глобальных кризисов – глобальным катастрофам, связанным с нерегурируемыми, лавинообразными процессами в мировой науке и экономике – информационной революцией, наступающими эпохами биотехнологий и нанотехнологий. Только осознав масштабы угрозы, можно научиться ее предсказывать, а также говорить об адекватных социальных мерах борьбы с ней.
Проблема глобальных катастроф
В последние десятилетия предложено несколько моделей глобальных угроз, которые могут привести к катастрофам максимально большого масштаба, ведущим к вымиранию человечества. В дальнейшем я буду называть такие события "глобальными катастрофами". Целью настоящей статьи является исследование процессов с положительной обратной связью как общих механизмов глобальных рисков – и социальных последствий реализации таких рисков. Основная идея этой статьи в том, что именно ничем не ограниченная положительная обратная связь делает глобальные риски действительно глобальными, то есть способными распространиться по всей Земле.
Иначе говоря, имеется прямая связь между неограниченностью положительной обратной связи и глобальностью риска. Неограниченность положительной обратной связи возникает в том случае, когда самоусиливающийся процесс не сопровождается конкурирующими тормозящими процессами, что возможно лишь в том случае, когда он обладает неким принципиально новым качеством, до того отсутствовавшим в системе. Например, гипотетическая микроскопичекая черная дыра, возникшая на Большом адроном коллайдере, обладала бы новым качеством, до того отсутствовавшим на Земле, и поэтому могла бы расти неограниченно, не встречая сопротивления.
Условием возникновения качественно новых явлений, не встречавшихся до того в природе, является человеческая деятельность, и в первую очередь – технический прогресс. Более того, здесь принципиальную роль играет эффект ускорения научно-технического прогресса, который приводит ко все большему разрыву между новым и старым. В результате новое оказывается настолько качественно превосходящим старое, что оно без труда может превратить это качественное превосходство в количественное. Данный процесс имеет как научно-технический, так и социальный аспект. Если первый связан с довольно простыми формулами экспоненциального роста числа бактерий, транзисторов на чипе или массы черной дыры, то второй связан с явной неспособностью человеческой цивилизации адекватно предвидеть свое будущее в условиях быстрых изменений.
Этот эффект исследовал Н.Бостром в статье "Технологические революции: политика и этика во тьме" [Bostrom, 2007]. Человеческий мозг в значительной степени сформировался в ходе эволюционного процесса, проистекавшего в принципиально других условиях, чем нынешнее время [Дольник, 2009], и человеческое поведение, а также создаваемые человеком социальные структуры оказываются неспособны адекватно воспринять все ускоряющийся темп изменений, вызывают несколько уровней шока будущего [Тоффлер, 2002]. А именно, мозг человека привык к замедляющимся изменениям – то есть максимум новой информации он получал в начале жизни, когда процессы обучения наиболее активны, а к старости он оказывался в относительно привычном и неизменном мире. Наоборот, в современном мире от человека требуется способность адаптироваться к ускоряющимся изменениям, в первую очередь, в области компьютеров и средств обработки информации.
В статье "Когнитивные искажения, влияющие на оценку рисков" Е.Юдковски [Юдковски, 2008б] исследует то, как различные психологические искажения могут приводить к недооценке будущих глобальных рисков. В частности, людям свойственно пренебрегать вероятностями, меньшими, чем 1 к 100 000, им трудно воспринимать концепцию экспоненциального роста, который они стараются аппроксимировать с помощью линейных моделей (притча с шахматной доской и рисовыми зернышками на ней, количество которых возрастали в геометрической прогрессии, и шах не смог этого предсказать.) В моей статье “О возможных причинах недооценки рисков гибели человеческой цивилизации” [Турчин, 2007] я рассматриваю список из примерно 100 когнитивных искажений, которые могут влиять на оценку рисков глобальной катастрофы.
Помимо эволюционно запрограммированных когнитивных искажений, которые записаны в человеке на уровне генокода, есть также уровень социальной организации, которая эволюционирует вместе с человеческим обществом – и цель которой компенсировать эти исходные человеческие качества с тем, чтобы сделать человеческое общество более устойчивым. Один из аспектов такой социальной оптимизации выражен в гипотезе о техно-гуманитарном балансе А.Назаретяна. По мере развития производительных сил общества, гласит она, возрастает уровень летальности создаваемого им оружия, и для того, чтобы общество не самоуничтожилось, необходим все более высокий уровень ограничений на его применение, прописанный в самой структуре общества и воспитании его членов, по сути дела, являющийся формой отрицательной обратной связи. В своей книге он приводит примеры самоуничтожения отдельных сообществ, к которым попало оружие, не соответствующее их уровню развития [Назаретян, 2001].
Другим способом компенсировать естественно присущие человеку когнитивные искажения, на этот раз в области построения адекватной модели мира, является научный метод. Баланс сил сдерживания и сил разрушения является весьма тонким взаимодействием положительной и отрицательной обратной связи в глобальной системе, и экспоненциальный рост сил разрушения требует адекватной коррекции сил сдерживания, что оказывается весьма сложным в условиях информационной перегрузки и разобщенности, имеющих место в современном обществе.
В начале статьи я рассмотрю современную ситуацию в области исследования глобальных рисков, затем покажу, как большинство глобальных рисков описываются моделями с неограниченной положительной обратной связью и завершу тем, какие социальные структуры необходимы для адекватного реагирования для глобальные риски и обеспечения устойчивости проресса.
Возможность катастрофы: современный взгляд
Надо подчеркнуть, что на рубеже тысячелетий оценка перспективы глобальных катастроф значительно изменилась. Еще в 1981 г. в книге А.Азимова "Выбор катастроф", содержавшей первую попытку систематизации глобальных рисков, основное внимание уделялось отдаленным опасностям, вроде расширения Солнца, а главный пафос состоял в том, что человек сможет преодолеть эти риски [Азимов, 2002]. В 1996 г. вышла книга канадского философа Дж.Лесли "Конец света. Наука и этика человеческого вымирания", в которой этот оптимистический взгляд был радикально пересмотрен. В ней проанализированы все новые открытия с точки зрения гипотетических сценариев катастроф, в том числе проблема опасной активности нанороботов и теорема о конце света (Doomsday argument, DA, являющаяся следствием антропного принципа, выдвинутого Б.Картером в 1983 г). На основе этого Лесли (популяризатор идей Катера) делает вывод, что шансы вымирания человечества в ближайшие 200 лет весьма велики и составляют 30% [Leslie, 1996]. С этого момента интерес к теме постоянно растет и обнаруживаются все новые и новые потенциально катастрофические сценарии.
Дж.Лавлок и, независимо от него, А.Карнаухов в России, развивают теорию о возможности глобального потепления в новой, необратимой форме. Суть ее в том, что если наблюдаемое сейчас потепление, связанное с накоплением углекислого газа в атмосфере, превысит некоторый очень небольшой порог (1–2°), то огромные запасы гидратов метана на морском дне и в тундре, накопившиеся там за время недавних оледенений, начнут выделяться. Метан является в десятки раз более сильным парниковым газом, чем углекислый газ, и это может привести к дальнейшему росту температуры Земли, что запустит другие цепочки с положительной обратной связью. Например, сильнее начнет гореть растительность на суше – больше CO будет выделяться в атмосферу; нагреются океаны – упадет растворимость CO , и его содержание в атмосфере будет нарастать, начнут образовываться бескислородные области в океане – и там будет выделяться метан [Lovelock, 2006; Карнаухов, 1994]. В сентябре 2008 г. было обнаружено реальное выделение пузырьков метана, поднимающихся столбами со дна Ледовитого океана. Наконец, надо отметить, что водяной пар тоже является парниковым газом, и с ростом температур его концентрация будет расти. В результате этого температура может повыситься на десятки градусов, произойдет парниковая катастрофа, и все живое погибнет. Хотя это не является неизбежным, риск такого развития событий является наихудшим возможным результатом с максимальным ожидаемым ущербом.
В.Виндж выдвинул идею Технологической Сингулярности – гипотетического момента в будущем, когда интеллект компьютеров превзойдет человеческий. Он предполагает, что это событие произойдет до 2030 г. Сверхчеловеческий искусственный интеллект (ИИ) крайне опасен, так как он будет обладать способностью переиграть людей в любом виде деятельности, а значит и уничтожить их. Поэтому встает задача так запрограммировать ИИ, чтобы он не захотел это делать, то есть создать так называемый Дружественный ИИ [Vinge, 1993]. Эту проблему исследует Институт Сингулярности в Калифорнии, ведущий научный сотрудник которого Юдковски написал несколько работ о проблемах безопасности ИИ [Юдковски, 2008a].
В XXI в. основной задачей исследователей стало не перечисление различных возможных глобальных рисков, а анализ общих механизмов их возникновения и предотвращения. Выяснилось, что большинство возможных рисков связаны с ошибочными знаниями и неверными решениями людей. Точно так же и в современной медицине стали исследовать не только разные болезни, но и общие подходы к проблеме человеческой смертности – в первую очередь посредством борьбы со старением, а также за счет повышения культуры безопасности (борьба с курением и ожирением, пристяжные ремни в машинах) и улучшения морального самочувствия человека (так как человек в депрессии не будет заботиться о своей безопасности) плюс радикальное продление жизни за счет киборгизации и крионики. (Аналогом последних являются глобальные проекты вроде хранилища семян в Норвегии.)
Предвидение возможности глобальных катастроф
Одним из основных свойств катастроф является то, что они являются непредвидимыми последствиями человеческих действий. Вряд ли люди стремятся сознательно разрушить свой собственный мир (за исключением отдельных фанатиков из апокалиптических сект). Одним из вариантов является возникновение непредвиденных положительных обратных связей, ведущих к резкому усилению тех или иных процессов.
В основе большинства сценариев глобальной катастрофы лежит "цепная реакция" – иначе говоря, самоусиливающиеся процессы с нерегулируемой положительной обратной связью. Цепная реакция позволяет с помощью малых воздействий прийти к мощным изменениям: достаточно создать условия для возникновения самоусиливающегося процесса. В 1931 г. Л. Сциллард понял, что именно цепная реакция на основе некоей формы автокатализа могла бы стать способом высвобождения атомной энергии, однако до открытия деления урана под воздействием нейтронов в 1939 г. не было известно, как именно эту цепную реакцию создать [Smith, 2006]. То, что многие глобальные риски являются результатом быстро раскручивающихся самоусиливающихся процессов, было известно давно, однако моя цель показать, что цепная реакция – это общий универсальный механизм различных глобальных рисков, и это знание может быть использовано для обнаружения других глобальных рисков, в том числе еще не известных.
Очевидно, что цепная реакция лежит в основе принципа действия ядерного оружия. Однако цепная реакция лежит и в основе распространения ядерных вооружений и гонки вооружений вообще. Чем больше стран обладает этим видом оружия, тем больше они способны его распространять, тем более доступны и дешевы его технологии и тем больше соблазн у стран, оставшихся без такого оружия, его обрести. В основе гонки вооружений так же лежит самоусиливающийся процесс – чем больше оружия у противника, тем больше нужно оружия и "нам", и тем больше страх противника, что побуждает его дальше вооружаться. Точно такой же сценарий лежит и в основе риска случайной ядерной войны – чем больше страх, что по "нам" ударят первыми, тем больше у "нас" соблазна самим ударить первыми, а это в свою очередь вызывает еще больший соблазн ударить первыми у наших противников. Ядерная зима, могущая возникнуть после атомной бомбардировки, также может быть самоусиливающимся процессом за счет изменения альбедо Земли – то есть рост снежного покрытия приводит к росту отражающей способности Земли, в результате чего планета охлаждается еще больше.
Точно такой же принцип положительной обратной связи лежит и в основе механизма роста населения и роста потребления ресурсов. Чем больше население, тем быстрее оно растет, и тем больше оно потребляет ресурсов. Однако чем больше население, тем более развитые технологии необходимы, чтобы поддерживать его жизнедеятельность, и тем более высокие технологии оно способно порождать, грубо говоря, за счет роста числа людей изобретателей. Таким образом, как показал А.Коротаев, скорость роста населения оказывается пропорциональна квадрату числа людей (dN/Dt=N*N ) [Коротаев, 2007]. Первое N в правой части этой формулы связано с ростом числа матерей, а второе – рост числа изобретателей. Решением этого дифференциального уравнения является гиперболическая кривая (достигающая бесконечности за конечное время – а именно, согласно вычислениям Форестера, в 2026 г. [Forester, 1960]). Гиперболически растущее население должно потреблять гиперболически увеличивающееся количество ресурсов, что несовместимо с принципиальной конечностью ресурсов материального мира.
Надо учитывать, что даже если само население не растет, в современных условиях информационной революции уровень жизни его повышается. С 1960-х гг. гиперболический рост населения прекратился, однако начался очень быстрый рост совокупной мощности компьютеров (произведения числа установленных компьютеров на мощность каждого компьютера, каждая из которых растет экспоненциально) и если учесть число установленных компьютеров, то закон гиперболического роста в первом приближении продолжает действовать. В синергетике есть точные математические модели описываемых здесь процессов, называемые "режимами с обострением". Они описывают процессы, при которых одна или несколько моделируемых величин обращаются в бесконечность за конечный промежуток времени [Капица, Курдюмов, Малинецкий, 2001]. Однако ввиду неопределенности данных и моделей, касающихся будущих глобальных катастроф, трудно сказать, какие именно из этих количественных моделей здесь подходят.
Гиперболический рост очевидным образом сталкивается с ограниченностью любого ресурса, что потенциально создает катастрофическую ситуацию. В принципе эта проблема разрешима и через сберегающие технологии, и через скачок на новый технологический уровень, но важно то, что и в этих случаях рано или поздно проблемная ситуация способна вновь возникнуть за счет других форм положительной обратной связи.
Этот пример заставляет повнимательнее присмотреться к тем процессам, которые пока рассматриваются нами как позитивные или скорее полезные. Например, закон Мура (названный в честь открывшего его сооснователя фирмы "Intel" Г.Мура) гласит, что число транзисторов на одном кристалле удваивается каждый год. Он описывает таким образом усложнение компьютерной техники как самоусиливающийся процесс с неконтролируемой положительной обратной связью. Во-первых, более быстрые компьютеры позволяют эффективно проектировать еще более быстрые чипы. Во-вторых, деньги, заработанные на одном этапе миниатюризации, позволяют осуществить следующий этап уплотнения чипов. Темп реализации закона Мура задается той частотой, с которой потребители готовы менять технику на более продвинутые модели. Более быстрый темп инноваций не выгоден, если потребители не успеют накопить достаточно денег на полный апгрейд системы (даже если бы им удалось внушить, что он необходим), а более медленный не способен вытянуть из потребителей все деньги, которые они готовы тратить на обновление своих систем.
Готовность потребителей покупать новую технику требует каждый раз все более существенного апгрейда, в результате чего возникает экспоненциальный рост. Получается, что экономические основы закона Мура сильнее технологических проблем на его пути. Хотя подобное описание явно упрощает реальную экономику закона Мура, оно хорошо объясняет экспоненциальный рост в условиях информационной революции. NBIC-конвергенция (что расшифровывается как нано-био-инфо-когно) разных технологий также является самоусиливающимся процессом [Скробов, 2005].
В итоге возможным результатом такого позитивного процесса, как информационная революция, могут стать глобальные риски, создаваемые ИИ, процесс развития которого связан с его рекурсивным самоулучшением, то есть цепной реакцией его усиления – а именно с ситуацией, когда ИИ станет настолько интеллектуальным, чтобы начать улучшать собственную конструкцию. Еще в 1991 г. Назаретян показал, что в XXI в. неизбежно развитие неподвластных человеку систем ИИ, которые будут недоступны для понимания человека ввиду своей сложности и будут все дальше и дальше удалятся от человека за счет своей автоэволюции, если только человек сам не встроится в этот процесс [Назаретян, 1991]. Ему возражал Е.Седов, говоря, что гораздо опаснее не гипотетическая "субъективизация компьютеров", но уже имеющая место сейчас (в 1992 г.) – компьютеризация человека, который превращается в роботизированный придаток компьютера [Седов, 1992, с. 84–86].
Вторая цепная реакция, возможная относительно ИИ, – это процесс нарастания его автономности. Создатели ИИ могут создать такие условия, чтобы они и только они могли бы им управлять. Ключевое здесь слово "только". Борьба внутри группы управляющих приведет к выделению лидера. Такое ограничение доступа кончится тем, что у этого ИИ в любом случае рано или поздно окажется один главный программист (причем это может стать внешне второстепенный человек, но который оставил "закладку" в управляющем коде). Любой сбой аутентификации, в ходе которого ИИ перестанет "доверять" своему главному программисту, станет, возможно, необратимым событием. Наличие официального главного программиста и второстепенного программиста, сделавшего закладку, может привести как раз к такому конфликту аутентификаций, в результате которого ИИ откажется аутентифицировать кого-либо то ни было. Автономный ИИ, активно противостоящий любым попыткам его перепрограммировать или выключить – реальная угроза людям.
Наконец, еще одна цепная реакция связана с распространением по миру знаний о том, как создать ИИ, и появлению все новых групп по работе над этой темой со все более низкими стандартами безопасности.
Еще одним вариантом этого сценария может стать контакт с инопланетной цивилизацией. Обнаружение инопланетных сигналов по линии SETI, содержащих описания неких компьютеров и программ к ним, вызвало бы цепную реакцию интереса к ним во всем мире, что неизбежно имело своим результатом многократную загрузку инопланетных посланий, что, в конечном счете, могло бы привести к запуску опасного кода (то есть описания враждебного людям ИИ, который использует Землю, чтобы дальше распространять свои копии), если он в них есть. Само распространение такого ИИ по Галактике тоже подобно цепной реакции [Carrigan, 2006].
Наконец, большие надежды и одновременно глобальные риски связаны с нанотехнологиями. Способность к саморазмножению очевидно представляет основной из таких рисков, как в связи с проблемой "серой слизи", то есть неконтролируемым размножением нанороботов в окружающей среде, о чем подробно писал Р.Фрайтас в статье "Некоторые пределы глобальной экофагии биоядными нанорепликаторами" [Freitas, 2000], так и в связи с тем, что распространение этих технологий по планете примет характер цепной реакции.
Новым глобальные риски создает преступная деятельность в различных областях, в том числе в области совершенствования военной техники. Эти риски многократно увеличиваются при вторжении в развитие ситуации процессов с положительной обратной связью. В частности, появляется возможность создания с помощью новых технологий сверхнаркотика, который бы превосходил все существующие вещества по силе зависимости и по легкости приготовления. (Впервые такую возможность обсуждали братья А. и Б. Стругацкие в романе "Хищные вещи века" [Стругацкие, 1965]). Сверхнаркотик представляет опасность также за счет создаваемой им цепной реакции. Во-первых, каждое новое удовольствие сдвигает точку отсчета для оценки последующих, и в силу этого человек, если у него есть желание и возможность, стремится перейти ко все большим наслаждениям и ко все более сильным раздражителям. Во-вторых, знание о наркотике и увлечение им также распространяется по обществу как цепная реакция.
Именно способность к саморазмножению делает опасным биологическое оружие, как в связи с легкостью размножения опасных возбудителей в лаборатории, так и во внешней среде, и здесь мы имеем явный пример цепной реакции. Точно также цепная реакция касается и стратегической нестабильности, создаваемой им, и количества знаний о нем и количества людей, вовлеченных в биохакерство.
Есть также большой класс потенциально опасных физических явлений, которые могут принимать характер цепных реакций или обусловлены теми или иными сильными положительными обратными связями.
Например, дегазация земных недр в результате экспериментов со сверхглубоким бурением в духе зонда Д.Стивенсона, который представляет собой огромную каплю расплавленного железа, проплавляющую верхнюю мантию (этот гипотетический, но технически реализуемый проект был предложен Стивенсоном в 2003 г. [Stevenson, 2003] и подвергнут жесткой критике как небезопасный М.Чирковичем и Р.Кэткартом [Circovic, Cathcart, 2004]) была бы самоусиливающейся реакцией, так как нарушенное метастабильного равновесие растворенных газов в недрах привело бы ко все более интенсивному их выходу на поверхность, как это происходит в вулканах. Однако здесь не было бы естественного ограничителя процесса, как это имеет место в случае обычного извержения вулкана, которое ограниченно объемом магмы в магматической камере, поскольку в этом случае дегазация, при наихудшем раскладе, происходила бы с глубины жидкого земного ядра, и масса газов, растворенных в нем, многократно превышает массу земной атмосферы.
Другим вариантом идеи об опасном неограниченно усиливающемся физическом процессе является предположение о маловероятных рисках глобальных катастроф в результате крайне важных для человечества физических экспериментов на ускорителях. Например, в случае образования микроскопической черной дыры на Большом адронном коллайдере риск состоит в самоусиливающемся процессе реакции захвата ею обычного вещества, поскольку чем больше масса черной дыры, тем быстрее она захватывает вещество (см. обзор рисков коллайдера Э.Кента [Kent, 2004]). Тоже верно и для сценария с образованием гипотетической частицы, состоящей из кварковой материи стрейнджлета, способной захватывать и превращать в другие стрейнджлеты обычную материю.
Наконец, фазовый переход "фальшивого" вакуума в "истинный" также был бы цепной реакции, которая, начавшись в одной точке, охватила бы всю Вселенную. Событием подобного рода, согласно некоторым космологическим теориям, был этап Большого взрыва, называемый космологической инфляцией, и фазовый переход нашего вакуума был бы равносилен разрушению наблюдаемой Вселенной. Подробнее этот риск рассмотрен М.Рисом и П.Хатом в статье "Насколько стабилен наш вакуум" [Hut, Rees, 1983]. Неограниченными эти процессы делает то, что никакая комбинация обычной материи не может им противостоять, и в результате, если они начнутся, то не остановятся до того момента, пока не поглотят всю Землю.
Предвидение социально-экономических катастроф
Крах мировой социально-политической системы в духе теории хаоса также предполагает цепную реакцию, где один сбой следует за другим, образуя лавину. Например, та модель развития событий, которую мы уже наблюдали в середине XX в., когда экономическая депрессия и нехватка ресурсов ведут к войне, война ведет к скачку инвестиций в прорывные военные разработки, а затем к применению принципиально нового оружия, после чего открываются физические возможности для полного уничтожения мира (кобальтовая бомба) и создаются подходящие для этого военно-политические доктрины (вроде взаимного гарантированного уничтожения). Возможно, что кризис ипотечного кредитования, пик уровня добычи нефти, обусловленный физической ограниченностью ее запасов, и ряд других современных проблем – это первые стадии такой геополитической цепной реакции.
Цепная реакция лежит также в основе экономических кризисов вообще и начавшегося сейчас мирового экономического кризиса, в частности. Примером цепной экономической реакции является паника на бирже и бегство клиентов из банка. Чем больше людей продает акции, тем больше падает их цена, что вызывает еще большую панику и вынуждает продавать тех, кто этого не хотел. В нынешней ситуации прохождение пика цен на американском рынке недвижимости запустило каскад самоусиливающихся процессов. Чем больше неплатежеспособных кредиторов вынуждено продавать свои дома, тем больше домов на рынке, тем ниже падает их цена, тем большему числу людей выгодно перестать выплачивать свой ипотечный кредит и продать дом; кроме того, тем хуже положение банков, тем ниже рост экономики, тем больше безработных, что опять-таки приводит к тому, что они продают свои дома и т. д. (Отмечу, что выработка потенциала действия нейроном в мозгу, то есть электрического разряда, передающего сигнал другим нейронам, тоже происходит по этой схеме после прохождения критического порога.)
При анализе подобных процессов особенно важно то, что положительная обратная связь создает схожие проблемы не только в развитии общеэкономических процессов, но и в более частных явлениях, в частности, в кредитном цикле Х.Мински. Эта модель названа по имени экономиста, сыгравшего большую роль в формировании посткейнсианской экономической теории. По его мнению, кредитная система в процессе ее развития является мощным дестабилизирующим фактором экономики. Она развивается как финансовая пирамида, то есть учреждение, которое может выплачивать старые кредиты, только постоянно привлекая новых кредиторов. Чтобы такое учреждение могло функционировать сколько-нибудь долгое время, его долг тоже должен экспоненциально расти. Этот тип заемщиков ("заемщики Понци", названные по имени создателя крупнейшей финансовой пирамиды 1920-х гг.) начинают закономерно доминировать в процессе стабильного развития экономики, но в конце концов оказываются неплатежеспособными и тогда возникает "момент Мински" – крах экономической системы.
В последнее время финансовые аналитики как в США, так и в России связывают современное кризисное состояние мировой финансовой системы именно с процессами, связанными с моментом Мински. В результате появляется необходимость в переоценке всей капиталистической системы и деятельности свободного рынка. "Цена капитализма, – указывает американский экономист Р.Барбера, – складывается из стоимости формирования финансового пузыря и стоимости спасения сектора правительством после того, как этот пузырь лопнул" (цит. по [Момент... 2009]). Рост кредитного пузыря также является самоусиливающимся процессом, поскольку чем больше долгов набрано, тем больше денег нужно для их обслуживания.
Если предположить, что развитие событий в начале XXI в. аналогично процессам ХХ в. (то есть считать первый кризисный 2008 г. за новый 1929 г.), то можно предсказать, что до новой "атомной бомбы" осталось 16 лет (то есть она будет создана в 2024 г.), до идеи новой кобальтовой бомбы – 21 год (в 2029 г.), а до нового Карибского кризиса, реально ставящего мир на грань уничтожения – почти 33 года (2041 г.). Такие цифры не следует считать сколько-нибудь достоверным пророчеством, но ничего лучше этих оценок у нас пока нет. Не трудно заметить, что получившие цифры близки к датам ожидаемой Технологической Сингулярности.
Можно предположить, что в случае гипотетического "кризиса кризисов", то есть глобального кризиса, который объединит в себе все отдельные (экономические, политические, военные, экологические) кризисные явления, цепная реакция будет состоять из серии разнородных других цепных реакций, как, например, мы видим это в экономике, где бегство клиентов из одного какого-то банка является только эпизодом в разворачивающемся глобальном кризисе всех областей хозяйствования.
Препятствия для возникновения глобальных кризисов
Интересно понять, какие силы препятствуют возникновению цепных реакций – ведь в большинстве случаев в реальности глобальные катастрофы не происходят или ограничены по масштабам. На примере ядерной реакции можно понять, что для начала цепной реакции нужно наличие "критической массы" и отсутствие "предохранительных стержней". Развитию экспоненциальных процессов мешает также ограниченность ресурса для их роста и/или наличие других самоусиливающихся процессов, "тянущих" в противоположную сторону, в результате чего возникает динамическое равновесие. Для того, чтобы цепная реакция развивалась беспрепятственно, она должна доминировать, быть процессом качественно более высокого уровня энергии, на который не могут влиять силы нижнего уровня. Быстрые скачки в развитии технологий как раз создают возможность для таких неудержимых процессов.
В России процессы с положительной обратной связью исследуются в первую в синергетике и здесь следует обратить внимание на доклад E. Куркиной “Конец режимов с обострением. Коллапс цивилизации” [Куркина, 2007]. Автор сосредотачивается в первую очередь на моделях гиперболического роста населения и ускорению исторического времени, предложенных С.Капицей и С.Курдюмовым. Куркина пишет, что "режим с обострением раньше или позже заканчивается, не дойдя до момента обострения, потому что с неизбежностью включаются факторы, ограничивающие рост функции до бесконечности. Развитие нашей цивилизации в режиме с обострением почти полностью себя исчерпало себя, подойдя по многим параметрам к своему пределу, теперь начинается другая эпоха". Синергетика показывает, что вблизи режимов с обострением увеличивается роль малых возмущений, и что все сложные структуры вблизи режимов с обострением распадаются. Различные математические модели режимов с обострением в глобальном плане рассмотрены в ее новой книге [Новое… 2007].
Однако современное исследование глобальных рисков, проводимых в рамках синергетики, в первую очередь сосредоточенно на росте населения и исчерпании ресурсов, тогда как режимы с обострением, связанные с новыми технологиями, в значительной степени игнорируются. Это объясняется, вероятно, тем, что риски, создаваемые новыми технологиями, гораздо труднее оценить количественно или хотя бы доказать их реальность.
При этом не может не обратить на себя внимания тот факт, что множество разных процессов с обострением должны произойти примерно в одно и то же время – в районе 2030 г.: это и создание способного к саморазвитию ИИ, и исчерпание ресурсов, и график технологических революций по Панову [Панов 2007]. Подобное уплотнение событий я бы назвал "кризисом кризисов" – то есть кризисом, отдельными элементами которого являются не какие-либо свойства системы, а другие кризисы. (Об этом я пишу в книге "Структура глобальной катастрофы", которая готовится к печати.) Панов называет это событие кризисом планетарного цикла истории, который состоит в том, что сама модель следующих друг за другом со все большей частотой кризисов завершится. Очевидно, что должна быть некая общая причина, которая приводит ряд внешне несвязанных факторов к кризису в примерно одно и тоже время. Такой причиной, вероятно, является рост сложности, или, иначе говоря, самоусиливающийся рост суммарного интеллекта цивилизации, благодаря которому она почти одновременно доходит как до пределов доступных ей ресурсов и количества носителей, так и оказывается способной к созданию качественно новых явлений (ИИ и нанотех).
К.Е.Еськов в своей книге «История Земли и жизни на ней», а также в своём радиоинтервью также говорит о том, что революционные изменения в биосфере происходят за счёт цепной реакции изменений, вызываемой малой группой незаметных до того существ, которые обладают новым качеством: «Опыты по экспериментальному видообразованию показывают, что все может происходить очень быстро.
Проблема в том, что эволюция происходит слишком медленно. В нормальных условиях экосистема не дает развиваться эволюционным изменениям. Они происходят только в ситуации развала экосистемы, когда слабнут внутрисистемные связи. Вся эта ситуация четко описана в теории систем.
Представьте, когда у вас каждый из блоков системы начинает оптимизировать свою деятельность, не обращая внимания на другие блоки, - это же цепная реакция развала. Система разваливается на блоки, потом разваливаются и сами блоки. А потом те, которые остались, начинают собираться по новой. Эта общая схема иллюстрируется на примере тех палеонтологических кризисов, которые изучены хорошо, прежде всего, на примере мелового кризиса. Происходила смена мезозойской биоты на современную, по которой публике известно вымирание динозавров. На самом деле это была только макушка айсберга, а том происходили куда более серьезные и интересные вещи. Я возвращаюсь к тому, что когда система перестает репрессировать происходящие изменения, на этом месте начинается цепная реакция… Развал системы обычно начинается с того, что некоторые изменения запускают цепную реакцию. Сейчас все согласны, что запуском механизма меловой революции было появление цветковых растений.» http://www.polit.ru/analytics/2009/07/10/evolution.html
* * *
Риски глобальных катастроф требуют международных усилий по их предотвращению. Особенность рисков с мощной положительной обратной связью состоит в том, что они могут формироваться крайне быстро и требуют решительных усилий по их предотвращению еще в зародыше, так как потом будет уже поздно. То есть речь идет о создании глобальной системы, работающей в режиме отрицательной обратной связи. Чтобы предотвращать риски в зародыше, а еще лучше до их возникновения, требуется сочетание двух мощных социальных инструментов: средств прогнозирования и международной системы принятия обязательных для всех решений. Основная проблема в прогнозировании состоит не в самом создании прогноза, а во взаимодействии между создателями прогноза и лицами, принимающими решения. А именно, последние должны выделять среди массы прогнозов, всегда присутствующей как фон, именно те, которым следует уделить наибольшее внимание. Задним числом всегда найдется тот, кто скажет, что предупреждал о нависшей угрозе.
Чтобы не быть голословным, можно рассмотреть ситуацию с распространением свиного гриппа H1N1, который представляет собой типичный неограниченный экспоненциально растущий глобальный процесс. Он не является глобальным риском только потому, что смертность от него относительно невелика (однако летальность может резко возрасти к концу 2009 г., как бывало и при прошлых пандемиях гриппа). Однако уже многие годы существует некоммерческая организация (Flutrackers.com Inc.), которая занимается сбором информации о рисках птичьего гриппа H5N1 и члены которой считают, что весьма велик риск глобальной пандемии с летальностью птичьего гриппа (которая равна 60%). Эта организация ведет учет сообщений о птичьем гриппе и других новых формах гриппа из разных стран. Это не единственная организация такого рода.
Кроме того, существует ВОЗ, которую можно условно считать глобальным органом, ответственным за принятие решений и ключевым элементом механизма отрицательной обратной связи в области распространения инфекций. После возникновения свиного гриппа в апреле 2009 г. в Мексике сразу было понятно, что число заболевших растет экспоненциально, что позволяло сделать прогнозы о большом числе заболевших в ближайшие месяцы. Однако ВОЗ решило не объявлять пандемии до того, пока реальное число заболевших не достигнет значительной величины и болезнь не распространится по всей планете. Это поведение ВОЗ было связано не только с неуверенностью в том, что пандемия будет – все эксперты утверждали, что это произойдет – а с тем, каковы могут быть политические последствия объявления пандемии. ВОЗ стремилась не создавать ненужной паники в условиях, когда все силы пропаганды по обе стороны океана были брошены на обнаружение экономических "зеленых ростков", означающих выход из финансового кризиса.
Иначе говоря, в начале экспоненциально растущего процесса очень велика неопределенность в том, действительно ли это самоусиливающийся процесс и главное, нет ли в нем мощных самоограничителей (и в большинстве случаев такие самоограничители находятся). Все это затрудняет действие механизмов отрицательной обратной связи. К тому моменту, когда масштаб процесса становится понятен, ограничить его становится гораздо сложнее.
Таким образом, мы могли убедиться, что самоусиливающиеся процессы с положительной обратной связью являются основным механизмом будущих глобальных рисков. В ходе таких процессов информационно-энтропийный [Седов, 1993] баланс цивилизации резко нарушается: происходит полное разрушение накопленной информации за счет перехода на качественно новый уровень с низкой энтропией, однако при этом лишенный какого-либо осмысленного содержания (как произошло бы при коллапсе вещества Земли в микроскопическую черную дыру, которая характеризуется только одним простым качеством – массой). Это значит, что мы должны уделять наибольшее внимание тем аспектам исторического и научно-технического прогресса, где могут возникнуть такие неограниченно растущие цепные реакции и выстраивать такие глобально институционализированные формы отрицательной обратной связи, которые могут компенсировать издержки саморазвития и гарантировать безопасность и устойчивость прогресса.
Список литературы
Азимов А. Выбор катастроф. М., 2002.
Дольник В.Р. Непослушное дитя биосферы. М., 2009.
Капица С., Курдюмов С., Малинецкий Г. Синергетика и прогнозы будущего. М., 2001.
Карнаухов А.В. К вопросу об устойчивости химического баланса атмосферы и теплового баланса Земли. // Биофизика. Том 39. Вып. 1. М., 1994.
Коротаев А.В., Малков А.С., Халтурина Д А. Законы истории. Математическое моделирование развития Мир-Системы. Демография, экономика, культура. M., 2007.
Куркина Е.С. Конец режимов с обострением. Коллапс цивилизации. Доклад на международной конференции "Путь в будущее – наука, глобальные проблемы, мечты и надежды". 2007 (http://spkurdyumov.narod.ru/kurkinaes.htm)
Момент Мински // Новости рынка Forex (http: forex-economix.com/?p=483)
Назаретян А.П. Цивилизационные кризисы в контексте Универсальной истории. М., 2001.
Новое в синергетике. Новая реальность, новые проблемы, новое поколение. М., 2007.
Панов А.Д. Универсальная эволюция и проблема поиска внеземного разума (SETI). М., 2007.
Пантин В.И. Факторы дестабилизации современного мирового порядка и политические риски для России // Общественные науки и современность. 2009. № 5.
Седов Е.А. Информационно-энтропийные свойства социальных систем // Общественные науки и современность. 1993. № 5.
Седов Е.А. Прагматический гуманизм и искусственный интеллект // Общественные науки и современность. 1992. № 4.
Скробов А. Закон Мура. 2005 (http://sc.usu.edu.ru/study/moore)
Спир Ф. Универсальная история: энергетический подход к повышению и снижению сложности // Общественные науки и современность. 2009. № 6.
Стругацкий А.Н., Стругацкий Б.Н. Хищные вещи века. М. 1965.
Тоффлер Э. Шок будущего. М., 2002.
Турчин А.В. О возможных причинах недооценки рисков гибели человеческой цивилизации. // Проблемы управления рисками и безопасностью. Труды Института системного анализа Российской академии наук. Т. 31. М., 2007.
Юдковски Е. Искусственный интеллект как позитивный и негативный фактор глобального риска // Диалоги о будущем. Т. 1. М., 2008а.
Юдковски Е. Систематические ошибки в рассуждениях, потенциально влияющие на оценку глобальных рисков // Диалоги о будущем. Т. 1. М., 2008б.
Bostrom N. Technological Revolutions: Ethics and Policy in the Dark // Nanoscale: Issues and Perspectives for the Nano Century. New York, 2007.
Carrigan R. Do potential SETI signals need to be decontaminated? // Acta Astronautica. Vol. 58. Issue 2. January 2006.
Cirkovic M., Cathcart R. Geo-engineering Gone Awry: A New Partial Solution of Fermi's Paradox. // Journal of the British Interplanetary Society. 2004. Vol. 57.
Foerster H. von, Mora P., Amiot L. Doomsday: Friday, 13 November, A.D. 2026. At this date human population will approach infinity if it grows as it has grown in the last two millennia // Science. 1960. № 132.
Freitas R.A. Some Limits to Global Ecophagy by Biovorous Nanoreplicators, with Public Policy Recommendations. Manuscript. 2000. April.
Hut P., Rees M.. How stable is our vacuum? // Nature. 1983. 302.
Kent A. A critical look at risk assessments for global catastrophes // Risk Anal. 2004. 24.
Leslie J. The End of the World: The Science and Ethics of Human Extinction. ??? 1996.
Lovelock J. The Revenge of Gaia. London, 2006.
Smith P. D. Doomsday Men: The Real Dr Strangelove and the Dream of the Superweapon. New York, 2007.
Stevenson D. A Modest Proposal: Mission to Earth’s Core. // Nature. 2003. № 423.
Vinge V. The Coming Technological Singularity // Whole Earth Review. 1993. Winter issue.
© А.Турчин, 2009