Возможно ли восстание машин?

Владимир Прохватилов
               В 2045 году мир радикально изменится, - наступит «технологическая сингулярность, - говорится в книге  «Singularity is Near» (Сингулярность уже близко) знаменитого американского программиста и футуролога Рэя Курцвейла. 

Идея технологической сингулярности основана на концепции ускоряющегося прогресса, которую впервые выдвинул еще Фридрих Энгельс, который в ряде своих работ писал, что наука движется вперед пропорционально массе знаний, унаследованных ею от предшествующего поколения. На непрерывное ускорение темпов научного творчества указывал и Владимир Вернадский.

В 1958 году американские  математики Станислав Улам и Джон фон Нейман обратили предположили, что, поскольку технологический прогресс постоянно ускоряется, то может наступить такой момент, когда люди не смогут поспевать за технологиями. Этот момент они назвали сингулярностью, использовав известный математический термин.

Технологическая сингулярность - это гипотетический момент в будущем, когда технологическое развитие станет настолько стремительным, что график технического прогресса станет практически вертикальным.

В 1965 году британский криптограф  Ирвинг Гуд, который, кстати, консультировал Стэнли Кубрика во время съемок фильма «Космическая Одиссея 2001 года», истолковал технологическую сингулярность несколько иначе: как момент времени, когда искусственный интеллект (ИИ) сможет создать другой ИИ, который превзойдет возможности людей, и  это приведет к «интеллектуальному взрыву».

Отечественный фантасты братья Стругацкие в повестях «Малыш», «Волны гасят ветер» и ряде других произведений излагают идею вертикального прогресса:

«Человечество, разлившееся по цветущей равнине под ясными небесами, рванулось вверх. Конечно, не всей толпой, но почему это вас так огорчает? Всегда так было. И будет так всегда, наверное... Человечество всегда уходило в будущее ростками лучших своих представителей. Мы всегда гордились гениями, а не горевали, что вот, не принадлежим к их числу»

Аркадий и Борис Стругацкие, выходцы из военной разведки, то есть советские элитарии, трактовали вертикальный прогресс как появление среди обычных людей элитной расы «люденов», обладающих сверхспособностями, «вживленными» в них с помощью компьютерных и медицинских технологий.

Весьма близко к концепции сингулярности и вертикального прогресса находятся идеи Станислава Лема об эволюции компьютеров, которая приводит к рождению Голема, вселенского сверхразума.

Вообще-то  термин «технологическая сингулярность» впервые использовал в футурологическом контексте американский математик и писатель - фантаст Вернон Виндж, а Курцвейл, в сущности, только пропагандирует эту идею.

«В течение ближайших тридцати лет у нас появится техническая возможность создать сверхчеловеческий интеллект. Вскоре после этого человеческая эпоха будет завершена», - написал Виндж в своей концептуальной работе  «The Coming Technological Singularity: How to Survive in the Post-Human Era» («Приход технологической сингулярности: как выжить в постчеловеческую эпоху») в 1993 году.

Базовой идеей предсказаний Винджа и Курцвейла является известный компьютерщикам закона Мура, согласно которому количество транзисторов на новых кристаллах микропроцессоров удваивается каждые 18 месяцев). Если этот темп не замедлится, то где-то между 2025 и 2035 годами вычислительная мощность (быстродействие и объем памяти) отдельных компьютеров сравняется с вычислительной мощностью человеческого мозга, а затем и превзойдёт её.

Если возможности компьютеров в ближайшем будущем превзойдут человеческие, то совершенно не важно, будут ли они «на самом деле» мыслить. Результаты их работы будут такими же, как если бы они мыслили, причём быстрее и глубже, чем обычные люди.

Таким образом, впервые за свою историю человечества на нашей планете появятся  существа, более разумные, чем мы сами. Если кто-то не считает сверхмощные компьютеры «существами», то может называть их просто «объектами».  В фантастическом романе «Пламя над бездной» Виндж назвал их Силами (Powers). Когда это произойдет, люди не смогут полностью  понять и предсказать дальнейшее развитие событий.

 Во главе земной цивилизации тогда встанут сверхинтеллектуальные «людены» (это термин Стругацких), а затем компьютерный разум.

Российский писатель Кирилл Еськов в книге «Наш ответ  Фукуяме» пишет, что Виндж «похоже,  угадал, что технологический этап развития цивилизации в общем и целом близок к своему завершению. Только вот конца истории это отнюдь не означает - скорее наоборот: окончена Предыстория человечества, а настоящая-то История только-только начинается».

Согласно Вернону Винджу, захват компьютерным разумом (то есть роботами)  власти на планете Земля пройдет в три этапа.

Вначале будет создан мощный Искусственный Интеллект (ИИ). Это даст возможность радикально увеличить  биологические возможности человека с помощью генной инженерии и киборгизации. Появится раса «люденов».  На завершающем этапе технологической сингулярности  появятся человеко-компьютерные системы, в которых роль человека будет неуклонно уменьшаться, а затем и совсем исчезнет. Третий этап технотронной эволюции в принципе можно трактовать как восстание роботов или бунт машин.

Что такое человеко-компьютерные системы, наглядно показано в знаменитом блокбастере «Матрица». Там описывается именно бунт компьютерного разума, использующего людей как энергетические станции, а затем, в третьей части эпопеи, показано взаимовыгодное примирение людей и мыслящей  Суперпрограммы.   

Первый этап (по Винджу) уже состоялся и даже завершился. В мае 2017 года исследователи из компании Google Brain (США)  представили проект AutoML, который автоматизирует проектирование моделей машинного обучения. Эксперименты с AutoML показали, что эта система может генерировать довольно простые нейросети, вполне сравнимые с нейросетями, которые спроектированы и обучены экспертами-людьми.

Затем перед программой AutoML была поставлена более серьезная задача – создать программу, которая будет лучше любой, созданной человеком.

ИИ было предложено создать новый ИИ для решения задач  по классификации объектов из базы ImageNet — самого известного из крупномасштабных наборов данных в машинном зрении. Так появилась нейросеть NASNet, созданная  без участия человека.

Несколько упрощая, можно сказать, что американские ученые создали компьютерную программу, которая создает новые компьютерные программы для систем  распознавания визуальных образов (перцептронов). Оказалось,  что ИИ справляется с проектированием и обучением новых ИИ намного лучше человека. Автоматически сгенерированный ИИ превзошел по результатам классификации и распознавания визуальных объектов все остальные системы машинного зрения, когда-либо созданные и обученные экспертами-людьми. Весьма важно, что  NASNet можно масштабировать, то есть приспособить для работы на системах со слабыми вычислительными ресурсами, например, на мобильных телефонах. Мини-версия NASNet демонстрирует точность 74%, что на 3,1 процентных пункта лучше, чем самые лучшие известные  нейросети для мобильников, распознающие тексты, речь или редактирующие фотографии.

Иными словами, ученые из Гугла создали искусственный интеллект, способны к самовоспроизведению и саморазвитию.

Кстати, популярные социальные сети Фейсбук, ВКонтакте, Одноклассники и многие другие относятся к классу нейросетей. То есть, вполне реально поставить перед AutoML задачу спроектировать социальную сеть, которая будет круче Фейсбука или затмит Вконтакте. 

Безусловно, возможности ИИ будут и дальше возрастать. Но главное в том, что уже доказана возможность создания самовоспроизводящихся роботов.

Но они  пока не обладают собственной волей для этого. Эта задача будет решена на втором этапе технотронной эволюции, на пути создания человеко-компьютерных систем-биороботов. Причем, варианты создания таких  киборгов могут быть весьма неожиданными. Вовсе не обязательно создавать человекоподобного робота, хотя весьма совершенные образцы подобных механизмов уже созданы, в основном для военных целей. В этом случае человеческий мозг управляет роботом, пусть даже имеющим высокий ИИ.

Гораздо функциональней погрузить человека в виртуальную реальность, и вынудить его пребывать в ней большую часть своей жизни. Эта задача уже начала реализовываться.

Американский культуролог Эрик Дэвис  утверждает, что современный человек живет в магическом мире. Раньше принцип работы любого технического устройства — лопаты, молотка, лампового телевизора или радиоприемника, автомобиля и телефона был понятен технически грамотному человеку и многие могли их самостоятельно починить. Этот мир был сложен, но понятен. Сейчас картина изменилась.

Современная цифровая техника удобна в использовании, комфортна, но принципы ее работы известны лишь узкому кругу посвященных — высококлассных инженеров и разработчиков. Пользователь лишь нажимает кнопки, пока аппарат работает и идет к «жрецу»- специалисту сервисного центра, когда он сломался.

До последнего времени исключением был лишь  самый революционный сектор — мир компьютеров и интернета. И вот бывший главный архитектор программного обеспечения Microsoft Рэй Оззи  опубликовал в блоге свои размышления о будущем, в котором уже нет персональных компьютеров. Причем, это размышления типичного «математика-философа».

В статье «Заря нового дня» Оззи напомнил, что едва начав работать в Microsoft, он разослал сотрудникам компании меморандум, предваривший значительные изменения в деятельности компании. Сейчас, считает Оззи, Microsoft уверенно движется в направлении так называемых облачных (cloud computing) сервисов.

Всё идёт к тому, говорит софт-архитектор, что рано или поздно мир откажется от персональных компьютеров в том виде, в каком они существуют сейчас: «Мы идём в мир облачных непрерывных сервисов, которые всех нас объединяют и исполняют наши пожелания и подключённых устройств, позволяющих нам взаимодействовать с этими облачными сервисами».

Подключёнными устройствами Оззи называет всевозможные устройства самых разных форм и размеров, предназначенных для выполнения различных задач (общение, созидание, потребление). Каждый человек ежедневно будет взаимодействовать с целым рядом таких устройств, причём любое из них можно будет в любой момент легко и без потерь заменить.

Человек будущего, которое сконструируют по лекалам Рэя Оззи, подключен к глобальной «мыслящей паутине», к интернету, управляемому специалистами Microsoft по разрабатываемым ими облачным технологиям с помощью подключаемых устройств ВСЕГДА и ВЕЗДЕ. Такой мир будет казаться простым и понятным простому обывателю, хотя в действительности он будет и непонятным и сложным.

Постоянная включенность больших групп людей в управляемую виртуальную реальность позволит внешним модераторам держать целевую аудиторию — сотни миллионов человек — в полном психологическом управлении. Самоподдерживающаяся критичность, то есть доведение социума до грани хаоса, будет индуцироваться за считанные часы, потому что смыслы -вирусы будут актуализироваться в сознании людей практически мгновенно. Если сейчас спецслужбы национальных государств сосредоточивают свои усилия — и не без успеха — на выявлении скрытых каналов управления цифровой техникой (компьютерных закладок), то в магическом облачном мире Рэя Оззи такое противодействие станет невозможным.

Создаваемый сейчас глобальный виртуальный сервис, так называемый интернет вещей - превратит людей в адептов Всемирной Церкви Мыслящей Паутины (The World Church of the Thinking Web) - это будет так называемая безмасштабная социальная сеть со свойствами «тесного мира», такая как Фейсбук. Здесь будет сетевая цензура, сетевые аятоллы- сисадмины и модераторы. Их власть будет практически безграничной — так как лишение доступа в сеть (отлучение от церкви) нарушителя сетевой дисциплины превратит его в изгоя и социального аутсайдера. Причем, через некоторое время, когда синергетическое воздействие по всем фазам инфопространства импринтирует в сознание человека императив безусловной лояльности к «верховным жрецам Церкви мыслящей паутины», не потребуется карательных санкций — будет включаться подсознательный импринт внутренней цензуры как в добрые старые времена тоталитарных империй.

Если на втором этапе технократической эволюции по Винджу будет реализована та или иная концепция кибернетического человеко-компьютерного социума, управляемого внешними модераторами, то на завершающем третьем этапе, когда даже коллективный человеческий интеллект не сможет оценивать и прогнозировать  развитие науки, техники и социальных процессов, функции  глобальной модерации будут переданы мирным или насильственным путем в руки компьютерного Разума. Станислав Лем назвал его Големом, Винстон Виндж – Силами. Братья Стругацкие предполагали, что власть  над миром все же сохранит человеческая раса в лице людей со сверхспособностями – люденов.

Нужно ли говорить, что как разработка нейросетей для мобильников, так и интернет-вещей, - не более чем вершина айсберга. Сегодня основные объемы средств по ИИ идут в оборонные корпорации и предназначены для совершенствования ИИ, который будет управлять автономными системами вооружений, такими как стаи летающих, плавающих и ныряющих беспилотников-дронов, которые будут вести разведку подразделений противника, подавлять его системы ПВО и ПРО, наносить удары по стратегическим объектам врага.

Ведущие западные разработчики, похоже, вполне серьезно относятся к прогнозам Винджа и Курцвейла  о возможном перехвате управления если не миром, то как минимум эскадрильей боевых дронов  искусственным интеллектом, и во все подобные разработки вводят обязательный контроль со стороны человека-оператора. И это вполне оправдано.

ИИ современных боевых дронов может наделяется способностью не только свободно ориентироваться  на местности и отличать своих от  чужих, но и функционалом на самостоятельное принятие  решение на открытие огня. Так вот, одним из основных направлений научных исследований в этой области является разработка эффективной системы контроля человека за действиями таких боевых роботов.

В будущем автономные системы вооружений станут основной ударной силой ведущих армий мира. К тому времени, возможно, на дорогах будут господствовать беспилотные машины и поезда, люди будут жить в умных, управляемых искусственным интеллектом домах. Это будет удобный и комфортный магический мир. И вот именно в таком мире и будет возможна технологическая сингулярность, то есть полный перехват управления миром Суперпрограммой, Силами, Големом, или просто взбунтовавшимися роботами.   

Особенность ситуации в том, что все эти события мы можем наблюдать уже сейчас. Они происходят на наших глазах и мы являемся их участниками.

Российский философ и криптограф, профессор МГУ, генерал Сергей Расторгуев считал, что созданные человеком компьютерные   коммуникационные сети имеют свой собственный эгрегор, то есть общее для них информационно-энергетическое поле, в терминологии Карла-Густава Юнга – коллективное бессознательное, или Голем в терминологии Станислава Лема:

«На сегодняшний день для мира компьютерных программ обретение самостоятельности стало свершившимся фактом, и все уже давно забыли о настоящих истоках рожденной человеком вселенной и ее питающих источниках. Да, в обзорах по компьютерным технологиям можно прочитать о теории систем, о кибернетике, о Винере, о первых электронных переключателях и о современных интегральных схемах. И почему-то совершенно в стороне… стоит аналитическая психология, которая способна не только объяснить причину рождения новой вселенной, но и предлагает конкретные технологии ее развития… Программные продукты – это продолжение коллективного человеческого бессознательного, изучаемые в рамках аналитической психологии…».

Российский эксперт Елена Ларина  считает, что «подлинным открытием» Сергея Расторгуева  стало «обнаружение появления третьей природы и машин третьего типа».

Справка:

Машиной первого типа, или Мегамашиной, американский философ Льюис Мамфорд назвал организационые государственные  структуры времен античности, создающие трудовые человеческие армии для выполнения масштабных работ, например, строительства египетских пирамид. Машины второго типа – это трактора, автомобили, поезда, самолеты и т.д.

«На наших глазах родилась третья природа и машины третьего типа. Это информационно-коммуникационная среда, где самостоятельно или относительно автономно действуют алгоритмические машины: программы, сервисы, платформы и т.п. Если вторая природа и машины второго типа стали проекцией и вынесением вовне физических способностей человека как живого существа в аспекте биологического автомата, то третья природа и машины третьего типа – это проекция и вынесение вовне человеческой психики. Но не всей, а ее преимущественно бессознательного, алгоритмизуемого контура», – пишет Елена Ларина.

Если эта точка зрения верна, и алгоритмическое коллективное бессознательное реально, то гипотетический бунт машин «третьей природы» может произойти в результате вышедшего из под контроля человека алгоритма. В таким  случае «взбесившийся» алгоритм можно сравнить с сорвавшимся с тормозов  и покатившимся под уклон грузовиком. Представляет ли этот «бунт» угрозу человеческой цивилизации, и способны ли «бешеные» компьютерные сети образовать свою собственную цивилизацию? Автор «Суммы технологии» Станислав Лем в фантастическом романе  «Непобедимый» описал такую цивилизацию, которая возникла в результате некроэволюции (то есть эволюции неживых объектов) на пустынной планете Регис-III примитивных роботов, которые  научились эффективно бороться с конкурентами, которые превосходили их и по интеллекту, и по энерговооружённости. Им пришлось сражаться не только с другими роботами, но и с живым миром планеты. Огромные летающие рои простейших механизмов, способных к самоорганизации, смогли победить всех конкурентов и захватить всю планету. Эти самоорганизующиеся механизмы не имели никакой осмысленной цели и не могли мыслить в полном понимании этого слова, но рефлекторно реагируя на окружающую среду, научились устранять любые возникающие помехи. 

…В любом рассказе о гипотетическом будущем должна присутствовать изюминка конспирологии, то есть инсайд о неких силах зла, которые стремятся захватит власть над миром.

Наш рассказ не будет исключением из этого правила. В одном из своих интервью известный российских политолог Сергей Кургинян  практически прямым текстом сказал, что братья Стругацкие, Станислав Лем и все ведущие западные писатели-фантасты создавали свои опусы по «аналитическим запискам» в рамках глубоко засекреченных спецпроектов.

Даже если он прав, то это просто означает, что контуры будущего кибермира, мира Техногнозиса, как его назвал Эрик Дэвис, создаются в лабораториях ученых,  в так называемых «фабриках мысли», а не отданы на волю слепого случая.

И все же я не считаю наступление технологической сингулярности, которая отдаст человечество во власть бездушного компьютерного интеллекта, неизбежным. Да и закон Мура в последние годы уже не выполняется. Подстегнуть развитие ИИ могут спешно разрабатываемые сейчас в военных лабораториях ведущих держав квантовые компьютеры, возможности которых непредсказуемы.

Поэтому, как сейчас модно говорить, будем наблюдать.