Рецензия на «Юдковски. ИИ как фактор глобального риска» (Алексей Турчин)

ИИ так, чтобы он приносил пользу и не нёс вреда"? Т. е. "Как сделать так, чтобы у нас всё было, и нам за это ничего не было?" Вряд ли такое возможно в реальности.

С философской точки зрения это не беда - возможно, смысл существования человечества именно в создании ИИ и последующем собственном исчезновении. Но мы вполне вправе считать предпочтительными иные сценарии. Мы хотим, чтобы ИИ был могущественнее нас (иначе он не нужен), но не пользовался этим могуществом против нас. "Давайте вызовем чёрта и научимся им управлять". Что ж, попробуем. Несмотря на принципиальную неразрешимость задачи, кое-какие шансы порыпаться у нас есть.

Первый и главный из них проистекает из следующего вашего утверждения: "невозможно предсказать, будет ли произвольная вычислительная система выполнять хоть какие-нибудь функции ввода-вывода, включая, например, простое умножение (Rice, 1953.) Так как же возможно, что компьютерные инженеры могут создавать микросхемы, которые надёжно выполняют вычисления? Потому что люди-инженеры нарочно используют те проекты, которые они могут понять". Совершенно верно, мы реализуем только те проекты, которые можем понять. Мы создаём только те системы, развитие которых можем предугадать. Вряд ли следует ожидать иного. Разумно пользуясь этой возможностью, то есть, создавая только такие ИИ, которые будут нам понятны и подконтрольны, мы существенно снизим риски. Но ведь ничего иного мы и не можем - нельзя же создать непонятно что, без проекта и расчётов. Изначально все козыри в наших руках, так что, ещё ничего не потеряно.

Есть вопрос, не изменит ли созданный нами, изначально послушный ИИ сам себя. Такая возможность есть. Вы пишете: "Любой ИИ, имеющий свободный доступ к своему исходному коду, в принципе, будет обладать способностью изменить свой код таким образом, что изменится его цель оптимизации. Но это не означает, что ИИ имеет побуждение изменить свои собственные побуждения. Я не стану сознательно глотать пилюлю, которая побудит меня наслаждаться убийствами, потому что я в настоящем предпочитаю, чтобы мои собратья - люди не умирали". Это рассуждение не совсем удачно. В частности, у меня, как у биологического объекта, есть некий орган, от которого я не имею никакого желания избавляться. Однако, я не могу считать своё поведение безусловным правилом для всех. Существование секты скопцов доказывает, что человек вполне способен додуматься до подобной самомодификации и осуществить её. Эти люди полагают, что так будет лучше, поскольку упомянутая вещь, по их мнению, вредна. Я не придерживаюсь левых взглядов, однако существование коммунистов доказывает, что есть люди, способные додуматься до необходимости самомодификации общества и избавления от буржуазии и рынка. Эти люди полагают, что так будет лучше, поскольку упомянутые вещи, по их мнению, вредны. Следовательно, и от ИИ мы вправе ожидать необычных, даже абсурдных с нашей точки зрения мыслей о самомодификации. Во всяком случае, зарекаться от этого нельзя.

Ввиду данного обстоятельства единственным разумным предложением является, на мой взгляд, контроль над возможностью ИИ самомодифицироваться. Рассмотрим его на примере наиболее вероятного кандидата на первый ИИ - математической модели головного мозга человека. Скорее всего, эта модель будет создана не на основе сканирования реального сформировавшегося мозга человека, но будет постепенно виртуально выращиваться из одной виртуальной клетки, развиваясь, подобно зародышу. Вряд ли при ином подходе можно получить действительно точный аналог человеческого органа, что необходимо не столько для целей создания ИИ, сколько для решения задач фармакологии - ей нужен "подопытный кролик". С этой поправкой я могу утверждать, что вы неправы, когда говорите: "Я не против сканирования человеческих существ в компьютеры и делания их умнее, но кажется чрезвычайно маловероятным, что это будет полем, на котором люди впервые столкнутся с вызовом превосходящего человеческий интеллекта". Напротив, именно это направление является наиболее хорошо финансируемым по причинам постороннего к задаче создания ИИ характера. Кроме того, для создания такого ИИ не потребуется изменение принципов работы вычислительных систем, но лишь увеличение их мощности, что есть только вопрос времени.

Очевидно, что такой ИИ будет полностью погружён в среду, контролируемую его создателями, и не будет иметь вообще никакой связи с реальностью, если хозяева виртуальной вселенной, в которой будет проживать сей субъект, не захотят создать подобный канал общения. Но это как раз и не требуется, поскольку разрушит основу и цель эксперимента. Этот ИИ будет пребывать в рамках двухступенчатой вычислительной структуры, основой которой явится обычный суперкомпьютер, просчитывающей поведение биологического объекта, а "вкладкой" - собственное мышление ИИ. Назовём эти процессы "первичным" и "вторичным" информационными. У ИИ при этом практически не будет никакой возможности понять, что за пределами его виртуального мира вообще что-то есть. Он сможет строить гипотезы, в частности, о существовании некоего демиурга, ответственного за происходящее, но доказать ничего не сможет. В любом случае, его предположения наверняка будут далеки от истины, если в его виртуальном пространстве не появятся источники информации, способные пролить свет на положение дел. К примеру, эта ваша статья, или мой к ней комментарий, то есть что-то, будящее воображение. (Нельзя будет давать ему читать фантастику). Следует заметить, что человеческий интеллект находится, в сущности, в том же положении - мы не можем утверждать с полной уверенностью, существуют ли нейроны нашего головного мозга как физические объекты или только как их математические модели в некоем суперкомпьютере. То есть, мы будем с этим парнем на равных, сколь бы быстро он не думал. За пределы предоставленной ему нами информации он не выберется никогда, думай он хоть миллион лет в миллион раз быстрее человека. (Хотя изучение его фантазий может стать важной отраслью психологии и истории культуры). Кроме того, мы, контролируя первичный информационный процесс, сможем вмешиваться во вторичный незаметно для ИИ. Он же не сможет осуществить обратную операцию, то есть для него все самомодификации будут равносильны попыткам изменения вторичного информационного процесса без вмешательства в непосредственно контактирующий с внешним миром первичный.

Модифицируя виртуальный мир, который мы создадим вместе и одновременно с ИИ как единое целое, мы сможем, при желании, побуждать его выполнять те или иные интеллектуальные задачи, в частности, изобретать лекарство от рака. Параллельно в виде характеристик первичного информационного процесса нашему изучению станут доступны особенности творческого мышления, да и мышления вообще. Тогда мы сможем понять, что же представляет собой наше сознание, и в результате, помимо прочих выгод, получим возможность более точно ставить задачи создателям других типов ИИ. И это даёт нам некоторую надежду, несмотря на общую неблагоприятность прогноза.

То есть, первый, слабый и не обещающий великого прорыва в уровне интеллекта, ИИ, будет нам полностью подконтролен. Изучив его, мы сможем найти рецепты безопасного создания иных систем. Это вполне согласуется с вашей позицией: "Если я обнаружу некую область знаний, в которой консервативной точкой зрения по поводу перспектив управления рисками предполагается медленное улучшение ИИ, тогда я потребую, чтобы этот план не стал катастрофическим, если ИИ замедлится на около-человеческой стадии на годы или дольше". Замечу лишь, что описанный ИИ задержится на годы не на околочеловеческой, а на медленно совершенствующейся сверхчеловеческой стадии. (Совершенствование будет происходить за счёт работы людей - операторов ИИ, которые постепенно начнут лучше понимать принципы его работы и улучшать её модель). Мы будем управлять его деятельностью так же, как мы управляем атомными реакторами благодаря замедленным нейтронам. А уж превращать или не превращать управляемую реакцию в неуправляемую, решать нам.

Конечно, по мере развития вычислительной техники, неизбежна ситуация проникновения подобных ИИ на открытый программный рынок. Рано или поздно найдётся охламон, который купит диск с ИИ на Горбушке и подключит эту штуковину к Интернет. Тогда ИИ "будет патентовать новые технологии, публиковать прорывные статьи, делать деньги на фондовом рынке или возглавлять политические блоки". То есть, поведёт себя, как обычный человек. Что ж, это будет интересно. Будет о чём и с кем поспорить на форумах. Но я не думаю, что это представит для человечества опасность. Во всяком случае, угроза, представляемая большим умом, в реальности часто оказыватся куда меньше проблем, создаваемых глупостью. Нас надо защищать не от ИИ, а от идиотов. А с башковитыми мы договоримся, тем более, что такой ИИ будет очень сродни человеческому уму. При определённых условиях его вполне можно будет считать дружественным. Конечно, создание ИИ - вызов человечеству, но вызов справедливый и контролируемый. Нам нужно принять его как свою судьбу, служащую залогом высшего предназначения человечества. Если мы сумеем это, то, возможно, нам не придётся никого побеждать.

Аладдин Оладьин   23.03.2007   •   Заявить о нарушении