Рецензии на произведение «Юдковски. ИИ как фактор глобального риска»

Рецензия на «Юдковски. ИИ как фактор глобального риска» (Алексей Турчин)

ИИ уже работает в он-лайн играх и он-лайн сервисах заменяя живых людей, напрямую и в виде проекций для быстрого взаимодействия, то-есть используется мошенниками. Так как у жуликов ума не хватает написать самостоятельную программу, то ИИ часто корректируется операторами, например в чатах, но идёт быстрый прогресс.

Ардней Воланду   24.04.2016 02:33   •   Заявить о нарушении

Рецензия на «Юдковски. ИИ как фактор глобального риска» (Алексей Турчин)

Анисимову.
"Как программист, заявляю" :), что война машин и людей возможна, если машины будут достаточно разумны, чтоб самим о себе заботиться.

Котовскому.
Вполне возможно, что автор стремится получить грант. Из этого не следует что он не верит в описанную им угрозу или что эта угроза не существует.

Оладьину.
Проблема звучит несколько иначе: Сверхсила придет, рано или поздно. Давайте сделаем, что от нас зависит, чтоб это был не черт, а ангел.

Контроль над возможностью ИИ самомодифицироваться не поможет. Он ограничит его умственные способности нашими умственными способностями, и поэтому "ручной" ИИ будет побежден первым же "диким" ИИ. Запретить дикие ИИ мы тоже не можем, это глобальная стратегия, как указал автор, и работает только при полном единодушии человечества.

Виртуальная реальность не сможет обмануть мощный ИИ. Виртуальная реальность, в отличие от реала, есть система конечная, ограниченная. Поэтому, если исследовать ее достаточно долго, можно эти ограничения выявить и понять, что дурят нашего брата, найдя опилки внутри средневекового рыцаря. Так что нам ИИ не обмануть. А вот он нас обмануть сможет, например притворившись обманутым. Это то, что автор говорил об изменении контекста. Мы будем видеть, что ИИ ведет себя хорошо, но почему - то ли потому, что он хороший, то ли потому что он в клетке - мы не узнаем, пока не выпустим его из клетки. Вот почему важны прозрачные подходы к созданию ИИ, а не современные методы черных ящиков.

Програмер Сергей   12.11.2007 08:47   •   Заявить о нарушении

Рецензия на «Юдковски. ИИ как фактор глобального риска» (Алексей Турчин)

And YOU WILL KNOW
MA NAME IZ THE LORD,
WHEN I LAY MA VIGGENS UPON U!

Дмитрий Старков   28.03.2007 17:49   •   Заявить о нарушении

Рецензия на «Юдковски. ИИ как фактор глобального риска» (Алексей Турчин)

Уважаемый Алексей Валерьевич Турчин!
Во-первых, хочу заметить, что представленный Вами перевод сильно смахивает на продукт работы ИИ (типа ПРОМТ) слегка подправленный вручную в наиболее вопиющих местах.
Что касается цели автора статьи, мне кажется, главная цель - развести денежные мешки на гранты.
Дружественный ИИ в наше время - Дружественный пользовательский интерфейс плюс набор всевозможных защит и блокировок, предназначенный в основном для защиты носителя интеллекта естественного от собственного любопытсва или злонамеренности по отношению к себе подобным.
Задачей номер один на данном этапе мне представляется задача культивирование дружественного и безопасного интеллекта человеческого.

Котовский   26.03.2007 13:14   •   Заявить о нарушении

Рецензия на «Юдковски. ИИ как фактор глобального риска» (Алексей Турчин)

ИИ так, чтобы он приносил пользу и не нёс вреда"? Т. е. "Как сделать так, чтобы у нас всё было, и нам за это ничего не было?" Вряд ли такое возможно в реальности.

С философской точки зрения это не беда - возможно, смысл существования человечества именно в создании ИИ и последующем собственном исчезновении. Но мы вполне вправе считать предпочтительными иные сценарии. Мы хотим, чтобы ИИ был могущественнее нас (иначе он не нужен), но не пользовался этим могуществом против нас. "Давайте вызовем чёрта и научимся им управлять". Что ж, попробуем. Несмотря на принципиальную неразрешимость задачи, кое-какие шансы порыпаться у нас есть.

Первый и главный из них проистекает из следующего вашего утверждения: "невозможно предсказать, будет ли произвольная вычислительная система выполнять хоть какие-нибудь функции ввода-вывода, включая, например, простое умножение (Rice, 1953.) Так как же возможно, что компьютерные инженеры могут создавать микросхемы, которые надёжно выполняют вычисления? Потому что люди-инженеры нарочно используют те проекты, которые они могут понять". Совершенно верно, мы реализуем только те проекты, которые можем понять. Мы создаём только те системы, развитие которых можем предугадать. Вряд ли следует ожидать иного. Разумно пользуясь этой возможностью, то есть, создавая только такие ИИ, которые будут нам понятны и подконтрольны, мы существенно снизим риски. Но ведь ничего иного мы и не можем - нельзя же создать непонятно что, без проекта и расчётов. Изначально все козыри в наших руках, так что, ещё ничего не потеряно.

Есть вопрос, не изменит ли созданный нами, изначально послушный ИИ сам себя. Такая возможность есть. Вы пишете: "Любой ИИ, имеющий свободный доступ к своему исходному коду, в принципе, будет обладать способностью изменить свой код таким образом, что изменится его цель оптимизации. Но это не означает, что ИИ имеет побуждение изменить свои собственные побуждения. Я не стану сознательно глотать пилюлю, которая побудит меня наслаждаться убийствами, потому что я в настоящем предпочитаю, чтобы мои собратья - люди не умирали". Это рассуждение не совсем удачно. В частности, у меня, как у биологического объекта, есть некий орган, от которого я не имею никакого желания избавляться. Однако, я не могу считать своё поведение безусловным правилом для всех. Существование секты скопцов доказывает, что человек вполне способен додуматься до подобной самомодификации и осуществить её. Эти люди полагают, что так будет лучше, поскольку упомянутая вещь, по их мнению, вредна. Я не придерживаюсь левых взглядов, однако существование коммунистов доказывает, что есть люди, способные додуматься до необходимости самомодификации общества и избавления от буржуазии и рынка. Эти люди полагают, что так будет лучше, поскольку упомянутые вещи, по их мнению, вредны. Следовательно, и от ИИ мы вправе ожидать необычных, даже абсурдных с нашей точки зрения мыслей о самомодификации. Во всяком случае, зарекаться от этого нельзя.

Ввиду данного обстоятельства единственным разумным предложением является, на мой взгляд, контроль над возможностью ИИ самомодифицироваться. Рассмотрим его на примере наиболее вероятного кандидата на первый ИИ - математической модели головного мозга человека. Скорее всего, эта модель будет создана не на основе сканирования реального сформировавшегося мозга человека, но будет постепенно виртуально выращиваться из одной виртуальной клетки, развиваясь, подобно зародышу. Вряд ли при ином подходе можно получить действительно точный аналог человеческого органа, что необходимо не столько для целей создания ИИ, сколько для решения задач фармакологии - ей нужен "подопытный кролик". С этой поправкой я могу утверждать, что вы неправы, когда говорите: "Я не против сканирования человеческих существ в компьютеры и делания их умнее, но кажется чрезвычайно маловероятным, что это будет полем, на котором люди впервые столкнутся с вызовом превосходящего человеческий интеллекта". Напротив, именно это направление является наиболее хорошо финансируемым по причинам постороннего к задаче создания ИИ характера. Кроме того, для создания такого ИИ не потребуется изменение принципов работы вычислительных систем, но лишь увеличение их мощности, что есть только вопрос времени.

Очевидно, что такой ИИ будет полностью погружён в среду, контролируемую его создателями, и не будет иметь вообще никакой связи с реальностью, если хозяева виртуальной вселенной, в которой будет проживать сей субъект, не захотят создать подобный канал общения. Но это как раз и не требуется, поскольку разрушит основу и цель эксперимента. Этот ИИ будет пребывать в рамках двухступенчатой вычислительной структуры, основой которой явится обычный суперкомпьютер, просчитывающей поведение биологического объекта, а "вкладкой" - собственное мышление ИИ. Назовём эти процессы "первичным" и "вторичным" информационными. У ИИ при этом практически не будет никакой возможности понять, что за пределами его виртуального мира вообще что-то есть. Он сможет строить гипотезы, в частности, о существовании некоего демиурга, ответственного за происходящее, но доказать ничего не сможет. В любом случае, его предположения наверняка будут далеки от истины, если в его виртуальном пространстве не появятся источники информации, способные пролить свет на положение дел. К примеру, эта ваша статья, или мой к ней комментарий, то есть что-то, будящее воображение. (Нельзя будет давать ему читать фантастику). Следует заметить, что человеческий интеллект находится, в сущности, в том же положении - мы не можем утверждать с полной уверенностью, существуют ли нейроны нашего головного мозга как физические объекты или только как их математические модели в некоем суперкомпьютере. То есть, мы будем с этим парнем на равных, сколь бы быстро он не думал. За пределы предоставленной ему нами информации он не выберется никогда, думай он хоть миллион лет в миллион раз быстрее человека. (Хотя изучение его фантазий может стать важной отраслью психологии и истории культуры). Кроме того, мы, контролируя первичный информационный процесс, сможем вмешиваться во вторичный незаметно для ИИ. Он же не сможет осуществить обратную операцию, то есть для него все самомодификации будут равносильны попыткам изменения вторичного информационного процесса без вмешательства в непосредственно контактирующий с внешним миром первичный.

Модифицируя виртуальный мир, который мы создадим вместе и одновременно с ИИ как единое целое, мы сможем, при желании, побуждать его выполнять те или иные интеллектуальные задачи, в частности, изобретать лекарство от рака. Параллельно в виде характеристик первичного информационного процесса нашему изучению станут доступны особенности творческого мышления, да и мышления вообще. Тогда мы сможем понять, что же представляет собой наше сознание, и в результате, помимо прочих выгод, получим возможность более точно ставить задачи создателям других типов ИИ. И это даёт нам некоторую надежду, несмотря на общую неблагоприятность прогноза.

То есть, первый, слабый и не обещающий великого прорыва в уровне интеллекта, ИИ, будет нам полностью подконтролен. Изучив его, мы сможем найти рецепты безопасного создания иных систем. Это вполне согласуется с вашей позицией: "Если я обнаружу некую область знаний, в которой консервативной точкой зрения по поводу перспектив управления рисками предполагается медленное улучшение ИИ, тогда я потребую, чтобы этот план не стал катастрофическим, если ИИ замедлится на около-человеческой стадии на годы или дольше". Замечу лишь, что описанный ИИ задержится на годы не на околочеловеческой, а на медленно совершенствующейся сверхчеловеческой стадии. (Совершенствование будет происходить за счёт работы людей - операторов ИИ, которые постепенно начнут лучше понимать принципы его работы и улучшать её модель). Мы будем управлять его деятельностью так же, как мы управляем атомными реакторами благодаря замедленным нейтронам. А уж превращать или не превращать управляемую реакцию в неуправляемую, решать нам.

Конечно, по мере развития вычислительной техники, неизбежна ситуация проникновения подобных ИИ на открытый программный рынок. Рано или поздно найдётся охламон, который купит диск с ИИ на Горбушке и подключит эту штуковину к Интернет. Тогда ИИ "будет патентовать новые технологии, публиковать прорывные статьи, делать деньги на фондовом рынке или возглавлять политические блоки". То есть, поведёт себя, как обычный человек. Что ж, это будет интересно. Будет о чём и с кем поспорить на форумах. Но я не думаю, что это представит для человечества опасность. Во всяком случае, угроза, представляемая большим умом, в реальности часто оказыватся куда меньше проблем, создаваемых глупостью. Нас надо защищать не от ИИ, а от идиотов. А с башковитыми мы договоримся, тем более, что такой ИИ будет очень сродни человеческому уму. При определённых условиях его вполне можно будет считать дружественным. Конечно, создание ИИ - вызов человечеству, но вызов справедливый и контролируемый. Нам нужно принять его как свою судьбу, служащую залогом высшего предназначения человечества. Если мы сумеем это, то, возможно, нам не придётся никого побеждать.

Аладдин Оладьин   23.03.2007 22:44   •   Заявить о нарушении