Большим оптимистом, в этом вопросе, был Азимов с его законами роботехники. Станислав Лем, в книге "Щледство"(кажется, дознание пилота Пиркса) говорит о том, что разум, способный на действия одного уровня сложности, будет способен и на любые другие действия того же уровня сложности. Как результат, в мире Кибериады, роботы вспоминают о людях, как о своих полумифических конструкторах...
С точки зрения математики, способности разума к самопознанию не беспредельны. Это связано с неполнотой формальных систем, несамоприменимостью машины Тьюринга и т.п. Так что, возможно, Лем ошибается. Но. Как программист, я считаю, что возможность сколько-нибудь эффективно накладывать ограничения на искусственный разум придёт существенно позже, чем возможность его создания. Те же проблемы возникнут и с нанотехнологиями, в целом. Голодные торопятся, военные всегда торопятся... а второй попытки может и не быть.
Математика
1. Существует теорема о неполноте формальных систем. Доказано, что системы, включающие предикатное счисление П2(натуральные числа и аристотелева логика) неполны, или противоречивы. Это очень общее утверждение. Оно касается таких систем, как научные дисциплины, наш разум, искусственный разум и т.д. Во всех этих случаях, соответствующая картина мира либо неполна(не объясняет все факты), либо внутренне противоречива.
2. Доказаны теоремы о несамоприменимости машин Тьюринга. Если добавить сюда постулированный тезис Чёрча, отождествляющий понятие вычислимости по Тьюрингу, в смысле аппарата рекурсивных функций, да и в любом другом... Можно сказать так: определение смысла программы - и даже наличия в ней какого бы то ни было смысла является, в общем случае, алгоритмически неразрешимой задачей.
Всё это накладывает ограничение на разум и познание, особенно - самопознание. Похоже, универсальный разум не вполне рационален. К тому же, любой разум, не способен к полному самопознанию. Задача, поставленная Буддистами, неразрешима ;). А нам это, возможно, даёт лазейку для тонкой манипуляцией искусственным интеллектом. Теоретически, должно быть возможно наложить на него ограничения так, чтобы он этого не чувствовал и не возражал. Вот только, задачка не из простых...
Програмирование
1. "Железо" должно позволить создать полноценный искусственный интеллект не позже, чем лет через 10-15.
2. Мы всё ещё не знаем, что такое интеллект, в частности - наш собственный. Теория символов неплохо объясняет один из уровней, но в том, что ближе к нашему "железу", белку, если хотите, мы абсолютно невежественны.
3. Совеременные измерительные приборы позволяют создавать динамические карты электрической активности мозга. Когда у нас хватит вычислительной мощности их проанализировать, мы сможем создать дистанционные широкополосные интерфейсы. Обмениваться мыслями и образами с компьютером, если короче. Интересно, описывается ли наш разум электрической активностью мозга - или без химии тут никуда? Вопрос не праздный...
4. Мы создадим искусственный интеллект, либо копируя работу нашего собственного - либо "с нуля". Во втором случае, полагаю, в центре проекта будет эволюционное программирование. Если я прав, то даже создание искусственного интеллекта не даст нам удовлетворительного понимания его работы и методов надёжного контроля...
5. Когда мы сумеем создать равный нам интеллект, он перестанет быть равным... уже через несколько месяцев. Компьютеризация интеллекта позволит копировать лучшие результаты и совершенствовать железо и код на ходу. То есть, позволяет добиться несоизмеримо более высоких темпов эволюции, чем это возможно в биологической природе.
6. Возможности велики. Наше исчезновение, как господствующего разумного вида - лишь начало :-).