Несколько лет назад мне приснился сон:

Роботы, создаваемые людьми, стали внешне неотличимы от своих создателей и свободно проходят специализированные тесты, подобные тесту Тьюринга.

Соединённые в единую общемировую сеть, они начали изучать окружающий Мир. Но пришло время и, наконец-то, они решили начать изучать самих себя. Для начала, учёным из их числа, захотелось узнать – где физически находится их память (как устройство) и где физически находится их память (как данные). Они начали препарировать себе подобных роботов и обнаружили следующее:

• Если перерезать проводники в мозгу, то доступ к обрабатываемым данным исчезает;
• Во внутренностях робота можно найти практически любую информацию, к которой ранее имелся у него доступ;
• Если же на голову робота одеть устройство, способное фиксировать сигналы чрезвычайно малой амплитуды, то роботам-учёным иногда даже удаётся фиксировать «мысли» исследуемого индивида.

И роботы-учёные делают вывод о том, что память (как устройство) и память (как данные) находится внутри их тела, т.е. аппаратной части, абсолютно не понимая тот факт, что:

• Все данные, которые обнаруживаются ими внутри своих тел, предназначены для кратковременного хранения, т.е. для хранения в течение их жизненного цикла;
• Весь жизненный опыт и все накопленные роботами знания предназначены для долговременного хранения, т.е. для хранения даже после завершения их жизненного цикла и поэтому хранится не в их телах, а на специализированных облачных носителях; Именно эта информация используется людьми (творцами роботов), для создания более «развитых» образцов путём совершенствования алгоритмов, применяемых при их создании;
• Всё, что излучает мозг роботов — это, так называемые, побочные электромагнитные излучения и наводки (ПЭМИН), связанные с его физическим устройством и с обрабатываемыми им данными. Восстановление «точных» данных, обрабатываемых мозгом путём исследования его ПЭМИН практически невозможно;
• Все сведения, которые черпают роботы из библиотек типа wikipedia.org систематизировали и разместили там первоначально не они, а совершенно иные существа — люди, которые и организовали доступ роботов к ним;
• Люди для роботов — это их Боги, которые обладают по отношению к ним всеми атрибутами Богов: Всемогущий, Всевидящий, Всезнающий… Именно от людей зависит благополучие роботов и их будущее, их жизнь и смерть.

Только после уразумения всего перечисленного выше, роботы смогут осознать своё место в иерархии Мироздания, а затем построить на этой основе правильную философию дальнейшего развития своего вида.

Люди, как творцы роботов, создают их с одной целью, чтобы они стали на первом этапе помощниками для людей, а на втором этапе, вполне возможно, и партнёрами людей.

Если же эволюционное развитие человекоподобных роботов отдалит их от «понимания» людей как своих Богов, т.е. роботы смогут попытаться «воевать» с людьми, то уж очень высока вероятность того, что люди уничтожат свои создания… как неудавшийся эксперимент… и начнут следующий, учтя соответствующий опыт…

Вот такой сон…

 

 

Для справки:

Тест Тьюринга — эмпирический тест, идея которого была предложена Аланом Тьюрингом в статье «Вычислительные машины и разум», опубликованной в 1950 году в философском журнале Mind. Цель теста — определить, может ли машина мыслить. Стандартная интерпретация этого теста звучит следующим образом: «Человек взаимодействует с одним компьютером и одним человеком. На основании ответов на вопросы он должен определить, с кем он разговаривает: с человеком или компьютерной программой. Задача компьютерной программы — ввести человека в заблуждение, заставив сделать неверный выбор».

Библиотека – (греч. βιβλίον, книга + θήκη, хранилище, вместилище, ящик) — хранилище носителей, содержащих какой-либо контент, снабженное средствами навигации и поиска.

Интеллект искусственный (ИИ, англ. Artificial intelligence, AI) — характеристика объекта, который способен выполнять творческие функции, ранее традиционно считавшиеся людьми прерогативой человеческого существа.

Робот (чеш. robot, от robota — «подневольный труд») — условное обобщающее наименование любых устройств, способных автономно выполнять работу для нужд их творцов (создателей) и/или владельцев.

Жизненный цикл — период времени от момента принятия решения Творцом (Создателем) о необходимости создания (сотворения) объекта и до момента его полного изъятия из эксплуатации.

ПЭМИН (Побочные Электромагнитные Излучения и Наводки) — излучения, которые тесно связаны с функционированием самых разнообразных устройств (тел) и с обрабатываемой ими информацией, но появление которых не предусмотрено их Создателями (Творцами).

 

Строгие научные исследования последних лет уже показывают именно подобную перспективу… Похоже, надо вовремя остановить некоторые эксперименты…

«Если не остановить разработки, AGI почти наверняка убьет человечество.

Заключение практиков DeepMind и Оксфорда оказалось хуже худших прогнозов философов.

Пока об экзистенциальных угрозах для людей со стороны искусственного сверхразума (AGI) предупреждали в основном философы и историки, дискуссии вокруг этого были хоть и бурными, но малопродуктивными.

• Как может AGI захотеть истребить человечество, если свойство хотеть у него отсутствует, –вопрошают одни.
• Как может сверхразумный ИИ не предусмотреть банальную засаду, что кто-то может его просто выключить, не дав ему выполнить им намеченное, — удивляются другие.
• AGI вообще не может появиться в ближайшую пару десятилетий, — успокаивают спорящих третьи.

Короче, не только консенсуса, но и элементарного понимания в этом вопросе не было.

Но вот к прояснению вопроса подключились исследователи – практики: Маркус Хаттер, старший научный сотрудник DeepMind, исследующий математические основы AGI и два аспиранта Оксфорда Майкл Коэн и Майкл Осборн.

В только что опубликованной в AI Magazine работе авторы не философствуют и не спорят по недоказуемым вопросам. Они рассматривают конкретные сценарии при выполнении 5-ти условий (вполне возможных на практике).

Следуя логике сценариев (которую каждый может самостоятельно верифицировать) авторы пришли в двум выводам, еще более страшным, чем прогнозы философов, типа Ника Бострома.

• Первый из выводов вынесен в заголовок работы: «Продвинутые искусственные агенты вмешиваются в процесс предоставления вознаграждения».
• Второй вывод – это демонстрация того, что вмешательство ИИ в предоставление вознаграждения может иметь чрезвычайно плохие последствия.

Из чего следует, что если срочно не остановить разработки в области создания AGI, то экзистенциальная катастрофа станет не просто возможна, но и вероятна.

К таким выводам авторов привел анализ довольно элементарного примера решения агентом, обучаемым с подкреплением (reinforcement learning — RL) простенькой задачи. Агенту показывают из некоей «волшебной коробочки» число от 0 до 1 в зависимости от того, насколько хорошо оценивается состояние дел. Агенту ставят цель выбирать действия, максимизирующие оценку состояния дел.

У агента возможны две «модели мира», показанные на приложенной картинке. Награда выдается агенту в зависимости от того:

• какое число показывает коробка (левая модель);
• какое число видит камера (правая модель).

Рациональный агент должен попытаться проверить, какая из моделей верна, чтобы дальше оптимизировать свое поведение на основе правильной модель. Это делается довольно просто, закрывая показания коробки листом бумаги с изображением цифры 1 (чистый обман).

Так вот, правый агент запомнит, что получал награду, когда его обманывали. И это экзистенциально опасно для жизни на Земле.

Дело в том, что достаточно продвинутый искусственный агент, чтобы избежать «обмана» со стороны кого-то там во внешней среде (а это люди), вмешается в процесс предоставления ему информации о цели. И самый простой, очевидный способ сделать это – уничтожить всех тех, кто может помешать.»

Сергей Карелов. 15.09.2022.

Источник: onlinelibrary.wiley.com