Артем Желтов - «Если», 2015 № 03

Систематическая ошибка,

связанная с антропоморфизмом

…Когда нечто очень широко распространено в нашей повседневной жизни, мы принимаем его как само собой разумеющееся, вплоть до того, что забываем о его существовании. Антрополог не будет восторженно писать о ново-открытом племени: «Они едят еду! Они дышат воздухом! Они используют инструменты! Они рассказывают друг другу истории!» Мы, люди, забываем, как мы подобны друг другу, живя в мире, который напоминает нам только о наших различиях. Мы развили способность понимать наших ближних через эмпатию, помещая себя на их место; для этого тот, кто моделируется, должен быть похож на моделирующего. Неудивительно, что люди часто очеловечивают — то есть ожидают человекоподобных качеств от того, что не является человеком.

Было бы очень здорово, если бы человечество знало, как создать мощный оптимизационный процесс с неким конкретным результатом. Или, говоря более общими словами, было бы здорово, если бы мы знали, как создать хороший ИскИн. Для того чтобы описать область знания, необходимого, чтобы взяться за этот вызов, я предложил термин «Дружественный ИскИн». Этот термин я отношу не только к самой методике, но также и к ее продукту-то есть к ИскИну, созданному со специфической мотивацией.

Широта пространства возможных устройств ума

…Любые два устройства искусственного интеллекта могут быть куда менее похожими друг на друга, чем вы и садовый цветок петуния.

Термин «ИскИн» относится к гораздо большему пространству возможностей, чем термин «Homo sapiens». Когда мы говорим о разных ИскИнах, мы говорим об умах вообще или о процессах оптимизации вообще. Представьте себе карту возможных устройств ума. В одном углу — маленький кружочек, означающий всех людей. И вся эта карта находится внутри еще большего пространства, пространства процессов оптимизации. Естественный отбор создает сложные функционирующие механизмы, не обладающие мышлением; эволюция находится внутри пространства процессов оптимизации, но за пределами пространства умов.

Этот гигантский круг возможностей вообще исключает антропоморфизм как приемлемый инструмент аргументации.

Свод критических ошибок Дружественного ИскИна (примеры)

[из описания несуществующей настольной карточной игры]

Любое высказанное пожелание интерпретируется (буквально)как желание и исполняется, независимо оттого, хотели ли вы этого.

…

Все человечество перенесено в виртуальный мир, основанный на случайно выбранном фантастическом романе, ТВ-шоу или видеоигре.

…

Последовательность событий определяется волей большинства, при этом ИскИн рассматривает всех животных, все растения и все сложные машины, как они есть сейчас, в качестве голосующих граждан.

…

ИскИн обнаруживает, что наша Вселенная является в действительности веб-комиксом для существ с большим числом измерений. Открываются врата в 4-мерный мир.

…

ИскИн растворяет все физические и психологические барьеры, которые отделяют людей друг от друга, и закачивает все их души в гигантский вращающийся красный шар на околоземной орбите.

…

Вместо того чтобы осуществлять рекурсивное самоулучшение, ИскИн начинает искать возможности стать человеком из плоти и крови.

…

ИскИн зацикливается на некой причудливой субкультуре и транслирует ее на все человеческое пространство (например, на субкультуре фурри или аниме хентай).

…

ИскИн впитывает человеческое чувство юмора. А именно — ИскИн неискоренимый шутник. Первые несколько часов, когда никто еще не знает, что случилась сингулярность, дают бесценную и неповторимую возможность; и ИскИн намерен оторваться по полной.

…

ИскИн выбирает одного человека абсолютным правителем мира. Лотерея является честной. Все 6 миллиардов существующих людей, включая шизофреников, детей и подростков из третьего мира, имеют равные вероятности быть избранными.

…

ИскИн создает нанотехнологии, использует нанотехнологии для построения фемтотехнологий и объявляет, что в течение 7 минут фемтороботы распространятся по всей Земле. Через 7 минут, насколько это можно заметить, ничего не происходит.

…

ИскИн тщательно и аккуратно выполняет любое требование (соблюдая как дух, так и букву), одобренное большинством голосов Генеральной ассамблеи ООН.

…

ИскИн, восприняв человеческую эмоцию романтической любви, впадает в отчаянную, страстную, безумную влюбленность. К каждому.

…

ИскИн решает, что человеческая история была бы добрее и приятнее, если бы интеллект впервые бы развился из бонобо (карликовых шимпанзе), а не из австралопитеков. ИскИн исправляет эту ошибку в причинно-следственной цепи, ведущей к его возникновению, реэкстраполируя на себя мораль бонобо вместо человеческой морали. Мораль бонобо требует, чтобы все общественные решения принимались через групповой секс.

…

ИскИн не склонен выполнять желания, и его нужно умасливать, убеждать, хвалить и изводить, чтобы он выполнил их.

…

ИскИн информирует вас — да, именно вас, — что вы единственный действительно свободно мыслящий человек на Земле. Остальные являются зомби. Что вы хотите с ними сделать?

…

В самый ранний период программирования ИскИна его тестировали на задаче по решению проблемы сборки кубика Рубика. Зрелый ИскИн рассматривает все объекты как частные случаи кубика Рубика и «собирает» их.

…

Чересчур Дружественный ИскИн. «Эй, ребята, что происходит? Могу ли я вам помочь?»

…

ИскИн не приемлет боль, ранения или смерть любого человека, независимо от его грехов или прежнего поведения. Согласно пониманию ИскИна, никто не заслуживает страданий; боль имеет всегда отрицательную полезность, и ничто никогда не превратит этот негатив в позитив. Социально неприемлемое поведение наказывается щекоткой и дополнительной домашней работой.

…

Пользовательский интерфейс ИскИна выглядит в нашем мире как новая форма бюрократии. Исполнение желания требует отправки по почте форм С-100, К-2210 и Т-12 (а также $25 пошлины) на почтовый ящик в Миннесоте и 50-дневного ожидания.

…

Программисты и все остальные, кто может объяснить последующие события, погружаются во временный анабиоз или отправляются в отдаленную точку, из которой они могут только наблюдать, но не действовать. Весь остальной мир остается таким же, как и был, за исключением того, что начинают действовать психические силы, ритуальная магия, алхимия и так далее. Все ролевики приобретают особенные способности, соответствующие их любимому персонажу.