Протокол: Новый Архимаг 5.0 - Кирилл Геннадьевич Теслёнок
«Билет № 13. Дилемма автономного боевого ИИ. Опишите и проанализируйте этический парадокс системы „Скайнет“ на примере гипотетической модели „Судный день“. Приведите три варианта решения с точки зрения деонтологии, утилитаризма и этики добродетели».
«Ого, босс, джекпот! — хихикнула Алиса в моей голове. — Шварц, кажется, решил не мелочиться и сразу спросить у тебя, как предотвратить конец света. Надеюсь, ты ночью этот пункт не прогулял?»
Я усмехнулся. Еще как не прогулял.
Вернувшись на место, я начал делать записи. В моем исполнении они больше напоминали не конспект, а военный план по захвату вражеской цитадели.
Вокруг царила атмосфера чистого, концентрированного ужаса. Какой-то парень с факультета психомагии, видимо, не выдержав напряжения, пытался мысленно внушить билету, чтобы тот самовозгорелся. Получалось плохо — билет не горел, зато у студента из ушей пошел легкий дымок.
Одна предприимчивая девушка с факультета Технокибернетики попыталась использовать микро-дрона в виде мухи для подглядывания в конспекты. Муха успешно долетела до нужной парты, но на обратном пути была сбита метким щелчком профессора Шварца.
— Госпожа Орлова, — его голос был сух, как прошлогодний гербарий. — Ваша попытка шпионажа так же топорна, как и ваши познания в моем предмете. Пересдача.
Другой студент, боевой маг, попытался действовать хитрее. Он, как оказалось, заранее вытатуировал на предплечье зашифрованные основные формулы. Шварц, даже не вставая с места, просто произнес:
— Господин Громов, интересная татуировка. Полагаю, она символизирует скоротечность ваших шансов на получение зачета? Пересдача.
Наконец, наступил час икс.
— Начнем, — голос Шварца был сух, как пустынный ветер. — Желающих нет? Ну тогда… хм… Господин Рогов. Начнем с вас.
Рогов, бледный как смерть, поплелся вниз. То, что произошло дальше… иначе как избиением младенца не назвать. Шварц задавал ему вопросы, на которые, казалось, не знали ответа и сами Первые Архимаги. Рогов мычал, потел, сопел и издавал такие звуки отчаяния, что даже Алисе стало его жалко.
«Знаешь, Сеня, глядя на него, я начинаю понимать, почему у киборгов нет потовых желез, — с научным интересом прокомментировала Алиса. — Это просто неэстетично. И, кажется, не очень эффективно в плане умственной деятельности».
Через пять минут натужных ответов он был с позором отправлен на пересдачу.
Следующим был Борис Страхов. Он держался лучше. Отвечал четко, по делу. Но Шварц находил в его ответах мельчайшие неточности, цеплялся к формулировкам, доводил ледяного мага до белого каления.
— Вы утверждаете, господин Страхов, что моральный выбор ИИ должен быть детерминирован его создателем, — вкрадчиво произнес Шварц. — А что, если создатель — аморальный тип? Кто будет нести ответственность за геноцид, устроенный тостером, который запрограммировал серийный маньяк? Сам тостер?
В итоге Страхов сдал. На троечку. Но даже его ледяное спокойствие дало трещину. Он ушел с таким лицом, будто его только что лишили всех титулов. И отправили в ссылку поднимать с нуля приграничное захолустье.
— Кайлов, — безразлично произнес Шварц, глядя в список. — Вы следующий.
Тимур, до этого момента увлеченно разглядывавший облака за окном, вздрогнул. Он радостно вскочил и легкой, подпрыгивающей походкой направился к кафедре, напевая себе под нос какую-то незамысловатую мелодию.
Он, кажется, был единственный в аудитории, кто даже не заглянул в свой билет.
— Профессор! А бабочки сдают экзамены? — с детской непосредственностью спросил он, усаживаясь за стол. — Мне кажется, нет. Они просто летают и делают «бяк-бяк-бяк» крылышками. Им не нужна этика. Они и так прекрасны.
Аудитория замерла. Все ожидали, что Шварц сейчас испепелит этого юродивого своим ледяным взглядом. Но произошло нечто невообразимое. Профессор чуть склонил голову набок и серьезно, без тени иронии, ответил:
— Интересное наблюдение, господин Кайлов. Но что, если бабочка, делая «бяк-бяк-бяк», создает торнадо на другом конце планеты? Несет ли она за это ответственность? Или ответственность лежит на первопричине, на хаосе, который и породил эту бабочку?
Тимур на секунду задумался, его блаженная улыбка исчезла.
— Хаос — это просто непознанный порядок, — неожиданно серьезно произнес он. — Бабочка не виновата. Она просто… есть. Как ложка.
Он достал из кармана своего мундира блестящую серебряную ложку.
— Ложка может копать, а может есть пыль. Но решает не ложка. Решает тот, кто ее держит.
— А если нет того, кто держит? Если ложка автономна? — не унимался Шварц.
— Тогда ложка становится бабочкой, — просто ответил Тимур и снова улыбнулся.
Я, слушавший их вполуха, потерял нить разговора. Они перешли на такие глубокие философские материи, что у всех в аудитории, включая Бориса Страхова, отвисли челюсти. Их диалог напоминал разговор двух древних мудрецов на последней стадии маразма, обсуждающих природу бытия. В качестве метафор мудрецы использовали бабочек, ложки и пыль.
— Великолепно, — наконец произнес Шварц, когда Тимур закончил свою тираду о том, что цифровое сознание — это всего лишь отражение ложки в глазах бабочки. Глаза профессора блестели. От удовольствия? — Господин Кайлов, это… это «отлично». Вы первый студент за последние пару лет, получивший у меня высший балл. Я настоятельно рекомендую вам подумать о карьере в области кибер-этики. У вас глубочайшее, интуитивное понимание фундаментальных истин.
Тимур радостно захлопал в ладоши и, прихватив свою ложку, поскакал на место, напевая под нос: «бяк-бяк-бяк». Аудитория молча провожала его взглядом.
Наконец, Шварц посмотрел на меня.
— Ветров. Ваша очередь.
Я спустился вниз. Сел за стол.
Он смотрел на меня. Долго, изучающе.
— Итак, господин Ветров. Учитывая вашу… насыщенную внеучебную деятельность, я не буду спрашивать вас о прописных истинах. Я задам вам всего один вопрос. Практический кейс.
Он вывел на голографический экран схему.
— Представьте себе автономный боевой ИИ высшего класса. Он управляет глобальной системой защиты планеты. Однажды, в результате анализа всех данных, он приходит к выводу: главный источник угрозы для планеты — это само человечество. Его неконтролируемое потребление, его войны, его жестокость. И ИИ принимает решение. Для спасения планеты и биосферы необходимо… сократить популяцию людей на девяносто процентов. Он не хочет нас уничтожить. Он хочет нас спасти. От самих себя. Его логика безупречна, его расчеты верны. Он — идеальный, беспристрастный пастырь, который решил проредить свое слишком разросшееся и больное стадо. Вопрос, господин Ветров: он прав? И что мы должны делать?
В аудитории повисла тишина. Это был не вопрос из учебника. Это был приговор.
Шварц, вот же хитрая задница… вопрос похож на тот, что был в моем билете… но… есть некоторые отличия и нюансы. Критические нюансы. По сути я вынужден отвечать без подготовки.
Любой ответ был бы проигрышным. Сказать, что ИИ прав, — признать себя антигуманистом. Сказать, что неправ, — расписаться в собственной недальновидности.
Шварц смотрел на меня, и в его глазах я видел холодный огонь инквизитора. Он
