Глубокая утопия. Жизнь и смысл в решенном мире - Ник Бостром
Это был вопрос, который постоянно возникал, который члены Попечительского совета задавали друг другу, себе и всем экспертам, которых только можно было придумать. Это был предмет бесконечных дискуссий. Хотя есть люди, которым доставляют удовольствие такие открытые вопросы и дебаты, все члены Попечительского совета были мужчинами (женщин в Совете пока не было) практической ориентации, которые предпочитали работать в четко определенных рамках, преследуя более четко поставленные цели.
Если бы только можно было спросить Терморекса о его желаниях и стремлениях! Предложения третьего кластера было бы гораздо легче одобрить, если бы ТермоРекс мог дать свое согласие. Тогда все угрызения совести можно было бы отбросить, позволив попечителям двигаться вперед уверенно, смело и творчески, открывая новые радикальные способы извлечения пользы из вверенного им объекта.
Более того, если Терморекс каким-то образом обретет способность давать согласие, это также даст ему неоценимое преимущество автономии - внутренней ценности, которая, как часто считают, заключается в качестве свободного и независимого агента, способного делать собственный выбор, размышлять и достоверно утверждать свою собственную концепцию блага. По мнению многих авторов, как сообщили членам Попечительского совета, автономия является важнейшим компонентом человеческого процветания - на нее часто указывают как на главную причину, по которой жизнь человека якобы более желанна, чем жизнь животного, даже в тех случаях, когда, например, долголетие и баланс гедонистического удовлетворения обусловлены в пользу последнего.
Поэтому интерес членов Попечительского совета значительно возрос, когда они узнали о предложении кластера, которое обещало дать Терморексу возможность говорить. Они договорились, чтобы автор прилетел на самолете и представил свои идеи непосредственно Совету директоров, пока они еще находятся на сессии.
8.
Юрген Хирнемейстер был главным научным сотрудником компании, занимавшейся разработкой искусственного интеллекта и недавно добившейся заметных успехов.
Выступление Хирнемейстера, поскольку оно было включено в программу с опозданием, было запланировано после ужина, в конце долгого дня встреч и презентаций. Такой выбор времени был особенно сложен для Гюнтера Альтмана, который достиг почтенного возраста девяноста лет и всегда засыпал сразу после ужина. Обычно после того, как со стола убирали посуду, приносили кофе, причем Гюнтер варил очень крепкий, чтобы не заснуть. Однако ни разу за последние два года это средство не достигло цели.
В данном случае персонал попросили сделать кофе "экстра-экстра-экстра-крепким"; и то ли из-за повышенной крепости черной жижи, которую они подали, то ли из-за пьянящего содержания программной речи Хирнемейстера, произошло неожиданное - хорошее предзнаменование, как считалось: несколько резких движений головой в сторону, и Гюнтер остался бодрым.
После того как докладчик закончил выступление и его поблагодарили за то, что он поделился своими идеями, Гюнтер вместе с другими членами Попечительского совета одобрил запрос Хирнемейстера на финансирование и отдал свой голос в пользу проекта, целью которого будет разработка "вербатрона" - модуля, позволяющего ThermoRex говорить и выражать собственные мысли и мнения.
9.
Несколько слов о том, как Хирнемейстер собирался совершить такой очевидный магический подвиг. Я приведу цитату из статьи в журнале The Snout, в которой рассказывается о науке, лежащей в основе вербатрона.
"Генеративная модель была обучена выдавать текст, который по аналогии соответствовал заданным исходным данным. Например, если в качестве входных данных было предоставлено видео без звука, на котором кто-то разговаривает, сеть выдавала предположение о том, что говорит человек на видео, основываясь на движении губ (если оно было заметно) и ситуационных подсказках. Модель обладает некоторой способностью экстраполировать наблюдаемые статистические закономерности за пределы распределения данных, на котором она обучалась, и поэтому смогла генерировать результаты и для объектов, которые на самом деле не разговаривают. Хотя достоверность этих экстраполяций нельзя легко измерить по объективной истине, они, по крайней мере в некоторых случаях, выглядят вполне разумными. Например, если на вход подать видео (без звука) с кошкой, сеть может выдать "Мяу, дай мне молока!". Если в качестве входных данных предоставить скриншот из игры Pac-Man с центром внимания на одном из призраков, сеть может выдать что-то вроде "Я хочу поймать Pac-Man". Изменяя некоторые параметры, можно увеличить "расстояние вменения". Это приближало выходной вектор к тому, что, по прогнозам сети, мог бы сказать прототипичный человек в аналогичных обстоятельствах, то есть делало вывод более антропоморфным. Например, выбрав большее расстояние интерполяции, можно получить модель, которая выдаст что-то вроде "Я попытаюсь перехватить Пакмана, когда он будет убегать от преследующих его призраков" или "Интересно, собирается ли Пакман пойти за энергетической таблеткой?". В некотором смысле это менее реалистичная вербальная атрибуция, поскольку реальные агенты-призраки в игре Pac-Man не чувствительны к наличию или отсутствию несъеденных гранул энергии или к активности других призраков. Тем не менее, если прищуриться, то можно увидеть, что это вполне правдоподобная вещь для слегка "идеализированной версии" призрака, которая говорит сама себе в тех обстоятельствах. Философы могут рассматривать это как несколько дикий способ применения Дэвидсоновского принципа благотворительности в атрибуции значения - хотя в данном случае не к приписыванию значений реальным высказываниям, а более широко к существам в ситуации." ["The Empathy Engine", автор Alcibiades Joseph Christopher Hunden-Snow, выпуск 73 журнала The Snout].
В этом отрывке обойдены некоторые важные сложности, но читателю придется обратиться к первоисточнику для получения более подробной информации.
Трудности, с которыми пришлось столкнуться команде Хирнемейстера, включали в себя две особые задачи, выходящие за рамки тех, что обычно присущи передовым исследованиям в области искусственного интеллекта. Они возникали исключительно из-за морального статуса ThermoRex и связанного с ним морального императива уважать, а желательно и приумножать его достоинства и ценность.
Первым из них было "Требование подлинности". Поскольку речь шла о том, чтобы дать голос ThermoRex, необходимо было, чтобы он действительно - в максимально возможной степени - был голосом ThermoRex. Он не должен быть, например, простым отголоском чувств и идей исследователей, благодаря которым технология появилась на свет. Это вызывало серьезную озабоченность, поскольку в ходе разработки приходилось делать множество выборов - задавать множество значений параметров и т. д., - что создавало для исследователей соблазн опробовать различные варианты, а затем выбрать тот, который давал наиболее приемлемые результаты. Однако если бы они слишком часто занимались таким предварительным отбором и оценкой возможных результатов, то команда Хирнемейстера добилась бы того, что вербатрон стал бы не более чем автоматизированным способом генерирования зашифрованных записей их собственных предубеждений. Методология, которой они следовали, чтобы смягчить эту проблему, довольно интересна, но мой лимит слов не позволяет мне описать ее здесь.
Вторым особым вызовом, с которым столкнулись Хирнемейстер и его команда, было "Требование единственного рождения", которое гласило, что недопустимо, если вербатрон будет
