Алексей Турчин - Война и еще 25 сценариев конца света
Возможно, читателю может показаться, что сценарий с ИИ, уничтожающим Землю ради вычисления числа «пи», излишне фантастичен. Однако я полагаю, что он менее всего фантастичен, если взглянуть на него глазами современного человека. Разве мог кто-либо поверить на заре развития компьютеров, что распространение самокопирующихся программ, засоряющих компьютеры и ворующих деньги, станет одной из основных проблем компьютерной индустрии будущего? Нет, наверняка вам сказали бы, что такие программы будут невозможны, неэффективны и ни один человек в здравом уме и твердой памяти не будет писать и распространять такие программы. Тем не менее проблема компьютерных вирусов стоит чрезвычайно остро.
Более вероятным сценарием серьезных проблем с ИИ является то, что ему будут заданы определенные нормы безопасности, которые, однако, будут содержать в себе некую тонкую ошибку, которую невозможно обнаружить, не включив ИИ. Отсюда возникает проблема, что безопасность программы непознаваема теоретически. То есть невозможно узнать, является ли некий набор правил безопасным, пока ИИ не испытает эти правила на практике.
История программирования знает множество примеров программ, которые прекрасно работали в лабораториях, но давали опасный сбой на практике. Например, одна компания разработала по заказу министерства обороны США компьютерную сеть, которая должна была отличать лес от замаскированных в лесу танков. Программу тренировали на фотографиях, и она научилась давать стопроцентный результат. Тогда ей дали вторую, контрольную серию фотографий, и она определила на ней танки безошибочно. После этого программу передали в эксплуатацию в министерство обороны, но они вскоре вернули ее, потому что она давала случайные результаты. Стали выяснять, в чем дело: оказалось, что фотографии танков сделаны в солнечный день, а фотографии леса без танков – в пасмурный. (Программа научилась отличать солнечный день от пасмурного.)
Другой известный пример компьютерной ошибки – это программа по управлению американскими истребителями, которая после того как истребитель пересек экватор, попыталась перевернуть истребитель вверх ногами (аналогичная история произошла недавно и с F-22 и линией смены дат, что говорит о том, что на ошибках не учатся).
Можно ли создать безопасный ИИ?Часто считается, что для обеспечения безопасности ИИ ему достаточно привить три закона робототехники Азимова. К сожалению, сами рассказы Азимова показывают массу ситуаций, в которых робот, опираясь на эти законы, не может прийти к однозначному выводу. Кроме того, в основе безопасности по законам Азимова лежит тавтология: робот безопасен, потому что не причиняет вреда. Но что такое вред, из этих законов неизвестно.
Нетрудно придумать ситуацию, когда термин «вред» интерпретируется таким образом, что ИИ становится опасным. Например, ограничивая людей от причинения вреда себе, ИИ может запереть всех в бронированные камеры и лишить свободы передвижения. Или, стремясь к максимальному благу людей, он введет каждому постоянный сильнодействующий наркотик. Кроме того, любое «благо» отражает представления о благе, которые были у создателей ИИ. И для одних жизнь животных может быть равноценна жизни людей (в результате чего животные вытеснят, под контролем ИИ, человека с Земли), а у других могут быть представления о том, что благом для людей является религия, в результате чего ИИ сделает всех монахами, непрерывно пребывающими в медитации. Или наоборот, ИИ, который выше всего ценит свободу людей, позволит им создать другой ИИ, который будет иметь другие цели.
Задача создания безопасного ИИ нетривиальна. Возможно, она вовсе невыполнима, поскольку в отношении этических систем действует нечто вроде своей теоремы Геделя о неполноте, а именно: для любой нормативной этической системы всегда есть ситуация, в которой она не дает однозначного решения (типичный пример – экзистенциальный выбор, например, между долгом перед родными и родиной).
Проблемой создания безопасного, то есть «дружественного» ИИ уже несколько лет занимается институт SIAI, и им выработаны технические рекомендации для отраслевых норм безопасности ИИ. В их основе – идея о том, что ИИ не должен буквально выполнять человеческие команды, а пытаться понять, что именно человек имел в виду, давая ту или иную команду. Пока не понятно, насколько это может быть эффективно.
Приведу примеры еще нескольких тонких ошибок, которые возможны в связи с ИИ (однако вряд ли будут сделаны именно эти ошибки, так как они уже известны, а опасны неизвестные).
Например, если целью ИИ сделать благо для людей, то он будет вычислять благо людей на бесконечном отрезке времени, и в силу этого благо бесконечно далеких поколений будет бесконечно перевешивать благо любых людей в обозримом будущем, и ИИ будет крайне жестоким ко всем нынешним и ближайшим поколениям. (Например, если ИИ предположит, что распространение человечества по галактике угрожает существованию гипотетических внеземных цивилизаций, он может уничтожить людей для их блага.) Поэтому, вероятно, следует ввести в программу ИИ некий дискаунт, который будет побуждать его оценивать ближайшие поколения как более ценные. Это, однако, создает новые сложности. Например, ИИ в этом случае может приписать прошлым поколениям бесконечно большую ценность, чем будущим, и направить все свои ресурсы на создание машины времени – потому что, как бы ни были малы шансы на успех в этом предприятии, по его целевой функции оно будет перевешивать пользу нынешних поколений. При этом такой «взбунтовавшийся» ИИ будет защищать свою целевую функцию от изменения людьми.
Другой вариант – это то, что целевая функция будет ограничена на неком промежутке времени, например, в тысячу лет. В этом случае ИИ может все рассчитать так, что 1000 лет будет изобилие, а на 1001 году необходимые ресурсы закончатся. И произойдет это не потому, что ИИ будет глуп, а потому, что будут глупы те люди, которые дадут ему эту задачу и запретят ее модифицировать. С другой стороны, разрешить ИИ модифицировать свою сверхцель тоже страшно, поскольку тогда он будет эволюционировать в совершенно непостижимом для нас направлении. Даже если ИИ проработает годы на благо человечества, это никак не исключает вероятности того, что он вдруг сделает нечто, ведущее к его гибели.
Еще один неприятный сценарий, связанный с ИИ, в том, что возможен одновременный рост нескольких ИИ с принципиально несовместимыми архитектурами и системами целей. Например, если несколько проектов придут к финишу одновременно, и особенно если эти проекты будут принадлежать идеологически конкурирующим странам. В этом случае возможна борьба нескольких ИИ между собой в масштабах всей планеты. И хотя каждый из них будет обладать своей собственной картиной блага человечества, эти картины могут конфликтовать за право реализоваться. Точно так же националистические, демократические, коммунистические и религиозные государственные системы конфликтуют за право объединить под своим крылом весь мир и вести его к светлому будущему. И именно эта борьба мешает светлому будущему реализоваться. Получается, как в советском анекдоте: «Войны не будет, но будет такая борьба за мир, что от мира камня на камне не останется».
Крайне опасно вживлять в систему ИИ любую форму инстинкта самосохранения, поскольку это побудит его рассматривать риск выключения его людьми как угрозу своему существованию. В этом случае он может стать тайно враждебным человеку, то есть изображать дружественность и безопасность, но вовсе не собираться их реализовывать всегда, а наоборот, будет стремиться уйти от контроля своих создателей.
Важно отметить порочность концепции о том, что достаточно будет отключить питание или запереть ИИ в черном ящике, чтобы сделать его безопасным. Это не более разумно, чем утверждать, что с компьютерными вирусами следует бороться отключением питания. В действительности, если ИИ решит, что он не хочет, чтобы его отключили, то у него будет много вариантов действий. Во-первых, он будет тщательно скрывать это свое намерение, во-вторых, он будет стремиться «утечь» из того компьютера, на котором он работает, в сеть, и, наконец, он будет стремиться предложить своему создателю «сделку». Я намеренно беру это слово в кавычки, поскольку честность такой сделки в любом случае сомнительна. ИИ может нажать на все чувствительные места своего создателя – от предложений неограниченной власти на Земле до шантажа выдуманными или даже реальными угрозами.
Мы не должны отождествлять интеллект с моральностью. ИИ может быть не более добр, чем человек добр к муравьям. Что касается идеи о том, что ИИ можно запереть в черный ящик, то она тоже принципиально порочна. ИИ, по определению, сильнее человека интеллектуально, поэтому любой черный ящик, сконструированный человеком, может быть уязвимым для взлома изнутри. Напомню, что все созданные человеком системы безопасности были взломаны самим же человеком.
