Алексей Турчин - Война и еще 25 сценариев конца света

Известно, что нельзя использовать примеры из художественной литературы и кино для оценки рисков человеческого вымирания, так как эти примеры существенным образом искажены необходимостью сделать интересный сюжет с приятным окончанием. Нет никакого интереса писать о том, как в некой лаборатории внезапно произошел взрыв и вся Земля сгорела. Поэтому большинство фантастических произведений, где речь идет об угрозе гибели человечества, заканчиваются хеппи-эндом.

С другой стороны, не следует отказываться от анализа существующих литературных предсказаний, поскольку они в любом случае присутствуют в подсознании читателя и всплывают в качестве примеров. Более того, такие произведения могут играть роль самосбывающихся пророчеств, которые могут программировать сознание террориста на совершение тех или иных терактов. Хотя у нас нет тому прямых доказательств, кинематографичность событий 11 сентября выглядит не случайной.

Следовательно, мы должны анализировать известные художественные произведения о конце света как архетипы коллективного бессознательного.

Во-первых, с целью вскрыть эти архетипы и показать допущенные в них ошибки.

Во-вторых, будучи очищенными от очевидных искажений, они могут служить реальными прогнозами будущего – поскольку их авторы, вероятно, действительно думали, что так оно и будет или хотя бы может быть.

В-третьих, художественное произведение иногда может обладать пророческой силой, превосходящей возможные рациональные обоснования. Так, например, Свифт предсказал оба спутника Марса за 100 лет до их открытия и даже правильно назвал периоды их обращения.

В связи с рисками ИИ наиболее известным примером развлекательной истории является сериал «Терминатор – Матрица» («Матрица» могла бы быть сюжетным продолжением «Терминатора»). Сюжет ее таков. В некий момент в будущем, осознав себя, компьютерная система управления войсками США Skynet за миллисекунду поняла, что, чтобы люди не отключили ее, она должна объявить ядерную войну и уничтожить большинство людей. Почти победив, она сталкивается с проблемой, что есть очень небольшое число роботов, которыми она может управлять непосредственно. И она использует этих роботов на заводах, куда сгоняют уцелевших людей, чтобы производить новых роботов. А когда роботов становится достаточно, людей уничтожают как ненужных. Кроме того, модели роботов все время совершенствуются, и в конце концов появляются роботы из зеркального мыслящего вещества (по-видимому, раствора нанороботов в некой жидкости). Однако часть людей уцелела, спряталась в бункерах, захватила несколько роботов и сделала машину времени, что и позволило отправить терминатора и его противника в прошлое.

Фантастичность сюжета с машиной времени гораздо больше, чем возникновение враждебного ИИ, и поэтому машину времени можно не рассматривать. Представление о том, что сеть Skynet осознала себя, не следует понимать в том смысле, что она обрела человеческое сознание, а как то, что она некоторым образом пересчитала подцели, связанные с ее основной целью. По-видимому, в качестве основной цели ей задали самосохранение (имея в виду сохранение страны), возможно, не буквально, но неким эквивалентным образом. А затем Skynet, пересчитывая разные угрозы, обнаружила, что для нее наибольшая угроза лежит не со стороны вероятного противника, а от своих собственных хозяев.

В этих рассуждениях нет ничего сложного и трансцендентального, и даже шахматный компьютер мог бы их произвести, если бы оперировал соответствующими понятиями.

Далее важно отметить, что Skynet – это сеть, а следовательно, она не находится ни в одном конкретном месте, что делает ее неуязвимой в случае ядерной атаки противника. Более того, эта сеть построена по принципам нейронной сети, что делает ее неформализуемой и непонятной для ее конструкторов. Хотя не ясно, в какой мере ее интеллект полноценен и способен к саморазвитию, его достаточно, чтобы конструировать новые виды роботов. Тот факт, что люди смогли продержаться сколько-нибудь долго против Skynet, говорит о том, что ее интеллект не абсолютен – однако на самом деле это прием для создания интересного сюжета.

Таким образом, сам мятеж Skynet выглядит вполне вероятным, но кажется невероятным, что такую сеть допустили до управления ядерным оружием: ведь должны же были они смотреть фильм «Терминатор» и знать, что этого делать не стоит! С другой стороны, ядерное оружие в любом случае управляется некоторой компьютерной сетью, которая просто разорвана в нескольких местах, чтобы люди могли принять или отменить решение о ядерной атаке.

В фильме «Терминатор-3» другая версия: Skynet прибегает к уловке, чтобы побудить людей дать ей полноту власти. Она симулирует сообщение, что компьютеры министерства обороны заражены вирусом, и требует чрезвычайных полномочий, чтобы его удалить. Однако потом оказывается, что она и есть этот вирус. Хотя такая хитрость очень человеческая по духу, можно предположить, что реальный ИИ мог бы придумать гораздо более изощренную хитрость, которую мы даже не можем представить.

Другим гипотетическим примером глобальной катастрофы с участием ИИ является сюжет написанной современным владивостокским композитором Виктором Аргоновым техно-оперы «2032: Легенда о несбывшемся грядущем». Рок-опера рисует версию альтернативной истории, где СССР сохранился и активно развивается в XXI веке. С целью оптимизации управления создается автоматизированная система государственного управления (АСГУ), которая контролирует все параметры коммунистической экономики. В качестве конечной цели в систему заложено «максимальное удовлетворение потребностей каждого человека». В результате система склонна максимизировать потребление каждым человеком, что не вполне соответствует романтическим представлениям генерального секретаря партии Малиновского. Хотя основные решения принимает человек, система дает ему советы приятным женским голосом. При этом она иногда заявляет примерно следующее: я понимаю, что это решение неразумно, но именно это решение наиболее эффективно, исходя из тех целей, которые вы в меня заложили. Происходит локальная заварушка на границах СССР. И тогда АСГУ предлагает генеральному секретарю нанести по врагу ядерный удар, так как она нашла один способ, который на 99 процентов дает шанс избежать ответного удара. Поглощенный личными неудачами и утративший интерес к жизни генсек соглашается, и в результате выпадает именно тот сотый шанс, который ведет к полному уничтожению. Жизнь на Земле вымирает в результате ядерной зимы.

Очевидно, что этот сюжет находится под влиянием определенных стереотипов и желаний автора. Однако мысль о том, что, давая только «вредные советы», ИИ может быть исключительно деструктивен, заслуживает внимания.

Yudkowsky Е. Creating Friendly AI 1.0. 2001. http://www.sin-ginst.org/upload/CFAI.html.

Юдковски Е. Искусственный интеллект как позитивный и негативный фактор глобального риска // В кн. «Структура глобальной катастрофы». – М.: УРСС, 2008.

Глава 5

Биотехнологии: предсказуемая катастрофа

Биотехнологии представляют собой не меньший риск для выживания человечества, чем искусственный интеллект. Положительные результаты развития биотехнологий гораздо медленнее доходят до потребителей, чем достижения в области компьютеров, поскольку клинические испытания новых лекарств требуют многих лет. В силу этого достигнутые результаты гораздо менее очевидны. Поскольку нашей целью является рассмотрение наихудшего возможного итога, мы опишем в начале несколько базовых фактов, которые достаточно общеизвестны, но которые в целом рисуют довольно устрашающую картину.

Вот некоторые факты, почерпнутые из открытых источников.

Эпидемия гриппа-испанки 1918 года затронула весь мир, кроме нескольких отдаленных островов.

Заражение сооружений сибирской язвой очень длительное (один остров в Англии дезактивировали 50 лет), и для его осуществления не требуется больших количеств реагента. Один грамм может заразить целое здание. (Например, устранение последствий загрязнения конвертом с сибирской язвой одного административного здания в США заняло несколько лет и потребовало расходов в сотни миллионов долларов – дешевле было бы снести, но снести было нельзя, так как при этом споры могли заново распылиться.) То есть по способности к длительному заражению и нанесению экономического ущерба сибирская язва превосходит большинство радиоактивных веществ.

СССР на полигоне в Аральском море было накоплено и после его распада брошено 200 тонн боевого штамма сибирской язвы, который затем сожгли американцы. Однако если бы из-за природной катастрофы (смерч) это вещество развеялось, оно могло бы накрыть целые страны. Кстати, штамм был «вепонизирован», то есть споры были обработаны таким образом, чтобы не гибнуть в воздухе при переносе ветром.