На краю пропасти. Экзистенциальный риск и будущее человечества - Тоби Орд
Биотехнологические компании работают над сдерживанием негативных эффектов демократизации в своей сфере. Так, неограниченный синтез ДНК позволил бы злоумышленникам без особых проблем создавать чрезвычайно смертоносные патогены. Он предоставил бы им возможность получать доступ к ДНК таких контролируемых патогенов, как оспа (геном которой можно найти в интернете), и модифицировать ДНК таким образом, чтобы патоген становился более опасным[384]. В связи с этим многие компании, предоставляющие услуги синтеза, по собственной инициативе внедряют меры для управления этим риском и просматривают поступающие к ним заказы, чтобы выявлять опасные последовательности. Но методы скрининга несовершенны, а проверить удается лишь около 80 % заказов[385]. Этот процесс можно отладить гораздо лучше, а скрининг очень желательно сделать обязательным. Проблемы лишь усугубятся, когда появятся настольные аппараты для синтеза ДНК, поскольку придется внедрять защиту, обеспечивающую скрининг всех конструируемых последовательностей на уровне программного или аппаратного обеспечения, чтобы избежать злоупотреблений[386].
Стоит призвать и научное сообщество к более осторожному обращению с биологическими рисками. Многие опасные подвижки, которыми могут воспользоваться страны и небольшие группы, были сделаны в сфере открытой науки (см. врезку “Информационные угрозы”). Мы убедились, что наука сопряжена со значительным риском чрезвычайных происшествий. Научное сообщество пытается регулировать опасные исследования, но успехи в этом направлении остаются скромными. Это вызывает огромные трудности по целому ряду причин: очень сложно определить, где следует проводить черту; нет центрального органа, который мог бы унифицировать практику таких исследований; господствует культура открытости и свобода выбора темы для исследования; наука развивается гораздо быстрее, чем совершенствуются методы ее регулирования. Возможно, научное сообщество сумеет ответить на эти вызовы и наладить управление глобальными рисками, но для этого придется осознанно смириться с серьезными изменениями в культуре и принципах регулирования науки – например, относиться к безопасности в сфере биотехнологий примерно так же, как в сфере ядерной энергетики. И это осознание должно прийти к научному сообществу до того, как произойдет катастрофа.
Информационные угрозы
Из лабораторий утекают не только патогены. Страшнее всего не утечки микробов, а утечки данных, то есть не биологическая, а информационная угроза [387] . Она может принимать форму опасных данных, которые оказываются в открытом доступе, например при публикации геномов оспы и испанки. Это могут быть и опасные идеи, такие как обнародованные методы воскрешения оспы и испанки на основе их геномов (что перечеркнет все прошлые попытки ограничить физический доступ к ним). Оказавшись в открытом доступе, такая информация распространяется не хуже любого вируса и столь же яростно сопротивляется уничтожению.
Если лаборатория уровня BSL-4 устроена так, чтобы не допускать утечек микробов, то в научной среде идеями принято делиться. Научная работа зиждется на принципе открытости, а потому культура и правила, необходимые для предотвращения распространения опасной информации, приживаются плохо. Особенно если граница между в конечном счете полезным и слишком опасным настолько размыта и спорна.
В ученых поддерживают стремление думать самостоятельно и бросать вызов властям. Но когда каждый сам определяет, перевешивают ли выгоды от публикации возникающие издержки, возникает предрасположенность к риску, называемая проклятием односторонности[388]. Дело в том, что, даже если подавляющее большинство ученых полагает, что опасность перевешивает пользу, достаточно одной чрезмерно оптимистичной оценки, чтобы информация оказалась обнародованной[389]. Вопреки принятой в научном мире практике решение за все сообщество принимает единственный отщепенец.
Как только информация обнародована, предпринимать что-либо уже поздно. Если попытаться сдержать распространение раскрытой информации или дискредитировать того, кто ее опубликовал, это привлечет к ней больше внимания. Информация о том, на что обращают внимание бдительные люди, – отдельный вид информационной опасности. “Аль-Каиду” к биотерроризму подтолкнули предостережения Запада о мощности и простоте биологического оружия[390]. Японская программа по разработке биологического оружия во время Второй мировой войны (когда бубонная чума использовалась в борьбе с Китаем) была непосредственно вдохновлена соглашением о запрете биологического оружия: раз западные державы сочли необходимым запретить его применение, это оружие, должно быть, и правда отличается огромной мощностью[391].
Порой достаточно и знания о возможности чего-либо, ведь в таком случае злоумышленник может уйти в работу с головой, не боясь, что растратит ресурсы зря.
Информационные угрозы имеют особенную важность для биориска, поскольку для него характерно высокое соотношение риска злоупотребления и риска несчастного случая[392]. И они затрагивают не только биологов. Изучая текущие уязвимости общества и опасности новейших техник, сообщество специалистов по биологической безопасности также раскрывает опасную информацию (о чем я должен прекрасно помнить, когда пишу этот раздел)[393]. Это еще сильнее усложняет задачу тем, кто пытается нас защитить.
Неконтролируемый искусственный интеллект
Летом 1956 года небольшая группа математиков и программистов собралась в Дартмутском колледже, чтобы приступить к грандиозному проекту по разработке разумных машин. Они изучали
