На краю пропасти. Экзистенциальный риск и будущее человечества - Тоби Орд
Одним из первых такой тип экзистенциального риска в своем романе “Колыбель для кошки”, опубликованном в 1963 году, рассмотрел Курт Воннегут. Он описал искусственный кристалл льда (“леддевять”), твердый при комнатной температуре и вызывающий цепную реакцию в жидкой воде, превращая ее в леддевять. Поскольку такая форма льда в естественном состоянии не встречалась на Земле на протяжении всей ее истории и поскольку она обладает такими яркими свойствами, ее можно считать беспрецедентным условием в соответствии с моим определением. В книге ее появление приводит к экзистенциальной катастрофе, когда она вступает в контакт с земными океанами, в результате чего вся вода переходит в это странное твердое состояние.
459
Не забывайте, что ученых миллионы, поэтому, даже если субъективная вероятность вымирания в результате неудачного эксперимента составляет лишь один к миллиону, она может быть слишком высока. (Особенно с учетом предвзятостей и ошибок отбора, которые приводят к тому, что даже сознательные ученые систематически недооценивают риски.)
460
Существует несколько ключевых проблем управления рисками. Во-первых, ученые, как правило, применяют свой эпистемологический стандарт высокой уверенности в том, что катастрофы не случится, при условии что их базовые научные теории и модели верны, а не анализируют, что стоит на кону, и не проверяют, как такие теории и модели вели себя в прошлом (Ord, Hillerbrand & Sandberg, 2010).
Во-вторых, ученые, как правило, принимают решения в одиночку. Хотя они настоящие эксперты в соответствующих вопросах, им не хватает важного опыта анализа рисков и оценки ставок. Это также приводит к возникновению различных систематических ошибок и конфликтов интересов, когда те люди, чья работа (как и работа их коллег) зависит от выносимого вердикта, сами выносят этот вердикт. Это противоречит общепринятым нормам, в соответствии с которыми при определении того, стоит ли действовать определенным образом, нужно учитывать мнение людей, которые в результате подвергнутся угрозе (о которой идет речь).
Чтобы улучшить ситуацию, можно создать международный орган (например, в рамках ООН), который рассматривал бы эти вопросы, нанять людей, ответственных за сбор лучших аргументов за и против, и назначить сведущего в науке судью для вынесения вердикта о том, можно ли проводить эксперимент в текущий момент, или же его следует отложить до тех пор, пока не найдутся более весомые доводы в его пользу. Я подозреваю, что лишь немногие эксперименты были бы запрещены. (Такая модель могла бы работать, даже если бы вердикты не имели официальной силы.)
461
Ядерное оружие не вошло бы в список, поскольку механизм радиоактивного распада был открыт только в 1938 году. Туда бы также не вошли пандемии искусственного происхождения, так как первая демонстрация генной инженерии состоялась в 1960-х годах. Компьютеры еще не были изобретены, а идею об искусственном интеллекте и сопряженных с ним рисках ученые стали всерьез обсуждать лишь в 1950-х годах. Гипотеза о вероятности антропогенного глобального потепления восходит к 1896 году, но поддержку она получила только в 1960-х годах, а статус общепринятого риска приобрела в 1980 х.
Американский правительственный доклад о будущем технологий, подготовленный в 1937 году, служит прекрасным примером того, насколько трудно осуществлять прогнозирование (Ogburn, 1937; Thomas, 2001). В нем не упоминаются ни атомная энергия, ни антибиотики, ни реактивные самолеты, ни транзисторы, ни компьютеры, ни какие либо вопросы, связанные с космосом.
462
Bostrom (2013; 2018).
463
Einstein & New York Times (1946).
464
По данным онлайн-анкетирования, проведенного пользователем GitHub под ником Zonination (Zonina-tion, 2017). Эти результаты во многом совпадают с результатами эксперимента, проведенного ЦРУ над офицерами разведки (Heuer, 1999).
465
В связи с этим возникают трудности с использованием фразы “крайне маловероятно, что случится X” в качестве аргумента, поскольку необходимо уделять больше внимания X. Ситуация была бы иной, если бы фраза “крайне маловероятно” соответствовала диапазону вероятности, например от 1 к 10 до 1 к 100, поскольку на эти цифры легко ссылаться, утверждая, что риск необходимо принимать всерьез. Из-за этого проблемы возникают у МГЭИК, которая в своих отчетах использует не численные вероятности, а подобные фразы.
466
Pinker (2018), p. 295; перевод Г. Бородиной и С. Кузнецовой.
467
Еще одна причина, по которой некоторые предпочитают не называть цифры, состоит в том, что им не хочется быть пойманными на слове, а словесные описания допускают расплывчатость. Мне же нравится называть точные цифры, раскрывать карты и давать другим возможность найти пути для улучшения ситуации. Только прозрачность и готовность признать ложность своих выводов позволяют нам расти в интеллектуальном отношении.
468
Моя оценка в 1 к 10 000 на век эквивалентна ожидаемой продолжительности жизни в 1 млн лет. Хотя я полагаю, что летопись массовых вымираний, вполне возможно, дает нам истинную частоту вымираний, около одного в 100 млн лет, я также считаю, что лучше ориентироваться на типичную продолжительность существования видов, а это сильно увеличивает средние показатели. Не забывайте, что палеонтологическая летопись надежна лишь при изучении природных рисков вымирания, но не других типов экзистенциального риска. Здесь я предполагаю, что их уровень примерно совпадает с уровнем рисков вымирания, поскольку это в общих чертах соответствует реальности для рисков, которые мы рассмотрели подробно, но неопределенности с ними больше.
469
Это аналогично Байесовскому выводу, согласно которому гипотеза становится отправной точкой и корректируется по мере получения новых данных. В нашем случае я предлагаю начинать с нестрогой априорной вероятности, определенной на основе базовых норм и других факторов, учитываемых при расчете лучшей оценки, пока не появятся объективные данные (если они появятся вообще). Я не вижу веских доводов в пользу того, чтобы начинать с априорной вероятности, очень близкой к нулю.
470
Как мои оценки выглядят в сравнении с другими? Эти риски редко получают серьезные оценки от ученых, которые уделяют им пристальное внимание. К счастью, несколько пионеров исследования экзистенциального
