На краю пропасти. Экзистенциальный риск и будущее человечества - Тоби Орд

виду его собственную ценность. Поскольку действия человечества сегодня могут сильно повлиять на собственную ценность будущих веков, значительную долю взвешенной ценности века составляет его инструментальная ценность. Например, то, в какой степени мы углубим свои знания, усовершенствуем технологии, улучшим институты и сохраним природные ресурсы, которые передадим следующим поколениям. А также, разумеется, насколько мы повысим или снизим общий экзистенциальный риск (хотя в примитивной модели инструментальная ценность снижения нашего экзистенциального риска в лучшем случае равняется собственной ценности века).

666

Чтобы эффект был значимым, коэффициент повышения ценности не должен всегда быть выше уровня риска. Это хорошо, поскольку имеющиеся у нас данные позволяют предположить, что в чрезвычайно долгосрочной перспективе уровень риска будет примерно постоянным (из за небольшого количества неустранимого риска), а это значит, что в ином случае, чтобы компенсировать его, ценность должна была бы возрастать по экспоненте. Но кажется весьма вероятным, что ценность, которую мы можем создать, имея заданное количество ресурсов, в конце концов достигнет предела, а скорость света ограничивает темпы обретения новых ресурсов кубической величиной.

667

Можно оспорить это утверждение, сделав гипотетическое предположение: эти выводы полезны, но другие люди в будущем все равно пришли бы к ним, поэтому никакого гипотетического влияния на будущее они не оказывают. Этот аргумент не лишен достоверности. Хотя информация из этой книги все равно окажет некоторое гипотетическое влияние на будущее, это влияние будет оказано посредством развития диалога таким образом, чтобы люди будущего, способные сделать следующие шаги, могли отталкиваться от того, что было сделано в прошлом. Но предельная ценность этих следующих шагов может оказаться убывающей. Следовательно, если опираться на гипотетическое предположение, ценность текущей работы с будущим риском будет ниже, чем кажется, и, возможно, станет убывать со временем.

Но это не влияет на мои аргументы. Дело в том, что, если мы предполагаем, что другие люди в будущем будут проводить важную дополнительную работу с экзистенциальным риском, это позволяет сделать вывод, что риск в грядущие века не будет постоянным, а будет снижаться. Как бы то ни было, существует подобный эффект, который мы вскоре увидим.

668

Ю Кванг Нг (Yew-Kwang Ng, 2016) также заметил этот неочевидный эффект.

669

Этот термин предложил Бустрём (Bostrom, 2013). Дэвид Дойч (2011) убедительно отстаивает противоположную точку зрения.

Мы также можем достичь некоторой социальной или политической зрелости, когда перестанем заигрывать с такими радикально новыми системами, как тоталитарные и коммунистические эксперименты XX века, и сформируем стабильное общество, которое больше никогда не сможет погрязнуть в тирании.

670

Прирост ценности в общем зависит от отношения риска в следующем веке к долгосрочному вековому риску. Например, если вероятность экзистенциальной катастрофы в текущем столетии составляет 1 к 10, но стремительно снижается до уровня фонового природного риска, то есть менее 1 к 200 000 в столетие, то ценность устранения риска в текущем столетии в сравнении с примитивной моделью возрастает в 20 000 раз.

671

На математическом языке можно сказать, что вероятности ценности будущего распределяются асимметрично (хотя в логарифмическом пространстве они, вероятно, распределяются симметрично). Ожидаемая ценность будущего соответствует среднему этого распределения, а оно может быть значительно выше медианы.

672

Договор продлен до 2026 года. – Прим. науч. ред.

673

Были и другие попытки расширить и интерполировать шкалу, но всякий раз в них задействовались произвольные или проблематичные элементы. Несколько человек добавляли уровень K4 для “вселенной”, но применяли его ко всей Вселенной или к наблюдаемой Вселенной, хотя ни один из этих вариантов здесь не подходит. Одним из первых шкалу Кардашёва продолжил Карл Саган, но у него все уровни стали различаться ровно на 10 порядков. Поскольку на самом деле разница между ними составляет около 9 и 11 порядков, разорвалась связь уровней Кардашёва со структурой космоса, а это огромная потеря. Я полагаю, что лучше проводить интерполяцию между двумя целыми уровнями Кардашёва так, чтобы каждый порядок позволял нам проходить примерно одну девятую пути от K0 к K1, но одну одиннадцатую пути от K2 к K3. Саган также добавил уровень K0, но у него он был задан произвольным образом, чтобы его размер был на 10 порядков меньше, чем размер K1, а потому в этом случае отрезки пути от K0 к K1 не имели никакой реальной привязки.

674

Это оценка порядка величины: в момент зарождения письменности в Древней Месопотамии проживало около 1 млн человек, которые потребляли около 100 Вт энергии, заключенной в пище, и расходовали около 100 Вт в форме работы и теплоты. В реальности цифра может быть несколько больше в силу неточности оценок или если их скот потреблял гораздо больше пищи, чем люди.

675

Это оценка порядка величины: в момент зарождения письменности в Древней Месопотамии проживало около 1 млн человек, которые потребляли около 100 Вт энергии, заключенной в пище, и расходовали около 100 Вт в форме работы и теплоты. В реальности цифра может быть несколько больше в силу неточности оценок или если их скот потреблял гораздо больше пищи, чем люди.