Алексей Турчин - Российская Академия Наук
Предлагаемая картина глобальных рисков и их взаимодействия друг с другом вызывает естественное желание вычислить точные вероятности тех или иных сценариев. Очевидно также, что при этом мы сталкиваемся со значительными трудностями. Связано это с принципиальной недостаточностью информации в наших моделях, несовершенством самих моделей а также с хаотическим характером всей системы. С другой стороны, отсутствие каких-либо оценок нивелирует ценность построений. При этом получение неких численных оценок само по себе тоже бессмысленно, если мы не знаем, как мы их применим. Допустим, мы выясним, что вероятность возникновения опасного недружественного ИИ составляет 14 % в ближайшие 10 лет. Как нам применить эту информацию? Или, если всё-таки случится катастрофа, имевшая исходную вероятность в 0,1 %, мы всё равно не узнаем, какова была её исходная вероятность.
Я исхожу из того, что оценки вероятности нужны для последующего принятия решений – о том, каким проблемам стоит уделить внимание и ресурсы, а каким можно пренебречь. Однако цена предотвращения разных классов проблем различна – одни предотвратить относительно легко, а другие фактически невозможно. Поэтому для вычисления вероятностей мы будем пользоваться байесовой логикой и теорией принятия решения в условиях неопределённости. Получившиеся в результате числа будут не реальными вероятностями (в смысле статистическими распределениями разных глобальных рисков по множеству возможных будущих планеты), которые нам неизвестны, а нашими наилучшими субъективными оценками этих вероятностей.
Далее, такое вычисление должно учитывать временную последовательность разных рисков. Например, если риск А имеет вероятность в 50 % в первой половине XXI века, а риск Б – 50 % во второй половине XXI века, то реальные наши шансы погибнуть от риска Б – только 25 %, потому что в половине случаев мы до него не доживём.
Наконец, для разных рисков мы хотим получить погодовую плотность вероятности. Напомню, что здесь должна быть применена формула непрерывного нарастания процентов, как в случае радиоактивного распада. (Например, погодовой риск в 0,7 % даст 50 % вымирания за 100 лет, 75% за 200 и 99,9% за 1000 лет.) Это означает, что любой риск, заданный на неком промежутке времени, можно нормировать на «период полураспада», то есть время, на котором он бы означал 50% вероятность вымирания цивилизации.
Иначе говоря, вероятность вымирания за период времени [0; T] равна:
P(T) = 1 – 2 ,
Где Т – время полураспада. Тогда погодовая вероятность будет P(1) = 1 – 2 , Следующая таблица показывает соотношение этих параметров.
Период, за который глобальная катастрофа случится с вероятностью в 50%: Вероятность этого события в ближайший год, % Вероятность вымирания за 100 лет (то есть к 2107г). Примерно равна шансам вымирания в XXI веке, % Соответствующие шансы выживания за 100 лет: Период гарантированного вымирания с вероятностью
99,9%, лет:
10 000 0.0069% 0,7% 99,3% 100 000
1 600 0.0433% 6% 94% 16 000
400 0.173%
12,5% 87,5% 4 000
200 0.346% 25% 75% 2 000
100 0.691% 50% 50% 1 000
50 1,375% 75% 1 к 4 500
25 2,735% 93,75% 1 к 16 250
12,5 5,394% 99,6% 1 к 256 125
6 10,910% 99,9984% 1 к 16 536 60
Обратите внимание на низ этой таблицы, где даже очень большое снижение шансов выживания за весь XXI век не изменяет в значительной мере «период полураспада», который остаётся на уровне порядка 10 лет. Это означает, что даже если шансы пережить XXI век очень малы, всё равно у нас почти наверняка есть ещё несколько лет до «конца света». С другой стороны, если мы хотим пережить XXI век наверняка, нам надо приблизить погодовую вероятность вымирания практически к нулю.
В методологии мы рассмотрели список из примерно 150 возможных логических ошибок, которые так или иначе могут изменить оценку рисков. Даже если вклад каждой ошибки составляет не более одного процента, результат может быть ошибочен в разы и даже порядки. Когда люди предпринимают что-то впервые, они обычно недооценивают рискованность проекта в 40-100 раз, что видно на примере Чернобыля и Челленджера. Е. Юдковски в своей основополагающей статье «Систематические ошибки в рассуждения, влияющие на оценку глобальных рисков» приводит анализ достоверности высказываний экспертов о разнообразных величинах, которые они не могут вычислить точно, и о том, какие интервалы 99 процентной уверенности они дают для этих величин. Результаты этих экспериментов удручают (позволю себе большую цитату):
«Допустим, я попрошу вас сделать наилучшее возможное предположение насчёт неизвестного числа, такого, как количество «Врачей и хирургов» в жёлтых страницах бостонской телефонной книге, или о суммарной продукции яиц в США в миллионах штук. Вы дадите в ответ некую величину, которая наверняка не будет совершенно точной; подлинная величина будет больше или меньше, чем вы предположили. Затем я попрошу вас назвать нижнюю границу этого показателя, такую, что вы уверенны на 99%, что подлинная величина лежит выше этой границы, и верхнюю границу, по отношению к которой вы на 99% уверены, что искомая величина лежит ниже неё. Эти две границы образуют ваш интервал 98% уверенности (confidence interval). Если вы хорошо откалиброваны (well-calibrated), то на 100 подобных вопросов у вас будет только примерно 2 выпадения за границы интервала.
Alpert и Raiffa (1982) задали испытуемым 1000 вопросов по общеизвестным темам, подобных приведённым выше. Оказалось, что 426 подлинных значений лежали за пределами 98% интервалов уверенности, данных испытуемыми. Если бы испытуемые были правильно настроены, было бы только 20 сюрпризов. Иными словами, события, которым испытуемые приписывали вероятность 2%, случались в 42.6%.
Другую группу из 35 испытуемых попросили оценить 99.9% верхние и нижние границы уверенности. Они оказались неправы в 40% случаев. Другие 35 субъектов были опрошены о максимальных и минимальных значениях некого параметра и ошиблись в 47% случаев. Наконец, четвёртая группа из 35 субъектов должна была указать «невероятно малое» и «невероятно большое» значение параметра; они ошиблись в 38% случаев.
Во втором эксперименте новой группе испытуемых был предоставлен первый набор вопросов вместе с ответами, рейтингом оценок, с рассказом о результатах экспериментов и разъяснением концепции калибровки – и затем их попросили дать 98% интервалы уверенности для новой группы вопросов. Прошедшие подготовку субъекты ошиблись в 19% случаях, что являет собой значительное улучшение их результата в 34% до подготовки, но всё ещё весьма далеко от хорошо откалиброванного результата в 2%.
Подобные уровни ошибок были обнаружены и у экспертов. Hynes и Vanmarke (1976) опросили семь всемирно известных геотехников на предмет высоты дамбы, которая вызовет разрушение фундамента из глинистых пород, и попросили оценить интервал 50% уверенности вокруг этой оценки. Оказалось, что ни один из предложенных интервалов не включал в себя правильную высоту. Christensen-Szalanski и Bushyhead (1981) опросили группу врачей на предмет вероятности пневмонии у 1531 пациента с кашлем. В наиболее точно указанном интервале уверенности с заявленной достоверностью в 88%, доля пациентов, действительно имевших пневмонию, была менее 20%.
Lichtenstein (1982) производит обзор 14 исследований на основании 34 экспериментов выполненных 23 исследователями, изучавшими особенности оценки достоверности собственных выводов людьми. Из них следовал мощнейший вывод о том, что люди всегда сверхуверены. В современных исследованиях на сверхуверенность уже не обращают внимания; но она продолжает попутно проявляться в почти каждом эксперименте, где субъектам позволяется давать оценки максимальных вероятностей.
Сверхуверенность в большой мере проявляется в сфере планирования, где она известна как ошибочность планирования. Buehler (1994) попросил студентов-психологов предсказать важный параметр – время сдачи их дипломных работ. Исследователи подождали, когда студенты приблизились к концу своих годичных проектов и затем попросили их реалистично оценить, когда они сдадут свои работы, а также, когда они сдадут свои работы, если всё пойдёт «так плохо, как только может». В среднем, студентам потребовалось 55 дней, чтобы завершить свои дипломы, на 22 дня больше, чем они ожидали, и на 7 дней больше, чем они ожидали в худшем случае.
Buehler (1995) опросил студентов о времени, к которому студенты на 50% уверены, на 75% уверены и на 99% уверены, что они закончат свои академические проекты. Только 13% участников закончили свои дипломы к моменту, которому приписывали 50% вероятность, только 19% закончили к моменту 75% оценки и 45% закончили к 99% уровню. Buehler et. al. (2002) пишет «результаты выхода на уровень 99% достоверности особенно впечатляющи. Даже когда их попросили сделать наиболее консервативное предсказание, в отношении которого они чувствовали абсолютную уверенность, что его достигнут, всё равно уверенность студентов в их временных оценках намного превосходила их реальные результаты»». Конец цитаты.
