Дэн Гарднер - Думай медленно – предсказывай точно. Искусство и наука предвидеть опасность
Такую мешанину целей мало кто осознает, и поэтому трудно даже начать работать над замерами и прогрессом. Вообще говоря, не похоже, чтобы вся эта запутанная ситуация хоть как-то улучшалась.
Но в то же время именно подобная стагнация – весомая причина моего оптимизма. Мы знаем, что множество областей, в которых нам хочется уметь предсказывать (политика, экономика, финансы, бизнес, технологии, повседневная жизнь), вполне поддаются прогнозированию – до определенной степени и при определенных обстоятельствах. Но очень многого мы пока не знаем. А для ученых незнание – это стимул, возможность совершить открытие. И чем больше мы не знаем, тем больше эта возможность. Благодаря же откровенно удивительному отсутствию энтузиазма в большинстве областей прогнозирования эта возможность просто огромна. Все, что нужно сделать, чтобы ею воспользоваться, – поставить четкую и точную цель и серьезно подойти к вопросам измерений.
Я занимался этим большую часть своей карьеры. Исследование, показавшее результат играющего в дартс шимпанзе, было первым этапом. Второй начался летом 2011 года, когда мы с моим партнером (по исследованиям и по жизни) Барбарой Меллерс запустили проект «Здравое суждение» (Good Judgment Project, GJP) и пригласили добровольцев присоединиться к нему с целью предсказания будущего. На наш призыв откликнулся Билл Флэк, а помимо него еще пара тысяч человек в первый год и тысячи в последующие четыре года. В итоге более двадцати тысяч любознательных непрофессионалов пытались выяснить, распространится ли в России волна протестов, рухнет ли цена на золото, закроется ли индекс Nikkei на отметке выше 9500, начнется ли война на Корейском полуострове, – искали ответы на множество вопросов, касающихся сложнейших мировых проблем. Варьируя экспериментальные условия, мы могли оценить, какие факторы улучшают прогноз, в какой степени и на какой период времени, а также можно было определить, как он уточнится, если наложить друг на друга лучшие методы. В таком изложении задача кажется простой, однако это не так. На самом деле получилась сложная программа, потребовавшая больших затрат сил и талантов мультидисциплинарной команды из Калифорнийского университета в Беркли и из Пенсильванского университета.
Несмотря на свою масштабность, GJP был лишь частью гораздо более крупного исследования, проспонсированного Агентством передовых исследований в сфере разведки (Intel-ligence Advanced Research Projects Activity, IARPA). Пусть пресное название не вводит вас в заблуждение: IARPA – это агентство, созданное в рамках разведывательного сообщества, которое отчитывается лично директору ЦРУ. Его задача – поддерживать смелые исследования, которые могут вывести работу американской разведки на новый качественный уровень. А большая часть работы американской разведки – предсказание глобальных политических и экономических тенденций. По грубым подсчетам, сейчас в Соединенных Штатах действует двадцать тысяч разведывательных аналитиков, занимающихся буквально всем: от несущественных загадок до глобальных вопросов, вроде вероятности тайного нападения Израиля на иранские ядерные установки и выхода Греции из еврозоны[10]. Каково качество их работы? Сложно ответить, потому что разведывательное сообщество, как и многие другие предсказатели, никогда не стремилось тратить деньги на оценку точности получаемых прогнозов. Тому есть целый ряд причин, более или менее уважительных, и мы к ним еще вернемся. Пока же существенно то, что при огромной значимости такого прогнозирования для национальной безопасности мы мало что с уверенностью можем сказать о его качестве – и о том, оправдывают ли это качество многомиллиардные вложения и задействование двадцати тысяч человек. Чтобы изменить ситуацию, IARPA объявило турнир предсказателей: пять научных команд, возглавляемых лучшими экспертами в соответствующих областях, соревновались в создании точных прогнозов для сложных проблем, с которыми разведывательные аналитики сталкиваются каждый день. GJP был в числе участников. Каждая команда представляла собой исследовательский проект и могла использовать любые эффективные, по мнению ее членов, методы. Главным требованием было предоставление прогнозов в девять утра по Североамериканскому восточному времени каждый день с сентября 2011-го по июнь 2015 года. Благодаря тому что каждая команда отвечала на одни и те же вопросы в одно и то же время, турниру удалось обеспечить равные для всех условия и собрать богатую коллекцию информации о том, что, как и когда срабатывает. За четыре года IARPA поставила участникам около пяти сотен вопросов на тему разнообразных мировых событий. Временные рамки были ограничены сильнее, чем в моем предыдущем исследовании, – большинство прогнозов охватывали период от месяца до года вперед. В итоге набралось более миллиона индивидуальных суждений о будущем.
За первый год GJP обошел официальную контрольную группу на 60 %. За второй год – на 78 %. GJP оказался лучше своих соперников – Мичиганского университета и МТИ, причем с заметным отрывом, от 30 до 70 %, и обогнал даже профессиональных разведывательных аналитиков, имеющих доступ к секретной информации. По итогам двух лет результаты GJP настолько превосходили результаты его конкурентов, что IARPA рассталась с остальными командами[11].
Позже я углублюсь в детали; сейчас же хочу просто отметить два ключевых вывода этого исследования. Первый: дар предвидения существует на самом деле. Некоторые люди, вроде Билла Флэка обладают им в избытке. Они, конечно, не гуру и не оракулы, способные заглянуть на десятилетия в будущее, но у них есть реальный, измеримый талант прогнозировать то, как в течение трех, шести, двенадцати или восемнадцати месяцев могут развернуться важные события. Второй вывод касается того, почему прогнозисты так успешны. Суть не в том, кто они, а в том, что они делают. Предсказание – не загадочный дар, дающийся при рождении; это результат определенного хода мысли, сбора информации, уточнения своих представлений. Соответствующие мыслительные привычки может выработать и культивировать в себе любой умный, думающий, целеустремленный человек. Причем начать обучение не так уж сложно. Меня больше всего удивил совершенно неожиданный результат проведенного исследования – тот эффект, который оказывает на участников руководство, излагающее базовые принципы прогнозирования. Позже мы его рассмотрим и познакомимся с кратким его содержанием, данным в приложении в виде Десяти заповедей. Чтобы прочитать это руководство, нужен всего час; при этом оно улучшило точность предсказаний примерно на 10 % в течение всего турнирного года. Да, на первый взгляд, 10 % – довольно скромная планка, но ведь она была достигнута практически без дополнительных усилий. Не стоит забывать, что даже скромные улучшения предвидения, выработанные с течением времени, в сумме дают неплохой результат. Я говорил об этом с Аароном Брауном – автором книг, ветераном Уолл-стрит и главным менеджером по рискам AQR Capital Management, хедж-фонда с активами на сумму более 100 миллиардов долларов. «Разницу сложно заметить, потому что она не очень внушительна, – сказал он, – но, учитывая длительность эффекта, это разница между человеком, который постоянно выигрывает и зарабатывает этим себе на жизнь, и человеком, который неизменно терпит крах»[12]. Международная звезда покера, которую мы позже встретим на страницах этой книги, полностью бы с ним согласилась. Разница между корифеями и дилетантами, как она считает, в том, что корифеи видят разницу между ставкой 60 к 40 и ставкой 40 к 60.
И все-таки: если точность предвидения можно улучшить с помощью измерений и если получаемые в результате преимущества столь существенны, почему же измерения точности прогнозов не являются общепринятой практикой? По большей части ответ на этот вопрос лежит в области нашей психологии: мы убеждаем себя, что знаем то, о чем на самом деле понятия не имеем, – например, точный ли прогнозист Том Фридман. В главе 2 я подробно рассмотрю эту психологическую особенность. Она веками тормозила прогресс в медицине. Когда врачи наконец признали, что их опыт и восприятие – ненадежные средства оценки эффективности лечения, они обратились к научному тестированию – и только после этого медицина начала быстрыми шагами двигаться вперед. Та же самая революция должна произойти и в прогнозировании.
Осуществить ее будет непросто. Глава 3 расскажет, какие усилия нужно приложить, чтобы тестировать предсказания так же тщательно, как современные экспериментальные методы лечения. Это сложнее, чем может показаться. В конце восьмидесятых я разработал методологию и составил на тот момент самую большую аналитическую подборку политических прогнозов экспертов. Одним из ее результатов много лет спустя стал тот самый анекдот, который теперь вызывает у меня раздражение. Другое же открытие, совершенное в ходе моего исследования, не получило и десятой доли внимания, уделенного анекдоту, хотя заслуживает его гораздо больше: из всех экспертов одна группа действительно обладала хоть и скромной, но реальной способностью к предвидению. В чем же заключалась разница между «способными» экспертами и совершенно безнадежными, опустившими общий результат до уровня играющего в дартс шимпанзе? Дело не в каком-то мистическом даре, и не в доступе к информации, которой нет у других, и не в определенной совокупности воззрений – как раз мнения у них зачастую расходились очень широко, и не имело значения, что именно они думали. Важно то, как они думали.
