Структурированные аналитические методы для анализа разведданных - Richards J. Heuer Jr.
1. Эта глава была написана под влиянием и на основе исследований, проведенных в рамках проекта Group Brain Project в Гарвардском университете. Этот проект был поддержан Национальным научным фондом и Центром инноваций в области разведывательных технологий ЦРУ. В частности, см. J. Richard Hackman и Anita W. Woolley, "Creating and Leading Analytic Teams," Technical Report 5 (February 2007), http://groupbrain.wjh.harvard.edu/publications.html .
2. Там же, 8.
3. Рэндольф Х. Ферсон и Джоан Макинтайр, "Сущность сотрудничества: Опыт СК", в книге "Научные основы "сотрудничества" в сфере национальной безопасности: Myths and Reality-What Science and Experience Can Contribut to Its Success, Ed. Нэнси Чессер (Вашингтон, округ Колумбия: Управление стратегических многоуровневых оценок, Офис министра обороны, Директор оборонных исследований и инженерии/Управление технологий быстрой реакции, июнь 2009 г.).
4. Компания Рэнди Ферсона, Globalytica, LLC, добилась заметного успеха, используя свою платформу для совместной работы на основе аватаров TH!NK LIVE® для проведения синхронного обучения и наставничества аналитиков в использовании структурированных методов анализа. Программное обеспечение просто в использовании, быстро загружается на любой компьютер и стоит относительно недорого. За дополнительной информацией о системе обращайтесь по адресу [email protected].
5. Например, Paul B. Paulus and Bernard A. Nijstad, Group Creativity: Innovation through Collaboration (New York: Oxford University Press, 2003).
6. Дж. Скотт Армстронг, "Как делать лучшие прогнозы и принимать лучшие решения: Избегайте встреч лицом к лицу", Foresight 5 (осень 2006 г.).
7. Джеймс Суровицкий, "Мудрость толпы" (Нью-Йорк: Doubleday, 2004), 184.
8. Шарлан Дж. Немет и Брендан Немет-Браун, "Лучше, чем индивидуумы? Потенциальные преимущества несогласия и разнообразия для групповой креативности", в книге "Групповая креативность", под ред. Paulus and Nijstad, 63-64.
9. Surowiecki, The Wisdom of Crowds, 183-184.
10. Немет и Немет-Браун, "Лучше, чем индивидуумы?", 73.
11. Там же, 76-78.
12. Этот и предыдущий абзацы выражают профессиональное суждение авторов, основанное на личном опыте и анекдотических свидетельствах, полученных в ходе обсуждения с другими опытными аналитиками. Как отмечается в главе 13 , существует очевидная необходимость в систематическом исследовании этой темы и других переменных, связанных с эффективностью структурированных аналитических техник.
13. Фрэнсис Дж. Милликен, Кэролайн А. Бартел и Терри Р. Куртцберг, "Разнообразие и креативность в рабочих группах", в книге "Групповая креативность", под ред. Paulus and Nijstad, 33.
14. Марта Лагас, "Четыре вопроса Дэвиду Гарвину и Майклу Роберто", Working Knowledge: A First Look at Faculty Research, еженедельный бюллетень Гарвардской школы бизнеса, 15 октября 2001 г., http://hbswk.hbs.edu/item/3568.html .
15. Там же.
16. Таблица взята из книги David A. Garvin and Michael A. Roberto, "What You Don't Know About Making Decisions," Working Knowledge: A First Look at Faculty Research, еженедельный бюллетень Гарвардской школы бизнеса, 15 октября 2001 года, http://hbswk.hbs.edu/item/2544.html .
17. Этот пункт выражает наше профессиональное суждение, основанное на личном опыте и анекдотических свидетельствах, полученных в ходе обсуждения с другими опытными аналитиками. Как мы обсуждаем в главе 13 , существует очевидная необходимость в систематическом исследовании этой темы и других переменных, связанных с эффективностью структурированных аналитических техник.
18. Эта информация была предоставлена двумя старшими преподавателями разведывательного сообщества.
19. Джонатан Н. Каммингс, "Руководство группами на расстоянии: Как смягчить последствия географической дисперсии" в книге "Лидерство на расстоянии: Research in Technologically-Supported Work, ed. Сьюзан Вайсбанд (Нью-Йорк: Routledge, 2007).
20. Сэйдж Фричайлд, "Создание команды и управление эффективностью команды". Первоначально размещено на сайте www.phoenixrisingcoaching.com . Эта статья больше не доступна в сети.
13
.
Валидация методов структурированного анализа
авторам этой книги часто задают вопрос о доказательствах эффективности методов структурированного анализа. Испытания этих методов в разведывательном сообществе США проводились в основном через опыт их использования. Этот опыт, безусловно, был успешным, но его оказалось недостаточно, чтобы убедить скептиков, не желающих менять свои многолетние привычки, или многих ученых, привыкших искать твердые эмпирические доказательства. В этой главе мы рассмотрим вопрос о том, как проверить или продемонстрировать эффективность методов структурированного анализа не только в разведке, но и в других дисциплинах. Этот же процесс должен быть применим и к использованию структурированных методов в бизнесе, медицине и многих других областях, которые постоянно имеют дело с вероятностями и неопределенностями, а не с твердыми данными.
13.1 ГРАНИЦЫ ЭМПИРИЧЕСКОГО АНАЛИЗА
Выводы, полученные в ходе эмпирических экспериментов, можно обобщить и применить к анализу разведданных или любой другой конкретной области только в том случае, если условия тестирования соответствуют условиям, в которых проводится анализ. Поскольку существует так много переменных, которые могут повлиять на результаты исследования, крайне сложно контролировать все или даже большинство из них. К таким переменным относятся цель использования техники, процедуры реализации, контекст эксперимента, характер аналитической задачи, различия в опыте и навыках аналитиков, а также то, проводится ли анализ одним аналитиком или в группе. Все эти переменные влияют на результат любого эксперимента, в котором якобы проверяется полезность той или иной аналитической техники. В ряде имеющихся примеров эмпирических исследований структурированных аналитических техник мы выявили серьезные вопросы относительно применимости результатов исследований к анализу разведданных.
Два фактора ставят под сомнение практическую осуществимость валидного эмпирического тестирования методов структурированного анализа, используемых в разведке. Во-первых, эти техники обычно используются как групповой процесс. Это потребовало бы тестирования групп аналитиков, а не отдельных аналитиков. Во-вторых, разведка имеет дело с вопросами, характеризующимися высокой степенью неопределенности. Бывший директор ЦРУ Майкл Хайден писал, что из-за неопределенности, присущей разведывательному анализу, рекордная точность в 70 % является хорошим показателем.1 Если это так, то единичный эксперимент, в котором использование структурированной техники приводит к неправильному ответу, не имеет смысла. Чтобы оценить, насколько часто аналитические суждения оказываются точными, необходимо многократное повторение одного и того же эксперимента.
Многие проблемы могли бы быть в значительной степени решены, если бы эксперименты проводились с аналитиками разведки с использованием тех методов, которые они применяют каждый день для анализа типичных разведывательных вопросов.2 Но даже если бы такие условия были соблюдены, все равно остались бы серьезные препятствия для значимых выводов. Например, многие методы структурированного анализа могут использоваться для нескольких различных целей, и результаты исследований эффективности этих методов могут быть обобщены и применены к разведывательному сообществу только в том случае, если метод используется таким же образом и для тех же целей, которые фактически применяются в разведывательном сообществе.
Например, Филип Тетлок в своей выдающейся, новаторской книге "Экспертное политическое суждение" описывает два эксперимента,
