Даниэль Канеман - Думай медленно... решай быстро
Для психолога-исследователя изменчивость выборки – не просто странность, это неудобство и помеха, которая дорого обходится, превращая любое исследование в игру случая. Предположим, вы хотите подтвердить гипотезу, что словарный запас шестилетних девочек в среднем больше, чем словарный запас мальчиков того же возраста. В объеме всего населения гипотеза верна, у девочек в шесть лет словарный запас в среднем больше. Однако девочки и мальчики бывают очень разными, и можно случайно выбрать группу, где заметной разницы нет, а то и такую, где мальчики набирают больше баллов. Если вы – исследователь, такой результат вам дорого обойдется, поскольку, потратив время и усилия, вы не подтвердите правильность гипотезы. Риск снижается только использованием достаточно большой выборки, а те, кто работает с маленькими выборками, отдают себя на волю случая.
Риск ошибки в каждом эксперименте оценивается при помощи довольно простой операции, однако психологи не пользуются вычислениями для определения размера выборки, а принимают решения в соответствии с собственным, зачастую ущербным, пониманием. Незадолго до дискуссии с Амосом я прочитал статью, прекрасно иллюстрирующую типичные ошибки исследователей. Автор отмечал, что психологи сплошь и рядом используют настолько маленькие выборки, что рискуют не подтвердить верные гипотезы с вероятностью 50%! Ни один разумный исследователь не примет такой риск. Правдоподобным объяснением казалось то, что решения психологов относительно размера выборок отражали господствующие интуитивные заблуждения о диапазоне изменчивости.
Меня поразили содержащиеся в статье объяснения, проливающие свет на проблемы с моими собственными исследованиями. Как и большинство психологов, я постоянно использовал слишком маленькие выборки и часто получал бессмысленные, странные результаты, оказывавшиеся артефактами, которые порождал сам метод моих исследований. Мои ошибки были тем постыднее, что я преподавал статистику и умел вычислять размер выборки, необходимый для снижения риска неудачи до приемлемого уровня. Но я никогда этим не занимался при планировании экспериментов и, подобно другим исследователям, верил традиции и собственной интуиции, не задумываясь о проблеме всерьез. К моменту, когда Амос посетил мой семинар, я уже осознал, что моя интуиция не работает, а во время самого семинара мы быстро пришли к выводу, что ошибаются и оптимисты из Мичиганского университета.
Мы с Амосом решили выяснить, есть ли среди исследователей такие же наивные глупцы, как я, и допускают ли те же ошибки ученые, обладающие математическими знаниями. Мы разработали опросник с описанием реалистичных исследований и успешных экспериментов. Опрашиваемые должны были определить размеры выборок, оценить связанные с этими решениями риски и дать советы гипотетическим аспирантам, планирующим научно-исследовательскую работу. На конференции Общества математической психологии Амос провел опрос присутствующих (включая авторов двух учебников по статистике). Результаты оказались очевидны: я был не одинок. Почти все респонденты повторили мои ошибки. Выяснилось, что даже эксперты недостаточно внимательны к размеру выборки.
Первая статья, написанная мной в соавторстве с Амосом, называлась «Вера в закон малых чисел». В ней шутливо пояснялось, что «…интуитивная оценка размера случайных выборок, похоже, удовлетворяет закону малых чисел, гласящему, что закон больших чисел с тем же успехом применим и к малым». Также мы включили в статью настойчивую рекомендацию для исследователей относиться к своим «статистическим предчувствиям с недоверием и при любой возможности заменять впечатления вычислениями».
Предпочтение уверенности сомнению
По результатам телефонного опроса 300 пенсионеров, 60% поддерживают президента.
Если бы вас попросили изложить смысл этого предложения в трех словах, как бы вы это сделали? Почти наверняка вы бы сказали: «Пенсионеры поддерживают президента». Эти слова передают суть истории. Опущенные детали опроса (то, что его проводили по телефону, и количество респондентов) сами по себе неинтересны, они просто описывают исходные условия. При другом размере выборки вы все равно сказали бы то же самое. Конечно, абсурдное количество – 6 или 60 миллионов – привлекло бы внимание. Но если вы профессионально этим не занимаетесь, вы, возможно, почти одинаково отреагируете на выборку из 1 50 и 3000 человек. Фраза «Люди не уделяют должного внимания размеру выборки» именно это и означает.
Сообщение об опросе содержит информацию двух типов: историю и ее источник. Естественно, вы больше обращаете внимание на саму историю, чем на достоверность результатов. Однако, если достоверность невысока, сообщение не усвоят. Услышав, что «Группа сторонников провела некорректный и тенденциозный опрос, чтобы показать, что пенсионеры поддерживают президента», вы, конечно же, отвергнете эту информацию, результаты опроса не станут частью того, во что вы верите. Вместо этого некорректный опрос и его фальшивые результаты превратятся в очередную историю о вранье политиков. В таких явных случаях вы можете принять решение не верить. Но достаточно ли хорошо вы ощущаете разницу между «Я прочел в The New York Times…» и «Я слышал возле кулера…»? Умеет ли ваша Система 1 различать степени веры? Принцип WYSIATI предполагает, что нет.
Как уже упоминалось, Система 1 не склонна к сомнениям. Она подавляет неоднозначность и самопроизвольно составляет когерентные истории. Если сообщение не отвергается немедленно, то связанные с ним ассоциации будут распространяться так, как если бы оно было верным. Система 2 способна сомневаться, поскольку может одновременно рассматривать несовместимые варианты. Однако поддерживать сомнения труднее, чем уверяться в чем-либо. Закон малых чисел – проявление общей склонности к уверенности вместо сомнений, которая под разными видами еще не раз появится в следующих частях.
Сильная предрасположенность верить, что маленькие выборки точно представляют все население, означает и нечто большее: мы склонны преувеличивать последовательность и когерентность увиденного. Излишняя вера исследователей в результаты нескольких наблюдений сродни эффекту ореола, часто возникающему у нас чувству, что мы знаем и понимаем человека, о котором нам, по сути, известно мало. Система 1 предвосхищает факты, составляя по обрывочным сведениям полную картину. Механизм для поспешных выводов ведет себя так, будто верит в закон малых чисел. В целом он создает чересчур осмысленную картину реальности.
Причина и случай
Ассоциативные механизмы ищут причины. Статистические закономерности трудно воспринимать, потому что к ним требуется принципиально иной подход. Рассматривая событие со статистической точки зрения, мы интересуемся его связью с тем, что могло произойти, а не как именно оно произошло. Никакой особой причины не было, случай выбрал его среди других.
Наша склонность к каузальному мышлению порождает серьезные ошибки в оценке случайности действительно случайных событий. Для примера возьмем пол шести младенцев, родившихся в больнице один за другим. Последовательность появления мальчиков и девочек совершенно случайна: события независимы, а число мальчиков и девочек, родившихся за последние часы, абсолютно не влияет на пол следу ющего младенца. Теперь рассмотрим три возможные последовательности:
МММДДД
ДДДДДД
МДММДМ
Одинаковая ли у них вероятность? Возникающий интуитивный ответ «Конечно, нет!» – неправильный. Поскольку события независимы, а варианты исхода Д и М примерно равновероятны, любая возможная последовательность полов шести новорожденных так же вероятна, как остальные. Даже сейчас, когда вы знаете, что этот вывод правильный, он все равно противоречит интуиции, потому что только третья строка кажется случайной. Как и можно было ожидать, последовательность МДММДМ считают более вероятной, чем две другие. Мы ищем закономерности, верим в когерентность окружающего мира, где появление на свет шести девочек подряд не случайно, а результат механической причины или чьего-то намерения. Мы не ожидаем, что случайный процесс приведет к регулярным результатам, и, обнаружив нечто, похожее на закономерность, быстро отказываемся от мысли о случайности такого процесса. На самом деле случайные процессы порождают множество последовательностей, подталкивая наблюдателей к убеждению в неслучайности таковых. Разумеется, желание придерживаться каузальности дает определенные эволюционные преимущества: это часть бдительности, унаследованной от предков. Мы автоматически следим за изменениями окружающей среды. Львы появляются на равнине в случайное время, но безопаснее замечать и должным образом реагировать на увеличение частоты появлений львиных прайдов, даже если оно вызвано флуктуациями в случайном процессе.
