Пере Грима - Том13. Абсолютная точность и другие иллюзии. Секреты статистики

Иногда опросы дают возможность свободного ответа, что делает ответы участников относительно правдоподобными, а число «неопределившихся» уменьшается, так как часть из них, возможно, на самом деле просто предпочитают не распространяться о своем мнении.

От процента голосов к числу кресел в парламенте

Во многих случаях по-настоящему важен не процент голосов, полученный партией на выборах, а число кресел, которое эта партия займет в парламенте. Системы, по которым это число рассчитывается в зависимости от процента полученных голосов (как, например, метод д’Ондта), усложняют расчеты. Например, в избирательном округе, где голосованием распределяется пять мест в парламенте, определенная партия получила 32 % голосов, предельная ошибка составила 3 %, надежность — 95 %. Проблема в том, что если партия получит 31 % голосов, то получит одно кресло, если 33 % — два кресла. Эта разница очень важна, но ее нельзя точно определить с помощью данных, которыми мы располагаем.

Другая проблема заключается в том, что существует минимальный процент голосов (например, 5 %), дающий право занять места в парламенте. Если, допустим, за какую-то партию проголосовало 4,6 % избирателей, то нельзя точно сказать, имеет ли она право занять место в парламенте. Результат этой партии также повлияет на число кресел, которое будет распределяться между остальными.

Тем не менее законы статистики выполняются

При проведении предвыборных опросов точно спрогнозировать результат будущих выборов мешают многие факторы, которые не всегда относятся к статистике (не говоря уже о манипуляциях и заинтересованности организаторов опроса). Было бы полезно определить, насколько часто результаты крупных предвыборных опросов оказываются ошибочными и какова величина ошибки. Как правило, об ошибочных прогнозах говорят больше, чем о точных, подобно тому как в СМИ больше внимания уделяется плохим новостям. Даже в научных кругах более наглядными и показательными считаются именно те случаи, когда прогноз оказывался неточным.

Также могут существовать (и существуют) опросы, результаты которых формируются на основе мнений заинтересованных лиц. Цель таких опросов — повлиять на предпочтения избирателей. Хорошим показателем надежности результатов может служить опыт и авторитет организации, проводившей исследование, а также указание на источник, в котором опубликованы результаты опроса. Чтобы охарактеризовать подлинную надежность результатов, одного лишь статистического показателя в 95 % не всегда бывает достаточно.

Глава 4

Как мы рассуждаем, когда принимаем решение. Проверка статистических гипотез

Этот случай произошел в 1920-е годы в Англии, в Кембридже. Несколько преподавателей, их супруги и гости по случаю прекрасной погоды пили чай на открытой террасе. Попробовав чай, одна из присутствующих дам заметила, что вкус меняется, если налить молоко в чай, а не наоборот.

Кто-то осторожно возразил, что это маловероятно. Начался спор, в котором стороны прибегали ко всевозможным аргументам из физики и химии: состав напитка не меняется в зависимости от того, что было налито в чашку сначала, чай или молоко; частицы растворялись абсолютно одинаково; перепад температур исключался и прочие многочисленные доводы. Спорящие пришли к выводу: определить, что было налито в чашку сначала, невозможно. Или же… все-таки возможно?

Один из присутствующих, человек лет сорока по имени Рональд Эйлмер Фишер, предложил развеять сомнения с помощью «передовой» методики — проведения эксперимента. Очевидно, что опыт нельзя было провести всего с двумя чашками, так как в этом случае вероятность угадывания равнялась 1/2. В этом случае нельзя определить, действительно ли участник эксперимента смог отличить по вкусу один напиток от другого или же попросту угадал. Однако если бы перед участником эксперимента стояло по 4 чашки с каждым напитком, вероятность угадывания равнялась бы всего 1 к 70 (так как существует 70 способов выбрать 4 чашки из 8). Если бы в этих условиях испытуемый смог точно определить, что было налито в каждую чашку сначала, чай или молоко, это означало бы, что способ приготовления чая действительно можно определить на вкус с небольшой, притом известной, погрешностью.

Фишер в те годы уже был известным ученым. В 1935 году он опубликовал ставший классическим труд The Design of Experiments о стратегиях выбора экспериментальных данных. Во второй главе его книги некоторые ключевые понятия проиллюстрированы именно этим примером с чашками чая.

Сначала предположим, что дегустатор чая не может различить, что было добавлено в чашку сначала, чай или молоко. Это предположение совершенно логично. Опровергнуть первоначальную гипотезу могут только результаты качественно продуманного и проведенного эксперимента. Исходная гипотеза будет опровергнута, если результаты эксперимента окажутся маловероятными при допущении, что дегустатор действительно не может различить чашки. Какие именно результаты окажутся «маловероятными», определяем мы сами: менее 5 % случаев, менее 1 % случаев или любое другое число.

Допустим, мы готовы поверить, что дегустатор чая действительно может различать чашки, только тогда, когда вероятность случайного угадывания не будет превышать 5 %. Следовательно, эксперимент, в котором нужно выбрать 3 чашки из 6, будет некорректным, так как это можно сделать 20 различными способами, и вероятность случайного угадывания составит ровно 1 к 20, то есть 5 %. Это нетрудно проверить: первую чашку можно выбрать шестью способами, вторую — пятью, третью — четырьмя, следовательно, 3 чашки можно выбрать 6·5·4 = 120 способами. Однако здесь мы учитываем порядок выбора, то есть предполагаем, что чашки подписаны буквами от А до F и считаем варианты ADF и FDA различными. Чтобы учесть повторы, нужно поделить число вариантов на число способов, которыми можно упорядочить 3 чашки (3·2·1 = 6). Следовательно, выбрать 3 чашки из 6 можно 120/6 = 20 способами. Если нужно правильно выбрать 4 чашки из 8, то число вариантов будет равняться (8·7·6,5)/(4·3·21) = 70. Так как выбрать случайным образом все 4 чашки, в которых был сначала налит чай, а затем — молоко, можно только одним способом, то вероятность угадывания равняется 1 к 70, то есть 1,4 %. Если участник эксперимента верно укажет на 3 чашки из 4, это не будет доказывать, что вкус чая будет отличаться: вероятность правильного выбора трех чашек случайным образом равна примерно 23 %.

Но не стоит тратить все силы на математические рассуждения. Также нужно уделить очень большое внимание деталям проведения эксперимента, отсутствию подсказок для испытуемого и другим нюансам. Фишер прямо указывает, что чашки в эксперименте должны располагаться случайным образом:

«Наш эксперимент состоит в том, что мы приготовим восемь чашек чая с молоком, четыре — одним способом, четыре — другим, после чего подадим чашки, расположенные в произвольном порядке, дегустатору, который вынесет свой вердикт. Порядок проведения эксперимента объясняется дегустатору заранее: он должен попробовать чай из восьми чашек в произвольном порядке (определенном с помощью игральных костей, рулетки, карт или просто с помощью случайно выбранных чисел). Задача дегустатора — разделить чашки на две группы по четыре в зависимости от того, что было налито в каждую чашку сначала — чай или молоко».

Каков же был результат эксперимента? Фишер не упоминает об этом в своей книге, но среди присутствующих находился профессор Хью Смит, который рассказал об этом случае Дэвиду Салсбергу, автору превосходной книги о бурном развитии статистики в XX веке. Книга называется The Lady Tasting Tea. В тексте подробно описывается этот эксперимент, который и дал название книге. По словам Хью Смита, леди действительно удалось точно указать все четыре чашки.

The Design of Experiments — классический труд, автор которого, Рональд Фишер, на примере дегустатора чая объясняет суть своего метода.

* * *

РОНАЛЬД ЭЙЛМЕР ФИШЕР: В НУЖНОЕ ВРЕМЯ В НУЖНОМ МЕСТЕ

Рональд Фишер родился в 1890 году. Он получил очень хорошее математическое образование и внес важный вклад в статистику и генетику. Хотя какого-либо официального рейтинга не существует, Рональд Фишер несомненно входит в число ученых, которые внесли наибольший вклад в развитие статистики в XX веке. Согласно некоторым источникам, он был болезненным ребенком, но отличался большой тягой к знаниям и очень интересовался астрономией. Также у него было очень плохое зрение, и врачи запретили ему читать при искусственном свете (не забывайте, что в те времена лампы отличались от современных). Это мешало ему заниматься, и чтобы Рональд не отставал от остальных, преподаватель обучал его математике, не используя ни бумаги, ни карандаша. Это способствовало развитию у Фишера великолепного геометрического мышления, что впоследствии позволило ему решать сложные задачи оригинальным геометрическим методом.