Дарелл Хафф - Как лгать при помощи статистики
Вы могли прочитать в газете, что доход средней американской семьи в 1949 г. составил $3100. Не стоит и пытаться делать из этого каких-либо серьезных выводов, пока вы не узнаете, что за «семьи» принимались в расчет для вычисления среднего и к какому виду относится это среднее. (И еще – кто это говорит, откуда он это взял и насколько точна сама цифра.)
Выясняется, что данную цифру опубликовало Бюро переписи населения США. Если у вас под рукой есть доклад бюро, вам не составит труда найти на его страницах всю сопутствующую информацию: опубликованная цифра представляет собой медиану; «семья» определяется как «двое или больше человек, состоящих в родстве друг с другом и проживающих вместе». (Если в группу включить тех, кто живет один, медиана сместится к отметке $2700, а это уже существенно отличается от первоначальных $3100.) Если пойти назад, к исходным табличным данным, то можно заметить, что показатель дохода рассчитан на основе выборки такого размера, что с вероятностью девятнадцать из двадцати данный показатель (а он до округления равнялся $3107) имеет погрешность в пределах ± $59.
Благодаря такой степени вероятности и такому уровню погрешности оценка получилась более или менее точной. Сотрудники бюро достаточно профессиональны, и их работа финансируется достаточно хорошо, что и позволило провести выборочное исследование с такой приличной степенью точности. И надо полагать, выполняя эту работу, сотрудники бюро не были заинтересованы подгонять оценку под какую-то конкретную цифру. Не все статистические показатели, которые вам встречаются, появляются на свет при таких счастливых обстоятельствах, да и далеко не все стандартные сопровождаются вообще какой-либо информацией, позволяющей судить, в какой степени точными или неточными они могут быть. Мы подробнее обсудим эту тему в следующей главе.
Между тем вам предоставляется случай испытать свою недоверчивость на некоторых утверждениях из колонки «От издателя» в журнале Time. Про новых подписчиков журнала там говорится, что «их медианный возраст составляет 34 года, а средний семейный доход равен $7270 в год». Более раннее по времени исследование «давних подписчиков» установило, что их «медианный возраст достигает 41 года… Средний доход составляет $9535…». Возникает резонный вопрос: почему в обоих случаях про возраст подписчиков уточняется, что это медианное значение, а вот о том, какого вида средним выражен средний доход, журнал предусмотрительно умалчивает? Может ли быть так, что среднее арифметическое для обозначения среднего дохода выбрано по той причине, что его величина больше других средних (и, судя по всему, преследуется цель приманить рекламодателей тем, что у журнала весьма состоятельная аудитория)?
Вы могли бы также поиграть в игру «Какого вида это среднее?» на примере предполагаемого преуспевания выпускников Йельского университета 1924 г. выпуска, о чем говорилось в начале первой главы.
Глава 3
Нюансы, о которых скромно умалчивают
«Потребители отмечают, что благодаря зубной пасте компании Doakes у них образуется на 23 % меньше кариеса», – гласит набранный аршинными буквами заголовок. Вам интересно, как на 23 % уменьшить причину зубных болей, и вы читаете дальше. Выясняется, что эти результаты поступили (и это выглядит весьма обнадеживающе) из совершенно «независимой» лаборатории. Мало того, точность лабораторных расчетов удостоверена дипломированным бухгалтером[9]. Спрашивается, чего же еще?
И все же, если вы не совсем легковерны и не отъявленный оптимист, жизненный опыт говорит вам, что одна зубная паста редко бывает намного лучше другой. Но тогда на каком основании люди, пользующиеся пастой компании Doakes, отрапортовали о таком результате? Неужели они попросту позволили себе нагло солгать, да еще чтобы их вранье напечатали такими крупными буквами? Вовсе нет, да у них и не было такой надобности. На то придуманы куда более простые и действенные способы.
Главная уловка в данном случае заключается в некорректной выборке – статистически некорректной. Ну а для целей производителя зубной пасты она очень даже хороша. Группа испытуемых, как явствует из приведенного ниже текста, набранного мелким шрифтом, состояла всего из дюжины человек. (Однако следует отдать должное компании Doakes – помимо прочего, она честно оставила вам шанс проверить свою сообразительность. Иные из рекламодателей ни за что не раскроют такого рода сведения и оставят даже самых подкованных в статистике читателей теряться в догадках, какие именно махинации стоят за красивыми рекламными цифрами. Выборка в дюжину испытуемых не так уж и плоха в данных обстоятельствах. За несколько лет до этого на рынок был выставлен некий продукт под названием «зубной порошок доктора Корниша», причем под уверения, что он, дескать, продемонстрировал «значительный успех в устранении… кариеса». Суть состояла в том, что в порошке содержится мочевина, а она, как предполагали лабораторные исследования, доказала свою эффективность в качестве противокариесного средства. Беспочвенность этого вывода обусловливалась тем, что эксперименты носили не более чем предварительный характер, и успех был зафиксирован всего в шести случаях.)
Однако давайте вернемся к вопросу, почему компании Doakes так легко удалось, не прибегая к вранью, добиться широкого освещения в прессе, да еще и подкрепить все это заключениями независимых экспертов. Предположим, некая немногочисленная группа потребителей в течение полугода ведет учет состояния своих зубов, а потом переключается на пасту от Doakes. Далее можно ожидать одного из трех вариантов: кариеса станет больше, кариеса станет ощутимо меньше или никаких изменений не последует. Если события пойдут по первому или последнему варианту, производитель пасты просто зафиксирует эти показатели (где-нибудь у себя, вдали от глаз общественности) и предпримет новые попытки. Рано или поздно в дело вмешается случай, и у испытуемых зафиксируют-таки значительное улучшение, достойное газетных заголовков, а то и целой рекламной кампании. И случится это независимо от того, пользуются ли испытуемые пастой Doakes, питьевой содой или своим привычным средством по уходу за зубами.
Малочисленную группу испытуемых важно задействовать вот почему: при многочисленной группе любой случайный сдвиг в лучшую сторону будет, скорее всего, довольно скромным и потому не заслужит упоминания в прессе. Очень сомнительно, что заявления о двухпроцентном улучшении подстегнут продажи зубной пасты.
Каким образом результат, который ни о чем не говорит, можно получить по чистому везению (притом что число исследуемых случаев достаточно мало), вы можете проверить на себе, не истратив ни цента. Возьмите монетку и подбросьте ее несколько раз. Как часто она будет падать решкой вверх? В половине случаев, конечно. Это всякий скажет.
А давайте-ка проверим и поглядим, так ли это… Лично я только что десять раз подбросил монетку, и в восьми случаях она упала решкой вверх. Это доказывает, что в 80 % случаях при подбрасывании монетки она падает решкой вверх. Ну да, согласно методам, которыми получена статистика по зубной пасте, так оно и есть.
А теперь проделайте это сами. У вас может получиться пятьдесят на пятьдесят, но по всей вероятности это будет не так. Более вероятно, что ваш результат, как и мой, окажется довольно далек от половины наполовину. Но если у вас хватит терпения на тысячу попыток, то вы почти наверняка (хотя обещать вам этого не стану) получите результат очень близкий к тому, чтобы монетка падала решкой вверх в половине случаев. Такой результат и представляет собой реальную вероятность. Только при достаточно большом количестве попыток закон средних чисел позволяет получить значимую характеристику или прогноз.
А достаточно большое количество – это сколько? Довольно каверзный вопрос! Помимо прочего, все зависит от того, насколько обширна и вариативна группа населения, которую вы изучаете методом выборки. И случается, что количество человек, попавших в выборку, совсем не так обоснованно, как представляется.
Примечательный пример этого появился в связи с испытанием противополиомиелитной вакцины, которое проводилось несколько лет назад. Это выглядело впечатляюще масштабным экспериментом, как свойственно подобным медицинским испытаниям: в некой местности были вакцинированы 450 детей, а 680 детей остались непривитыми (в качестве контрольной группы). Вскоре после этого в той местности случилась эпидемия полиомиелита. Ни у одного из вакцинированных детей не было выявлено полиомиелита.
