Вероятности и неприятности. Математика повседневной жизни - Сергей Борисович Самойленко
Классическая постановка вопроса при этом такова: позволяют ли наблюдения отвергнуть нулевую гипотезу или нет? Точнее, с какой долей уверенности мы можем утверждать, что наблюдения нельзя получить, исходя из нулевой гипотезы? При этом если мы не смогли доказать, опираясь на статистические данные, что нулевая гипотеза ложна, то она принимается истинной.
Тут можно подумать, что исследователи вынуждены совершать одну из классических логических ошибок, которая носит звучное латинское имя ad ignorantiam. Это аргументация истинности некоторого утверждения, основанная на отсутствии доказательства его ложности. Классический пример — слова, сказанные сенатором Джозефом Маккарти, когда его попросили предъявить факты для поддержки выдвинутого им обвинения, что некий человек — коммунист: «У меня немного информации по этому вопросу, за исключением того общего заявления компетентных органов, что в его досье нет ничего, что бы исключало его связи с коммунистами». Или еще ярче: «Снежный человек существует, поскольку никто не доказал обратного». Выявление разницы между научной гипотезой и подобными уловками составляет предмет целой области философии: методологии научного познания. Один из ее ярких результатов — критерий фальсифицируемости, выдвинутый замечательным философом Карлом Поппером в первой половине XX века. Он призван отделять научное знание от ненаучного и на первый взгляд кажется парадоксальным:
Теория или гипотеза может считаться научной, только если существует, пусть даже гипотетически, способ ее опровергнуть.Чем не один из законов мерфологии? Получается, любая научная теория автоматически потенциально неверна, а теория, верная «по определению», не может считаться научной[18].
Но всё же: почему мы, если не можем на базе статистических данных отвергнуть гипотезу, вправе считать ее истинной? Дело в том, что статистическая гипотеза берется не из желания исследователя или его предпочтений, она должна вытекать из каких-то общих формальных законов. Например, из центральной предельной теоремы либо принципа максимальной энтропии, о котором мы поговорим в самом конце книги. Эти законы корректно отражают степень нашего незнания, не добавляя без необходимости лишних предположений или гипотез. В известном смысле это прямое использование знаменитого философского принципа, известного как бритва Оккама:
Что может быть сделано на основе меньшего числа предположений, не следует делать, исходя из большего.Вообще с точки зрения принципа фальсифицируемости любое утверждение о существовании чего-либо ненаучно, ведь отсутствие свидетельства ничего не доказывает. В то же время утверждение об отсутствии чего-либо можно легко опровергнуть, предоставив экземпляр, косвенное свидетельство или доказав существование по построению. И в этом смысле статистическая проверка гипотез анализирует утверждения об отсутствии искомого эффекта и может предоставить в известном смысле точное опровержение.
Именно этим в полной мере оправдывается термин «нулевая гипотеза»: она содержит необходимый минимум знаний о системе.
Запутываем статистикой и помогаем распутаться
Очень важно подчеркнуть: если статистические данные говорят о том, что нулевая гипотеза может быть отвергнута, это не значит, что мы тем самым доказали истинность какой-либо альтернативной гипотезы. Вспомним постулат Персига: «Число разумных гипотез, объясняющих любое данное явление, бесконечно». Опровержение нулевой гипотезы не делает все остальные верными. Отвергая ее, мы освобождаем место для нового умозаключения, как в легенде об убийстве деспота-дракона.
Вообще математическая статистика и теория вероятностей рассуждают вовсе не о ложности или истинности каких-либо утверждений. Их следует крайне осторожно смешивать с логикой; здесь кроется масса трудноуловимых ошибок, особенно когда в дело вступят зависимые события. Вот пример такого смешения. Очень маловероятно, что человек может стать папой римским (примерно один к семи миллиардам); следует ли из этого, что папа Иоанн Павел II не был человеком? Утверждение кажется абсурдным.
А вот другой пример: проверка показала, что мобильный тест на содержание алкоголя в крови дает не более 1 % как ложноположителых, так и ложноотрицательных результатов. Следовательно, в 98 % случаев он верно выявит пьяного водителя. Это правильный вывод, но он вступает в кажущееся противоречие со следующими рассуждениями. Протестируем 1000 водителей, и пусть 100 из них будут действительно пьяны. В результате мы получим 900 × 1 % = 9 ложноположительных и 100 × 1 % = 1 ложноотрицательный результат: на одного проскочившего пьяницу придется девять невинно обвиненных случайных водителей. Выходит, речь должна идти лишь о 10 % правильных ответов, а не о 98 %. Чем не закон подлости! Паритет возникнет, только если доля пьяных водителей окажется равна 1/2 либо если отношение долей ложноположительных и ложноотрицательных результатов будет близким к реальному отношению пьяных водителей к трезвым. Причем чем трезвее обследуемая нация, тем несправедливее будет применение описанного нами прибора!
Здесь мы столкнулись с зависимыми событиями. Введем понятие условной вероятности — вероятности наступления одного события, если известно, что произошло другое событие. Для двух событий A и B (причем P(B)>0) она обозначается P(A|B) и вычисляется следующим образом:
Пример: мы бросили игральную кость. Пусть событие A = {выпала 1}. P(A) = 1/6. Пусть теперь известно, что при бросании произошло событие B = {выпало нечетное число}. Теперь, очевидно, вместо шести возможных вариантов есть всего три, так что P(A|B) = 1/3. Именно это мы и получаем по нашему определению: A∩B = {выпала 1}, P(A∩B) = 1/6, P(B) = 1/2, откуда 1/6:1/2=1/3.
Если наступление события B не меняет вероятность наступления события A, то должно быть P(A|B) = P(A). В силу определения условной вероятности это значит, что P(A∩B) = P(A)P(B). Это соотношение оказывается определением важнейшего понятия в теории вероятностей — независимости: события A и B называются независимыми, если P(A∩B) = P(A)P(B). Определение работает, даже если вероятности событий A или B равны 0.
Из определения условной вероятности можно получить выражение для пересечения произвольных событий:
P(A∩B) = P(A)P(B).
Пересечение множеств — операция коммутативная, A∩B = B∩A. Отсюда немедленно следует, что P(A∩B) = P(B∩A), и теорема Байеса:
P(A|B)P(B) = P(A∩B),
