Наукообразная чушь. Разоблачение мошенничества, предвзятости, недобросовестности и хайпа в науке - Стюарт Ричи
И лишь в конце 2016 года все рассыпалось в прах. Вонсинк написал сообщение в блоге о том, как он велел одной своей студентке проанализировать набор данных, собранных им в нью-йоркской пиццерии[338]. Исходная гипотеза, сказал он, “не подтвердилась”, но вместо того, чтобы опубликовать отрицательные результаты или вообще все положить в стол, он уверил ее, что “из этих данных точно можно что-то вытянуть”. Она подчинилась и “каждый день… возвращалась со странными новыми результатами… и ежедневно… придумывала новый способ проанализировать данные заново”. Открыто призвав прочесывать свои наборы данных, выискивая все “значимое”, Вонсинк нечаянно обнажил серьезный недостаток того способа, каким он и, увы, многие тысячи других ученых проводили исследования.
Этот недостаток прозвали “p-хакингом”[339][340]. Поскольку критерий “p < 0,05” так важен для того, чтобы статья была опубликована (в конце концов, он якобы сигнализирует о “реальности” эффекта), ученые, чьи исследования дают неоднозначные или разочаровывающие результаты, регулярно прибегают к ухищрениям, которые самую малость сдвигают их p-значения ниже этого заветного порога. Такой p-хакинг бывает двух основных типов. При первом ученые, придерживающиеся определенной гипотезы, прогоняют, и перепрогоняют, и переперепрогоняют свой анализ результатов эксперимента каждый раз немножко другим способом, пока им в конце концов не выпадает удача в виде p-значения меньше 0,05. Они могут вносить изменения в свой импровизированный анализ по-всякому: выбрасывать определенные точки, перевычислять значения внутри отдельно взятых подгрупп (например, проверять, нет ли эффекта, только для мужчин, потом для женщин), перебирать различные виды статистических тестов или продолжать набирать новые данные, совершенно не собираясь останавливаться, до тех пор пока где-то порог по значимости не окажется перейден[341]. При другом варианте p-хакинга берется имеющийся набор данных, прогоняется через кучу произвольных статистических тестов без какой-либо определенной гипотезы в голове, а после всем просто докладывается о каких угодно эффектах, которым случилось получить p-значения ниже 0,05. Затем ученый может заявить (не исключено, что часто убеждая даже самого себя), что изначально и ждал этих результатов[342]. Этот последний вид p-хакинга известен как “харкинг” (HARKing, Hypothesising After the Results are Known, то есть “формулирование гипотезы уже после получения результатов”). Его наглядно демонстрирует часто повторяемая аналогия про “техасского стрелка”, который выхватил револьвер, наугад изрешетил стену амбара, а потом, нарисовав мишень вокруг нескольких пулевых отверстий, по случайности оказавшихся поблизости друг от друга, бахвалится, что, мол, туда и целился[343].
Оба вида p-хакинга есть проявления одной и той же ошибки, и по иронии – именно той, ради избежания которой и были изобретены p-значения: ошибки извлечения выгоды из абсолютной случайности. Несмотря на то что p-значения призваны помочь нам отделить сигнал от шума, эта их способность сбоит, когда вы вычисляете большое их количество для одного и того же исследуемого вопроса. Всякий раз, как вы подлаживаетесь под свои данные или под статистический тест, вы даете себе еще один бросок костей, увеличивая свои шансы на то, что выпадет случайная флуктуация и вы объявите ее “реальной”. Как мы видели, пороговое p-значение в 0,05 означает, что если наша гипотеза неверна (например, новое лекарство на самом деле не работает), то в 5 % случаев мы будем получать ложноположительный результат, то есть объявлять, что эксперимент увенчался успехом, когда это не так. Но эти 5 % – для единичного испытания. Нехитрые математические вычисления показывают, что в мире, где наша гипотеза неверна, увеличение числа проводимых статистических тестов повышает наши шансы получить ложноположительный результат[344]. Если мы проводим пять (не связанных друг с другом) тестов, то вероятность получить хотя бы один ложноположительный результат – 23 %, если тестов двадцать, то 64 %. Следовательно, при многократных тестах мы выходим далеко за допустимый уровень в 5 %, предложенный Фишером. Вместо того чтобы помогать нам вычленить сигнал, p-значения отбрасывают нас в море шума.
Нельзя сказать, что эта идея прямо-таки интуитивно понятна, поэтому приведу пример, используя обожаемую статистиками аналогию. Пусть у меня есть мешок с монетами, но я беспокоюсь, что все они утяжелены так, чтобы орлы выпадали чаще, чем решки. Я вынимаю одну монету, подбрасываю пять раз, и выпадают одни орлы. Это послужило бы как минимум умеренно убедительным доказательством того, что происходит нечто странное. А теперь допустим, что на этой первой монете орлов выпало только три, а решек две – не сверхубедительное доказательство моей гипотезы. Однако вместо того, чтобы отбросить гипотезу, я мог бы отреагировать так: начать проверять другие монеты, выуживая их одну за другой из мешка и подбрасывая, до тех пор пока на одной из них наконец-то не выпадет пять раз подряд орел. Надеюсь, вы согласитесь, что эта ситуация куда менее убедительна, чем та, когда первая же проверенная мной монета дала сплошных орлов. Но что, если я прикрою свои многократные испытания некой историей? “На самом деле, – мог бы я сказать, – каждый раз, вытаскивая новую монету из мешка, я проверял новый вариант своей гипотезы. Во второй раз я проверял, не утяжелены ли монеты таким образом, что орлы выпадают только при подбрасывании левой рукой. В третий раз я проверял, не происходит ли это, только когда комнатная температура превышает двадцать градусов. В четвертый раз…” – ну, вы поняли. Я мог бы убедить даже самого себя, будто и вправду проверял все эти новые интересные гипотезы. Но по большому счету я просто добавлял себе попыток в одном и том же тесте, тем самым повышая свои шансы получить ложноположительный результат. И как только я нашел одну монету, которая дала пять заветных орлов подряд, я могу испытать искушение просто опубликовать данные лишь по ней одной.
Та же логика превращает потрясающие, казалось бы, совпадения вроде такого: “Я вдруг подумал о человеке, с которым уже много месяцев не общался, как в ту же секунду он присылает мне сообщение!” – в менее впечатляющие, как только вы примете во внимание, сколько тысяч, а то и миллионов людей по всему миру спонтанно думают о ком-то и не получают неожиданных сообщений. В конце концов, шанс один на миллион выпадает порядочно часто, если ваша популяция состоит из нескольких миллионов людей. Увеличьте число возможностей для выпадения случайного результата – и можете биться об заклад, что рано или поздно он таки выпадет; вытянутые
