Наукообразная чушь. Разоблачение мошенничества, предвзятости, недобросовестности и хайпа в науке - Стюарт Ричи
• Инфаркт миокарда. В некоторых небольших исследованиях было показано, что шансы выжить при остановке сердца у человека повышаются, если на несколько градусов снизить его температуру тела. Рекомендацию, основанную на этом открытии, начали включать в руководства для парамедиков. Однако в крупном исследовании 2014 года выяснилось, что охлаждение не влияет на шансы выжить, а то и вообще, возможно, повышает вероятность второго инфаркта при транспортировке пациента в больницу[123].
• Инсульт. На основании исследований предполагалось, что человека, перенесшего инсульт, лучше всего как можно раньше заставить двигаться: садиться в кровати, стоять, ходить, если возможно. Концепция “ранней мобилизации” встречается во многих широко используемых больничных методичках. Однако в масштабном рандомизированном исследовании 2015 года было показано, что ранняя мобилизация на самом деле вела к более неблагоприятным исходам для пациентов с инсультом[124]. Аналогично в исследовании 2016 года выяснилось, что принятая практика переливать пациентам с инсультом тромбоциты (это процедура, восполняющая запасы клеточных элементов, участвующих в процессе свертывания крови, что в теории помогает предотвратить дальнейшее кровотечение) в действительности все только ухудшала[125].
Вполне понятно, почему врачи и авторы клинических рекомендаций иногда невольно полагаются на малодостоверные доказательства. Зачастую альтернатива – это вообще отсутствие доказательств, а ведь их долг – помочь пациентам, нуждающимся в лечении, прямо сейчас. А развитие технологий, методик и финансирования позволяет ученым сегодня проводить более качественные исследования, чем было возможно несколько лет назад, – научный прогресс так и происходит, ничего не поделаешь. Только вот ученые подвели врачей и пациентов, поскольку, проводя низкокачественные эксперименты и публикуя их результаты, создали такую неопределенность в медицинской литературе, что и студентам курсов по методологии исследований понятно: это ненормально. Даже на тот момент, когда эти исходные статьи выходили, мы знали, как сработать лучше, – и однако же этого не сделали.
Степень неопределенности в медицинской науке можно оценить в полной мере, если взглянуть на всю медицинскую литературу разом. Один из способов это сделать – проанализировать множество всеобъемлющих обзоров, опубликованных солиднейшей некоммерческой организацией “Кокрейн”, которая систематически оценивает качество средств лечения. В пугающих 45 % таких обзоров авторы заключают: для того чтобы решить, работает или нет обсуждаемое средство лечения, данных недостаточно[126].
Сколько пациентов напрасно обнадежили, обрекли на страдания или даже на смерть, потому что их врачи использовали бесполезные или губительные средства лечения, которые лишь казались опирающимися на науку? А если отвлечься от человеческих страданий – представьте, сколько денег было разбазарено! Если считать, что лишь половина доклинических испытаний воспроизводима – предположение обоснованное, хотя, конечно, спорное, – и вычислить сумму денег, растрачиваемую ежегодно на низкокачественные исследования, которые нельзя повторить, то получится двадцать восемь миллиардов долларов только в США (включая финансирование фармацевтических компаний, правительственные гранты и вложения из других источников)[127]. Другие оценки существенно выше[128]. Даже если доля воспроизводимых исследований куда больше 50 %, все равно баснословные деньги выбрасываются на плохие исследования. Хуже того, эти вычисления учитывают только доклинические испытания, а еще больше денег будет выкинуто на дальнейших этапах, в последующих исследованиях – таких как испытания лекарств на людях, – которые выстраиваются на столь ненадежных основаниях. И приведенный выше расчет включал только стоимость самого исследования – не учитывались дополнительные потери, связанные с выводом на рынок для использования миллионами пациентов неэффективного средства лечения, например BIS-монитора для случаев интранаркозного пробуждения.
При всех этих провалах и “реверсиях”, вместе взятых, неудивительно, что столько ученых так беспокоятся об уровне воспроизводимости в своей области. В опросе с участием свыше полутора тысяч исследователей, проведенном в 2016 году (хоть, пожалуй, и не репрезентативном по-настоящему, поскольку он учитывал лишь тех, кто заполнил опросник на сайте журнала Nature), выяснилось, что 52 % респондентов считают: разразился “серьезный кризис” воспроизводимости. А 38 % опрошенных думают, что царит по меньшей мере “легкий кризис”, как бы странно это ни звучало[129]. Около 90 % химиков сообщили, что им случалось не суметь повторить результат какого-то другого исследователя, примерно 80 % биологов сообщили о том же, как и почти 70 % физиков, инженеров и ученых-медиков. Лишь чуть меньше ученых в процентном соотношении сообщили, что сталкивались с проблемами при повторении своих собственных результатов. Поскольку это не было социологическим исследованием мнения ученых в полном смысле слова и те, кто уже тревожился по поводу воспроизводимости, вероятно, чаще проходили опрос, приведенные оценки представляются несколько преувеличенными. Однако они ясно говорят об одном: существуют широко распространенные опасения насчет того, какой части научной литературы, включая даже работы, выполненные нами собственноручно, можно доверять.
Мы должны были это предвидеть. Вышедшая в 2005 году статья Джона Иоаннидиса, занимающегося метанаукой, носила драматическое название “Почему большинство опубликованных результатов исследований неверны”, и представленная там математическая модель выявила именно это: как только вы принимаете в рассмотрение, сколько есть способов, какими научные исследования могут пойти не так, любое конкретное утверждение в научной статье с большей вероятностью оказывается ложным, а не правильным[130]. Хоть статья и привлекла много внимания, породив немало споров (на нее сослались более восьмисот раз в первые пять лет после публикации), но с точки зрения каких-то необходимых мер, которые бы ученые начали предпринимать для повышения качества исследований, то были предсказания в духе Кассандры, к коим все остались глухи[131]. Только после неприятных открытий, затрубивших о кризисе воспроизводимости, – а начались они с обнародования Бемом парапсихологических заявлений и с разоблачения стапеловского мошенничества в 2011 году (и примерно в то же время провалились попытки повторить работы по праймингу и исследования рака) – проблема стала общепризнанной и пришло беспощадное осознание, что гнездится она в самой сути того, как сегодня делается наука[132].
Так как же мы достигли черты, за которой провокационное название вроде “Почему большинство опубликованных результатов исследований неверны” кажется не каким-то абсурдным преувеличением, а обоснованным предположением? Разберем теперь, какими многочисленными способами наука может пойти – и идет – по ложному пути.
Часть II. Ошибки и изъяны
Глава 3. Мошенничество
Пусть мы не жаждем обнаруживать мошенничество, но мы не должны по этой причине
