Наукообразная чушь. Разоблачение мошенничества, предвзятости, недобросовестности и хайпа в науке - Стюарт Ричи
Затруднение с археологическим подходом к публикационному смещению состоит в следующем. Он опирается на предположение, что надо заполнить лакуны на воронкообразной диаграмме – те области, где мы ожидаем увидеть точки, соответствующие небольшим исследованиям с маленькими эффектами, но воронкообразные диаграммы могут иметь странные формы по причинам, не связанным с публикационным смещением, особенно если между разношерстными исследованиями, отобранными для метаанализа, много различий[328]. Есть немало случаев, когда публикационное смещение менее явное, чем в обсуждавшихся выше примерах, а стало быть, его сложнее распознать. Нет ли более надежных способов проверить, не имеет ли место такого рода предвзятость?
Альтернативный подход таков: нужно взять набор исследований, которые, по вашим сведениям, точно были завершены, со спектром результатов от существенно положительных до отрицательных, а затем проверить, сколько из исследований каждого типа оказались опубликованными. Именно это в 2014 году и сделала группа стэнфордских ученых, возглавляемая политологом Энни Франко, в ходе проекта, названного ими “вскрытием картотечного ящика”[329]. Они рассматривали исследования, чьи авторы подавали заявки на участие в правительственной программе, поддерживающей обзорные работы[330]. Используя успешные заявки, относящиеся к периоду с 2002 до 2012 года, в качестве реестра тех работ, что прошли на следующий этап, Франко и ее коллеги проследили судьбу каждого исследования, связываясь, если требовалось, с авторами напрямую. В итоге выяснилось, что в 41 % завершенных исследований нашлись четкие подтверждения исходной гипотезы, в 37 % результаты оказались неоднозначными, а в 22 % – отрицательными. В мире, где значение имеют методы, а не результаты, процентное соотношение среди опубликованных статей было бы сходным. Но ничуть не бывало. Среди опубликованных статей доли тех, что сообщали о положительных, неоднозначных либо же отрицательных результатах, равнялись 53, 38 и 9 % соответственно. Иными словами, вероятность оказаться опубликованными для положительных результатов на 44 % превышала таковую для отрицательных[331].
От соответствующих ученых Франко и ее коллеги узнали, что 65 % исследований с отрицательными результатами вообще даже и не оформлялись в виде статьи, не говоря уже об отправке в журнал. Многие из этих ученых предвидели, что опубликоваться у них нет никаких шансов. “Такова суровая реальность мира публикаций: нулевые эффекты не рассказывают четкой истории”, – сказал один. “Учитывая сильное предпочтение, которое в этой области отдается положительным результатам, дальше я не пошел”, – объяснил другой. Многие просто махнули рукой и переключились на следующие проекты. Один ученый признался: “Я так и не сел за написание статьи из-за того, что было некогда, интерес несколько поугас… да и важных результатов не имелось”[332]. Другими словами, “картотечный ящик” действительно существует[333].
В бизнесе и политике одни из самых отъявленных злодеев – подпевалы. Бесчисленные книги учат начинающих управленцев и руководителей ни в коем случае не окружать себя людьми, которые просто будут поддакивать всем решениям, даже плохим. Уинстон Черчилль писал, что искушение говорить высокому начальству только те вещи, которые оно больше всего хочет услышать, – это одно из самых распространенных объяснений ошибочной политики, а значит, лидеру, от чьих решений зависят судьбоносные события, перспективы обычно видятся куда более оптимистичными, чем допускают строгие факты[334]. В науке таких подпевал делает из выходящих в журналах статей публикационное смещение: мы видим все положительные, но не можем узреть строгие отрицательные результаты. Принятие решений на основании такой частичной информации – прямой путь к катастрофе.
Немаловажно, что против публикационного смещения есть и моральный довод. Если вы провели исследование на людях, особенно если участники принимали лекарство или проходили экспериментальное лечение, то вы, можно сказать, обязаны ради них опубликовать результаты. Иначе получится, что все неудобства, через которые им пришлось пройти (включая, как иногда бывает, болезненные процедуры или побочные эффекты), были напрасны. Похожий аргумент применим к исследованиям, которые вы проводили на чьи-то деньги.
Итак, с какой стороны ни посмотри (с научной, практической или этической), публикационное смещение – большая проблема. К сожалению, это далеко не единственная проблема, порождаемая неистребимым, глубоким пристрастием науки к положительным результатам.
Для ученого амбициозного, ориентированного на карьерный рост публикационное смещение имеет существенное негативное последствие: пряча отрицательные результаты в “картотечный ящик”, он лишается этой жизненно важной публикации и столь отрадной дополнительной строчки в резюме. Чтобы избежать потерь и спасти свои результаты, есть другой выход – манипулирование данными. Речь не о явной фальсификации, выдумывании данных, как в предыдущей главе, а скорее о некоем неосознаваемом (или полуосознаваемом) искажении данных – по выражению Гулда, “слабо ощущаемом жульничестве”, – в которое ученые могут впасть совершенно нечаянно, без задней мысли. Действительно, манипулирование данными пугает не только тем, что запруживает научную литературу неверными выводами, но еще и тем, что так много ученых либо совершают его абсолютно непреднамеренно, либо, если понимают, что манипулируют данными, не задумываются, почему это плохо.
Полагаю, вы слышали об идее, согласно которой, взяв в столовой большую тарелку, вы съедите больше, чем если бы взяли маленькую. А значит, вы косвенно знаете профессора Брайана Вонсинка. Руководитель лаборатории по изучению еды и брендов в Корнеллском университете, Вонсинк долгое время был, несомненно, самым большим мировым авторитетом в области психологии питания. На его счету популярные книги, двухгодичное управление Центром политики и продвижения в области питания при министерстве сельского хозяйства США во времена президентства Джорджа Буша – младшего и сотни публикаций, причем многие цитировались в контексте инициативы “Обеды с умом”, осуществлявшейся в американских школах в эпоху Обамы[335]. Вонсинк даже выиграл Шнобелевскую премию – шутливый аналог Нобелевской, отмечающий исследования, которые “заставляют людей сначала засмеяться, а потом задуматься”. Было это в 2007 году, его наградили за исследование, в котором он склонял людей потреблять куда больше супа, чем они собирались, с помощью суповой миски, смонтированной так, что она непрерывно вновь себя наполняла[336]. Способность Вонсинка представлять забавные запоминающиеся результаты по психологии питания казалась безграничной, сродни бездонной миске. Помимо своих результатов на тему размера порций он обнаружил, что если вы пошли в магазин за продуктами голодным, то купите больше калорий, что взгляд персонажей, изображенных на упаковках
