Наукообразная чушь. Разоблачение мошенничества, предвзятости, недобросовестности и хайпа в науке - Стюарт Ричи
Подобные рассуждения позволили в 2011 году уличить социальных психологов Лоуренса Санну и Дирка Сместерса. Санна опубликовал работу, где утверждалось, что люди, находящиеся физически выше, оказались более просоциальными, а Сместерс заявлял, что якобы показал: когда люди видят красный и синий цвета, это влияет на их восприятие знаменитостей[203]. Результаты в обеих статьях на первый взгляд казались впечатляющими, однозначно подтверждая предложенные в них теории относительно человеческого поведения. Но при более тщательном изучении обнаруживалось нечто очень странное. Психолог Ури Симонсон выяснил, что для различных групп из эксперимента Санны разброс данных (разница между самым большим и самым маленьким значениями) практически идентичен, хотя группы вообще-то довольно сильно между собой различаются. Симонсон подсчитал: вероятность того, что подобное произойдет с реальными данными, крайне низка. То же касалось и работы Сместерса, только у него слишком близкими оказались средние значения в группах, и опять же – такие похожие значения просто не могли получиться при работе с реальными данными, поскольку ошибки разбросали бы числа подальше друг от друга[204]. Как только эти проблемы – среди прочих – обнаружились, преступные статьи были отозваны, и оба исследователя с позором уволились[205]. Такого рода статистические красные флаги сродни сигналам опасности, вынуждающим банк заморозить вашу кредитку, после того как ее вдруг использовали для оплаты дорогущего тропического круиза: необычная активность, идущая вразрез с нормальными ожиданиями, может оказаться результатом мошеннических действий[206]. У сфабрикованных данных есть еще уйма других особенностей, способных заставить читателей статьи, когда те закапываются в детали, заподозрить неладное. К примеру, набор данных выглядит чересчур безукоризненно, в нем слишком мало выпавших точек, которые в реальных наборах данных появляются по всевозможным причинам: участники выбывают из исследования, приборы дают сбой и так далее. А может, распределение чисел не подчиняется ожидаемым математическим законам[207]. Или эффекты оказываются существенно больше тех, что мы находим правдоподобными в реальном мире, а значит, слишком хороши, чтобы быть правдой[208].
Некоторые фальсификаторы прекрасно знают, насколько трудно сделать так, чтобы поддельные числа выглядели правдиво, поэтому опробовали более творческие способы заметать следы. Политолог Майкл Лакур, на тот момент магистрант Калифорнийского университета в Лос-Анджелесе, в 2014 году опубликовал в журнале Science интересные результаты масштабного опроса на дому у респондентов[209]. Согласно полученным данным, если человека опрашивал гомосексуал, а не гетеросексуал, то это положительно влияло на мнение респондента об однополых браках, причем эффект был существенный и длительный. Таким образом, знакомство с представителем меньшинства, чьи права обсуждаются, сильно склоняло респондентов к поддержке этих прав. Оптимистичное заявление, и оно немедленно было использовано (в конечном итоге успешно) организаторами кампании за легализацию однополых браков в ходе ирландского референдума 2015 года[210].
Эти результаты впечатлили многих, в том числе двух других политологов, Дэвида Брукмана и Джошуа Каллу, которые захотели сами провести похожее исследование. Однако, изучая набор данных Лакура, они обнаружили крайне странные вещи. Они заметили, что распределение результатов, то есть разброс между высокими и низкими значениями на шкале, соответствующей степени одобрения однополых браков, подозрительно похож на разброс значений в другом, более раннем исследовании, хорошо им известном, – CCAP (Cooperative Campaign Analysis Project, “совместный проект по анализу исследований общественного мнения”). На самом деле распределения были почти идентичны. Данные последующих этапов исследования Лакура, когда тех же респондентов через некоторое время опрашивали повторно, чтобы проверить, не изменилось ли их мнение, тоже настораживали: ни один из участников не изменил своего мнения относительно первоначального больше, чем на некое определенное значение. Но ведь в числовых данных, как мы уже обсуждали, всегда есть шум: в подобных крупных наборах данных логично ожидать с течением времени куда больше колебаний в одну и другую сторону.
Данные Лакура оказались палимпсестом: он взял результаты исследования CCAP, немножко их подкрутил, добавив случайный шум, и выдал за результаты своей новой работы. Для последующих этапов он взял точно те же данные, еще немного их подкрутив, а многочисленные детали, описывавшие, как проходила подготовка опрашивающих, полностью выдумал. Исследование вообще не проводилось. Позднее его несчастный соавтор Дональд Грин, уважаемый профессор политологии, не замешанный в подделывании данных, поражался “невероятному количеству затейливейших выдумок с изощренными деталями”, которые ему демонстрировал Лакур. “Там были всякие истории и случаи… графики и диаграммы. Казалось, никто не стал бы все это делать кроме как для того, чтобы изучить самый настоящий набор данных”[211].
Я отчетливо помню, как в мае 2015 года вышел отчет Брукмана и Каллы об исследовании Лакура[212]. Он появился в интернете как раз перед тем, как я сел в Эдинбурге на самолет, направляясь на конференцию в Сан-Франциско. К моменту посадки в США, через тринадцать часов, ученые, на которых я подписан в социальных сетях, только о нем и говорили. Отчет был разгромным, в нем в мельчайших подробностях изобличалась фальсификация Лакуром данных. Деваться ему было некуда: журнал Science вскоре отозвал статью, и Лакур распрощался с предложением работы, которое Принстонский университет сделал ему преимущественно из-за публикации в столь престижном журнале на самой заре карьеры[213].
Учитывая, сколько усилий Лакур затратил, дабы скрыть свой обман, ему определенно было бы проще выполнить исследование по-настоящему. Тогда бы он точно избежал негативных последствий в виде крушения своей карьеры, когда его набор данных изучили бы с подобающей тщательностью. Но Лакур, как Санна, Сместерс и Стапел до него, сфабриковал данные для того, чтобы все контролировать. Исследование удовлетворяло четким требованиям, предъявляемым рецензентами журнала Science, так что они точно приняли бы статью к публикации. Оно было именно тем, что требуют публикационная система и университетский рынок труда: не снимком беспорядочной реальности, где результаты нечетки, а интерпретации неопределенны, но ясным, убедительным результатом, который сразу же можно учитывать в реальной жизни.
Опять-таки эксплуатировалось не только желание рецензентов видеть интересные и важные открытия, но и их склонность доверять. До некоторой степени доверие в процессе рецензирования неизбежно: рецензенты ведь не могут перепроверять каждую экспериментальную точку, выискивая признаки искажения результатов. Однако истории мошенничества с данными учат нас, что порог доверия может быть слишком низким, так что настоящий организованный скептицизм не срабатывает. Во имя науки ученым пора бы доверять друг другу чуть меньше.
Теперь мы готовы к вопросу: насколько мошенничество всех сортов и мастей распространено в науке? Один из способов оценить масштаб проблемы – посмотреть, сколько всего статей было отозвано. Отзы́в для статьи –
