Тимоти Феррис - Совершенное тело за 4 часа
• Чем больше разница между группами, тем меньше могут быть группы. Критики испытаний с малым количеством участников или экспериментов над собой часто забывают об этом. Если произойдет событие, которое вызовет 300 % изменений, незачем задействовать большую группу, чтобы доказать его значимость.
• Неэтично сравнивать р-величины множественных экспериментов ради большего правдоподобия каких-либо результатов. Это еще одна уловка псевдонауки и ошибка плохо информированных журналистов.
Полезные ресурсы
Нассим Талеб, «Черный лебедь» (www.fourhourbody.com/blackswan). Талеб, автор бестселлера «Одураченные случайностью», лучше всех объясняет, как мы дурачим себя и каким образом можем снизить ущерб. Наше инстинктивное стремление недооценивать частотность одних событий и переоценивать другие – главная причина неизмеримых страданий.
«Корпорация» (The Corporation, DVD, www.fourhourbody.com/corporation). Это тревожный документальный фильм об американской корпорации и ее неустанной погоне за прибылью в ущерб нашей культуре. Фильм показывает, как сильно компании могут исказить отчеты, касающиеся здоровья, если они кровно заинтересованы в результатах.
«Список когнитивных искажений» (www.fourhourbody.com/biases). Все мы склонны к когнитивным искажениям, в том числе и ученые, двигающие псевдонауку. Просмотрите список по этому адресу и задайте себе вопрос, насколько бездумно вы принимаете на веру то, что слышите или читаете.
Разоблачение псевдонаучных истин: (продвинутый курс)
Итак, у вас есть таблетка…
Автор этой главы – доктор Бен Голдэйкр, с 2003 года ведущий еженедельную рубрику Bad Science («Плохая наука») в газете Guardian. За статистические исследования в журналистике он получил премию Королевского статистического общества. Этот доктор медицины, помимо всего прочего, специализируется на проверке подозрительных научных притязаний журналистов, действующих методами запугивания, а также на разоблачении сомнительных отчетов правительства, коварных фармацевтических корпораций, пиар-агентств и шарлатанов.
Прямо здесь и сейчас я расскажу вам то же самое, чему учу студентов-медиков и врачей, – в форме лекции, которую, ребячась, называю «Брехня фармацевтов». В свою очередь, я узнал о том, что собираюсь рассказать, когда учился в школе медицины[194], и я убежден, что проще всего понять суть проблемы, поставив себя на место крупной исследовательской компании в сфере фармацевтики.
У вас есть таблетка. Отлично: не будучи панацеей, тем не менее она способна принести большие деньги. Вам нужно доказать ее положительный эффект, но ваша аудитория отнюдь не гомеопаты, журналисты или широкая публика: это врачи и ученые, натренированные выискивать явные уловки, такие, как «слепой метод не применялся» или «недостаточная рандомизация». Ваши пассы руками, ваши приемы должны быть гораздо более элегантными, более утонченными, но ничуть не менее эффективными.
Что вы можете предпринять?
Ну, во-первых, проводить исследования на потенциальных победителях. Люди по-разному реагируют на препараты: старики, напичканные лекарствами, зачастую безнадежны, у молодежи заметные улучшения более вероятны. Значит, изучайте действие препарата только на последнюю группу. В итоге ваши исследования станут в меньшей степени применимы для людей в целом, которым врачи прописывают подобные лекарства, но к счастью, они ничего не узнают. Случай настолько распространенный, что не заслуживает даже упоминания в качестве примера.
Далее результаты действия препарата можно сравнить с бесполезными контрольными. К примеру, многие скажут, что ни в коем случае нельзя сравнивать препарат с плацебо, так как полученные результаты клинического значения не имеют: в реальном мире никому нет дела до того, что ваш препарат лучше сахарного шарика, – главное, чтобы он был лучше самого лучшего из имеющихся средств. Но вы уже потратили сотни миллионов долларов, чтобы вывести свой препарат на рынок, так что действуйте: проведите уйму плацебо-контролируемых испытаний, раздуйте вокруг них побольше шумихи, так как они практически гарантируют ряд положительных результатов. Опять-таки, это повсеместное явление, так как почти все препараты на том или ином этапе их существования будут сравнивать с плацебо, и «коммерческие представители» – люди, которых большие фармацевтические фирмы нанимают, чтобы облапошивать врачей (многие из врачей просто отказываются иметь с ними дело), – обожают недвусмысленную позитивность графиков, получающихся в результате таких исследований.
Чем дальше – тем интереснее. Если вам требуется сравнить свой препарат с препаратом, который производит конкурент, – чтобы сохранить лицо или потому, что этого требуют регламентирующие органы, – можно тайком испробовать подловатый прием: применять препарат конкурента в недостаточных дозах, чтобы у пациентов не наблюдалось улучшения, или же, наоборот, в чрезмерно высоких, чтобы вызвать у пациентов массу побочных эффектов, или исказить способ применения конкурирующего препарата (например, давать его орально, хотя его следует назначать внутривенно, и надеяться, что читатели ничего не заметят), или слишком быстро повышать дозу конкурирующего препарата, чтобы усугубить вызванные им побочные эффекты у пациентов. По сравнению с чужим ваш препарат будет выглядеть просто блестяще. Хотите сказать, такого не бывает? Но если вы внимательно изучите отчеты о тестировании некоторых препаратов, то найдете исследования, в которых пациентам давали действительно завышенные дозы устаревших нейролептиков (по сравнению с которыми препараты нового поколения выглядели так, словно у них почти нет побочных эффектов), а также исследования с дозами антидепрессантов с селективными ингибиторами обратного захвата серотонина (SSRI), которые кое-кто счел бы странными, и это лишь пара примеров из множества. Да, понимаю. Верится с трудом.
Разумеется, можно показать и другой фокус с побочными эффектами – просто не спрашивать о них, или, скорее, раз уж приходится таиться и скрываться, проявить осторожность в таких расспросах. Вот вам пример. Антидепрессанты с SSRI довольно часто вызывают побочные эффекты в половой сфере, в том числе аноргазмию. Поясним (и я попытаюсь высказаться в этом случае как можно более нейтрально): мне действительно нравятся ощущения при оргазме. Они важны для меня, весь мой опыт свидетельствует о том, что эти ощущения важны и для других людей. Войны велись, в сущности, ради ощущения оргазма. Эволюционные психологи убеждают, что вся человеческая культура и язык в значительной мере обусловлены стремлением к ощущению оргазма. Потеря этого ощущения представляется значительным побочным эффектом, о котором стоит знать.
Однако различные исследования показали, что о преобладании аноргазмии во время приема препаратов с SSRI сообщало от 2 до 73 % пациентов, в зависимости от того, как был задан вопрос: небрежно и неопределенно, о побочных эффектах в целом, или вдумчиво и подробно. В одном обзоре результатов исследования препаратов с SSRI, в котором участвовало 3000 человек, таблица со списком из 23 побочных эффектов попросту не содержала никаких упоминаний о побочных эффектах в половой сфере. По мнению исследователей, остальные 23 пункта гораздо важнее потери ощущений, вызванных оргазмом. Я внимательно прочитал их: нет, не важнее.
Но вернемся к нашим основным результатам. Вот еще хороший фокус: такие понятия реального мира, как, например, смерть или боль, всегда можно подменить «суррогатным». Если ваш препарат предназначен для снижения уровня холестерина и предотвращения смерти от сердечно-сосудистых нарушений, не определяйте смертность от этих нарушений – вместо этого измерьте снижение уровня холестерина. Добиться последнего гораздо проще, чем сделать так, чтобы пациенты реже умирали от сердечно-сосудистых нарушений, испытание обойдется дешевле и пройдет быстрее, а ваши данные будут получены более дешевым способом и произведут более позитивное впечатление. Результат налицо!
Итак, испытания вы провели, но несмотря на все усилия, исход оказался негативным. Что можно предпринять? Ну, если в целом испытание было добросовестным, но дало несколько отрицательных результатов, можно испробовать старый трюк: не привлекайте внимание к данным, вызывающим разочарование, то есть не наносите их на график. Коротко упомяните о них в отчете и полностью игнорируйте при составлении выводов. (Я так поднаторел в этом деле, аж самому страшно. Вот что значит начитаться дрянных отчетов об испытаниях.)
Если ваши результаты негативны полностью, вообще не публикуйте их, или опубликуйте, но спустя длительное время. Именно так и поступили фармацевтические компании с данными по антидепрессантам с SSRI: сначала скрыли данные, указывающие, что эти препараты могут быть опасными, потом умолчали о данных, свидетельствующих, что препараты действуют ничуть не лучше плацебо. Если вам хватает ума и денег, чтобы швырять их на ветер, тогда после получения досадных результатов можете провести еще несколько испытаний по тому же протоколу – в надежде, что они дадут положительные результаты. Потом попытайтесь обобщить все данные так, чтобы отрицательные затерялись среди посредственно-положительных.
