Эксперименты без правил: как доказать телепатию у крыс
Рассмотрим гипотетическую историю. Для исследования эффекта двадцать пятого кадра Виктор привел группу людей в кинотеатр. Двадцать пятым кадром добровольцам показывали банан. После просмотра фильма на выходе из зала зрителям предложили подкрепиться яблоком или бананом. 80% испытуемых выбрали банан. «Я показал, что двадцать пятый кадр подсознательно влияет на желания людей» – написал Виктор в своей статье.
Тем временем Маша поставила похожий эксперимент. Как и у Виктора, 80% испытуемых предпочли банан в аналогичных условиях. Но Маша догадалась проверить альтернативную гипотезу. Оказалось, что 80% испытуемых выбирают банан, даже если двадцать пятым кадром показывать яблоко или не показывать ничего. Маша – хороший ученый. Виктор – нет.
Так сложилось, что слово «эксперимент» имеет два значения в языке – бытовое («мы решили поэкспериментировать в постели», «сначала мы ввели ЕГЭ в нескольких школах – это был эксперимент») и научное. В науке к эксперименту предъявляется гораздо больше требований.
Поскольку задача научного эксперимента – проверить некоторую гипотезу, корректный эксперимент должен быть продуман таким образом, чтобы исключить конкурирующие объяснения (в случае, если они не верны).
Например, в быту человек может «поставить эксперимент на себе»: принять некоторое лекарство от гриппа. Последующее улучшение самочувствия может проинтерпретировать как положительный результат эксперимента и на основании этого дать рекомендации друзьям и родственникам. Но у такого подхода есть очевидный недостаток. Клеткам иммунной системы, распознающим вирус гриппа, требуется время, чтобы размножиться и победить инфекцию. Иногда лечит время, а не лекарство. Но это очевидное альтернативное объяснение не рассматривалось. Есть и другие гипотезы: помогло не лекарство, а чай и малиной, смена образа жизни или горячий душ. Выходит, что эксперимент с самолечением плохой и неинформативный.
Решением является контроль, без которого сложно обойтись в клиническом исследовании. Случайно выбранная половина пациентов получает лекарство, другая половина – неотличимые внешне пустышки или наилучший из имеющихся препаратов. Вторая группа называется контрольной.
Бывают особые случаи, когда контрольная группа не критична: например, если безногому человеку сделали бионические протезы и он побежал, альтернативная гипотеза (что он побежал бы и без ног) едва ли найдет сторонников. Другой пример: ребенку пересадили генетически модифицированную кожу и вылечили от буллезного эпидермолиза. Мы знаем, что это наследственное заболевание всегда было неизлечимым. Третий пример: больной ВИЧ не имеет следов ВИЧ в организме после пересадки костного мозга от донора, имеющего генетическую устойчивость к ВИЧ. Ранее никто от ВИЧ не излечивался. Впрочем, о том, что существуют люди, устойчивые к ВИЧ, мы знаем благодаря эпидемиологическим исследованиям с контролем.
В молекулярной биологии, если вы хотите показать, что некоторый фермент разрезает ДНК, то в одну пробирку к ДНК добавляете фермент, а в другую к такой же ДНК добавляете растворитель без фермента. В социологии, когда ученые хотели показать, что люди чаще нарушают порядок там, где порядок уже нарушен («закон разбитых окон»), сравнивалось поведение людей в двух условиях, отличающихся единственным параметром. Например, оказалось, что прохожие чаще крадут конверт с деньгами, торчащий из почтового ящика, если рядом намусорено. Для того чтобы показать, что это не частный случай, а общий закон – проводились многочисленные дополнительные эксперименты. Когда историки захотели оценить возраст Туринской плащаницы, на которой якобы отображен лик Иисуса Христа, они обратились к методу радиоуглеродного анализа. Контролем выступали исторические объекты, возраст которых очень хорошо изучен. Это позволяет оценить надежность метода. Дополнительно результаты нескольких независимых лабораторий должны были совпасть. В итоге получилось, что плащаница – средневековая подделка.
Контроли нужны не только в экспериментах. Например, в эпидемиологии недостаточно обнаружить, что курящие люди чаще болеют раком легких, чтобы прийти к выводу, что курение вызывает рак. Могло оказаться, что курящие старше, что они живут в более урбанизированной местности, больше пьют. Была даже гипотеза, что раздражения в горле, вызванные начинающимся раком, могли подталкивать людей к курению («для смягчения симптомов»). Все эти альтернативные версии исключались эпидемиологами одна за другой с помощью контролей. Про это есть замечательная статья «Доказательство причинности: дедукция из эпидемиологических наблюдений» («Proof of causality: deduction from epidemiological observation») сэра Ричарда Долла, собственно и открывшего, что курение вызывает рак. Статья показывает, насколько сложным бывает процесс выявления причинно-следственных связей.
Возникает вопрос: какие альтернативные гипотезы достойны рассмотрения? Вообщем-то любые правдоподобные, согласующиеся с уже установленными знаниями. Например, врачи не обязаны рассматривать гипотезу, что выздоровление пациентов связано не с действующим веществом лекарства, а с ангелами, которые приходят только к тем, кто принимает тот или иной препарат (допустим, их привлекает яркая этикетка). Разумеется, пока кто-то не докажет, что ангелы существуют и ведут себя таким образом.
А вот случайные совпадения существуют. Поэтому их надо исключать: для этого в исследованиях используются большие выборки и статистический анализ. Бывает так, что человек 90 лет курил по две пачки в день и раком не заболел? Бывает. И в лотерею кто-то выигрывает. Вопрос в другом: чаще ли встречается рак у тех, кто курит, или нет? Если у нас две группы по 20 человек и в одной заболело двое, а в другой – трое, то хотя наблюдаемая частота болезни отличается в 1,5 раза между группами, это различие ни о чем не говорит. А вот 200 человек против 300 из 2000 уже случайностью сложно объяснить.
Известны и другие проблемы в экспериментах. Например, иммунолог Жак Бенвенист утверждал, что антитела, разведенные столь много раз, что их уже не осталось в растворе, оказывают иное действие на некоторые клетки человека, чем растворитель. Выяснилось, что опыты в лаборатории Бенвениста воспроизводятся только если экспериментаторы знают, в какой пробирке обычная вода, а в какой — гомеопатическая. Когда провели слепой эксперимент, то есть зашифровали на время проведения анализов, в какой пробирке что находится, эффект сверхсильно разведенных антител пропал.
Еще одну важную историю я приведу из своей книги «Сумма биотехнологии».
«Среди биологов передается из уст в уста анекдотическая история о том, как в одном НИИ открыли телепатию. Исследователи брали крыс и сажали их парами в клетки, давая им возможность познакомиться. Через некоторое время клетки с парами крыс разделяли на две группы: экспериментальную и контрольную (для сравнения). Крыс из каждой пары изолировали, чтобы они не могли видеть друг друга, обмениваться звуками и запахами. В экспериментальной группе одну крысу из пары заставляли голодать, а за второй крысой наблюдали, оценивая, сколько она ест в условиях неограниченного доступа к еде. В контрольной группе обеим крысам предоставляли неограниченный доступ к еде, за одной из крыс наблюдали. Оказалось, что напарница голодающей крысы ела больше, чем напарница сытой крысы, как будто чувство голода передавалось между крысами через неизвестный нам канал информации.
Один математик заинтересовался этими опытами и уговорил исследователей, чтобы ему разрешили принять участие в постановке экспериментов. Математик заметил, что хотя ученые из института N заявляют, что выбирают, в какую группу поместить ту или иную крысу «наугад», это «наугад» сводится к тому, что экспериментатор берет вполне конкретную крысу и на свое усмотрение сажает ее в ту или иную клетку. Математик почувствовал, что здесь может быть какой-то подвох, и попросил, чтобы на каждом этапе эксперимента крысы выбирались по-настоящему честным жребием, на исход которого экспериментаторы повлиять не могли. Жребий определял, каких двух крыс посадят в одну клетку, какая пара крыс попадет в экспериментальную группу, а какая в контрольную, за какой из двух крыс будет вестись наблюдение.
Предложенная математиком процедура называется рандомизация, и эта процедура полностью устранила весь заявленный эффект телепатии у крыс. По-видимому, сами того не подозревая, исследователи помещали в экспериментальную группу крыс, которые больше ели. Учитывая, что ученые ошибку свою признали, эта история говорит о том, что даже порядочный экспериментатор может стать жертвой собственной необъективности или неосторожности».
Эта лишь часть подводных камней, с которыми может столкнуться экспериментатор. И задача честного ученого – попытаться обойти все такие препятствия. По возможности делать эксперименты слепыми и рандомизированными. Исключить возможность повлиять на результат своим субъективным мнением. С помощью статистического анализа и больших выборок попытаться исключить гипотезу о случайном характере полученных результатов. Рассмотреть альтернативные объяснения и предложить контроли, позволяющие их отсечь (в случае, если они не верны). Заранее и максимально четко сформулировать предсказание своей гипотезы и критерии успеха. Не скрывать отрицательные результаты.Важно не только грамотно спланировать эксперимент, но и корректно интерпретировать результаты. Например, Маша из эксперимента с бананами могла бы заключить, что люди в целом предпочитают бананы, а не яблоки. Но, вполне возможно, что это справедливо только для того города, где проходило исследование. Или для той страны. Это нужно, как минимум, осознавать и обозначать. Для этого в научных статьях часто есть специальное место – ограничения исследования.
Если психолог наберет испытуемых для исследования расизма с помощью рекламы в газете «Возрождение белой расы», он ошибется, если попытается перенести особенности этой группы на всех людей (выборка не репрезентативна). Аналогично, если социолог попытается сделать выводы об аудитории отечественного кинематографа, он ошибется, используя выборку, состоящую исключительно из аудитории кинокритика Евгения Баженова. Увы, я постоянно наблюдаю в интернете некорректные бытовые обобщения: Вася принадлежит к группе Х и обладает свойством Y, следовательно, все люди в группе Х обладают свойством Y.
Я думаю, что водораздел между научным и ненаучным подходом протекает где-то здесь. Ученый сомневается в своих результатах и ищет причины, по которым он может быть не прав. Он не пытается убедить себя в том, что он молодец, а ищет у себя ошибки, приветствует, когда их находят рецензенты и учится на ошибках других, в том числе представителей иных дисциплин. Таким образом, он совершенствует свой собственный исследовательский метод. Иначе он рискует застрять в прошлом веке.
Увы, до сих пор существуют научные школы (например, «стыдливой гомеопатии» Эпштейна) и целые дисциплины (например, астрология), игнорирующие современные наработки в способах формулирования и проверки гипотез. Эти проблемы есть и в естественных, и в гуманитарных науках.
Сегодня, в XXI веке, разговор о надежности тех или иных научных результатов требует базовых представлений о статистическом анализе (включая такие понятия, как поправка на множественные сравнения и теорема Байеса), ложноположительных и ложноотрицательных результатах, логических ошибках и когнитивных искажениях, ненадежности свидетельских показаний и личностного опыта, некорректности апелляции к авторитету, о том, что интуиция подводила и продолжает подводить очень многих людей, видящих научный анализ там, где его нет.
Материалы публикуемые на "НАШЕЙ ПЛАНЕТЕ" это интернет обзор российских и зарубежных средств массовой информации по теме сайта. Все статьи и видео представлены для ознакомления, анализа и обсуждения.
Мнение администрации сайта и Ваше мнение, может частично или полностью не совпадать с мнениями авторов публикаций. Администрация не несет ответственности за достоверность и содержание материалов,которые добавляются пользователями в ленту новостей.
