Новости и мнения

Осложнения репликации

Инициатива по тиражированию ключевых результатов в биологии рака дает предварительный вывод: это сложно.

Five papers published in eLife this week (January 19) provide the first results of the Reproducibility Project: Cancer Biology—a collaborative effort between the Center for Open Science (COS) and Science Exchange that aims to independently replicate experiments from high-profile cancer biology papers. Пять статей, опубликованных в eLife на этой неделе (19 января), представляют первые результаты проекта «Воспроизводимость: Биология рака» – совместное усилие Центра открытой науки (COS) и Научного обмена, целью которого является независимое копирование экспериментов с высокой профильные документы по биологии рака. Результаты показывают, что по ряду технических и других причин воспроизведение опубликованных результатов является сложной задачей.

«Это чрезвычайно важное усилие. Несмотря на то, что опубликованные результаты относятся только к небольшому набору более крупного проекта, картина убедительна в том, что воспроизводимость в биологии рака очень трудно достичь », – сказал Джон Иоаннидис из Медицинской школы Стэнфордского университета, который не был связан с проектом. «Я вижу результаты не в негативной форме. , , но как проверка реальности и как возможность двигаться в правильном направлении, что означает большую прозрачность, большую открытость, более детальное документирование [методологии] и большую честность с самими собой ».

Исследователи запустили проект «Воспроизводимость: биология рака» в 2013 году с целью независимой репликации подмножества экспериментов из 50 наиболее влиятельных работ по биологии рака, опубликованных в период между 2010 и 2012 годами. (По финансовым причинам на сегодняшний день команда расширила анализ примерно до 30 работ.)

По результатам аналогичного проекта COS – проекта «Воспроизводимость: психология», в котором только от одной трети до половины исследованных результатов были успешно воспроизведены, ожидалось, что для этого нового проекта репликация будет столь же трудной, сказал он. Брайан Носек , соучредитель и исполнительный директор COS, который руководил обоими проектами.

«Таким образом, цель проекта состояла в том, чтобы максимизировать качество методологии, чтобы мы могли узнать как можно больше», – сказал он The Scientist . В конце концов, «если мы просто плохо выполняем эксперименты, то не интересно не копировать вещи».

Чтобы повысить свои шансы на успех репликации, исследователи связались с авторами оригинальных документов для получения совета и, по возможности, с реагентами, написали подробные протоколы, которые затем были рассмотрены этими авторами, и представили протоколы и экспериментальные планы в eLife для рецензирования и анализа. публикация в виде « зарегистрированных отчетов ».

Несмотря на эти подготовительные усилия, лишь немногие из экспериментов, о которых сообщалось в первых пяти исследованиях репликации, дали результаты, эквивалентные результатам оригинальных исследований. В некоторых случаях новые эксперименты давали разные или менее статистически значимые результаты, чем оригиналы, в то время как в других результаты репликации были спутаны, среди прочего, из-за различий в том, как конкретные клетки или модельные мыши вели себя между оригинальными и новыми исследованиями.

В электронном письме The Scientist авторы оригинальных исследований указали потенциальные причины некоторых расхождений, таких как предполагаемые различия в пробоподготовке, использование различных статистических методов и многое другое.

Лоуренс Табак , главный заместитель директора Национального института здравоохранения, который не участвовал в проекте, ставит отдельные лаборатории в центр внимания . «Я особенно обеспокоен тем, что люди будут смешивать трудности с воспроизводимостью с такими гнусными вещами, как проступки и так далее. Дело не в этом ». Вместо этого, по его словам,« усилия, подобные этому проекту по воспроизводимости, действительно подчеркивают, насколько невероятно сложны биомедицинские исследования ».

Чтобы улучшить воспроизводимость в науке через содействие доступу к методологическим деталям и необработанным данным, COS разработала серию руководств «Повышение прозрачности и открытости» (TOP) для журналов, спонсоров и научных обществ для принятия. По словам Тима Эррингтона , менеджера по мета- науке в COS, который возглавляет новый проект, более 750 журналов и организаций стали ТОП подписавшими. Но, по его словам, необходимы культурные изменения.

Способ, которым мы вознаграждаем ученых, «основан на результатах», сказал он. «Сколько публикаций вы получили? , , . В каких журналах они находятся? Но мы не ученые, потому что мы знаем, каков будет результат ». Воспроизводимость должна быть вознаграждена, сказал Эррингтон.

В конечном итоге Табак отметил, что такой сдвиг является «общей ответственностью» между финансирующими агентствами, которые инвестируют в исследования репликации, журналами, которые продвигают и поощряют прозрачность, и самими учеными.

В самом деле, согласился Иоаннидис: «Чем больше вы получаете от этих заинтересованных сторон, тем больше вероятность того, что ситуация действительно улучшится».

F. Aird et al., «Исследование репликации: ингибирование BET бромодомена как терапевтическая стратегия для нацеливания на c-Myc», eLife, 6: e21253, 2017.

S. Horrigan et al., «Репликационное исследование: секвенирование генома меланомы выявляет частые мутации PREX2 », eLife, 6: e21634, 2017.

S. Horrigan et al., «Исследование репликации: взаимодействие CD47-сигнального регуляторного белка альфа, SIRPa, является терапевтической мишенью для солидных опухолей человека», eLife, 6: e18173, 2017.

I. Kandela et al., «Репликационное исследование: обнаружение и доклиническая проверка показаний к лекарственным средствам с использованием сборника общедоступных данных по экспрессии генов», eLife, 6: e17044, 2017.

C. Mantis et al., «Репликационное исследование: совместное введение проникающего в опухоль пептида повышает эффективность лекарств от рака», eLife , 6: e17584, 2017.

Б. А. Носек и Т. М. Эррингтон, «Осмысление репликации», eLife, doi: 10.7554 / eLife.23383.001, 2017.

Исправление (18 января): Проект « Воспроизводимость: Биология рака», запущенный в 2013 году, а не в 2014 году, как было написано ранее. Ученый сожалеет об ошибке.

Обсуждение

Ваш e-mail не будет опубликован. Обязательные поля помечены *