Новости и мнения

Исследование: экспертная оценка предсказывает успех

Согласно анализу, ученые, которые оценивают заявки на получение грантов Национальным институтом здравоохранения, часто определяют проекты, которые окажут наибольшее научное влияние.

The National Institutes of Health (NIH) peer-review scoring system, which is used to select grant proposals for funding, is an accurate predictor of how impactful proposed research will ultimately become, according to an analysis published today (April 23) in Science . Система Национальных институтов здравоохранения (NIH), которая используется для выбора грантовых предложений для финансирования, является точным предиктором того, насколько результативными будут предложенные исследования, согласно анализу, опубликованному сегодня (23 апреля) в науке . В целом, соискатели, получившие самые высокие баллы, опубликовали большинство работ, получили наибольшее количество ссылок и получили наибольшее количество патентов, обнаружили исследователи.

«Это самый важный документ по научной политике за долгое время», – сказал Пьер Азулай из Слоунской школы управления Массачусетского технологического института, который не принимал участия в исследовании. Когда дело доходит до рецензирования, «большинство понтификаций, которые вы слышите – большая часть гнева, редакционных статей, предложений по реформе – были удивительно свободны от данных. Так что эта статья, насколько мне известно, действительно глоток свежего воздуха ».

«Как оказалось, – добавил он, – НИЗ делает довольно хорошую работу».

Процесс, с помощью которого гранты NIH применяются, рассматриваются и присуждаются, в последние годы подвергался тщательному анализу. Одной из проблем является то, что большие затраты времени и усилий как соискателей, так и рецензентов сокращают время, которое они могут потратить на исследование.

Другая проблема заключается в том, действительно ли процесс рецензирования работает. «Существует очень мало предварительных исследований о том, насколько эффективны комитеты по рецензированию при принятии решения о том, какие гранты подавать заявки, и все же это основной механизм, с помощью которого выделяется финансирование науки в Соединенных Штатах и ​​на международном уровне», – сказала соавтор исследования Лейла Ага из Бостонский университет, Школа бизнеса Questrom.

Чтобы оценить эффективность процесса рецензирования NIH, Ага и Даниэль Ли из Гарвардской школы бизнеса подсчитали научное влияние более 130 000 проектов, финансируемых за счет грантов R01 из всех институтов агентства, с оценками, которые эти проекты получили в ходе проверки. Ага и Ли оценили научное влияние по количеству публикаций, в которых признавалось финансирование за счет гранта, ссылок на эти публикации и патентов, в которых цитировались либо сам грант, либо публикация, финансируемая грантом. В целом, они обнаружили, что «чем лучше оценка, которую установил комитет [экспертной оценки], тем выше вероятность того, что грант приведет к большому количеству публикаций или публикациям, которые будут цитироваться, или даже. , , в исследованиях, которые в конечном итоге запатентованы », – сказал Ага The Scientist . «Результаты свидетельствуют о том, что комитеты успешно проводят дискриминацию даже среди очень сильных заявлений».

Эта корреляция сохранялась даже после того, как Ага и Ли объяснили различия между приложениями, например, год, когда грант был профинансирован, или полномочия главного исследователя, включая историю публикаций, организацию и предыдущую историю финансирования. Это показало, «что внутренняя заслуга научной идеи более ценна, чем фактическая личность», – сказал Аруни Бхатнагар , профессор медицины в университете Луисвилля, который не принимал участия в работе.

Результаты «иллюстрируют способность рецензентов NIH определять, какие проекты будут наиболее перспективными», – сказал Брайан Джейкоб , профессор политики в области образования и экономики в Мичиганском университете. «Было бы немного беспокойно, – добавил он, – если бы они не поняли это правильно».

Это исследование не было первой попыткой оценить подход федерального агентства к финансированию. Собственный сотрудник NIH Майкл Лауэр , директор отдела сердечно-сосудистых наук в Национальном институте сердца, легких и крови (NHLBI), ранее не обнаружил никакой корреляции между оценкой процентиля в рецензировании и последующим научным воздействием в анализе финансируемых грантов NHLBI . Лауэр предположил, что это потому, что его анализ рассматривал только новые заявки на гранты, в то время как Ага и Ли исследовали все гранты – новые и обновленные.

«Литература предполагает, что эксперты гораздо лучше оценивают результаты прошлого и настоящего, чем предсказывают, что произойдет в будущем», – сказал Лауэр в интервью The Scientist . Однако Ага отметила, что даже когда она и ее коллега отделяли новые гранты от возобновленных, они видели аналогичные результаты.

Ага и Ли, получившие награды от всех институтов NIH, проанализировали большее количество грантов, чем Лауэр (137 215 против 1 492) за более длительный период времени. Это также, возможно, способствовало очевидным расхождениям между исследованиями. Помимо различий, «критическое послание», сказал Лауэр, «то, что разговор о рецензировании грантов переходит в эту область строгой науки. Вместо того, чтобы спорить о мнениях. , , мы обсуждаем фактические данные ».

Даже если рецензирование является удовлетворительным предиктором будущего научного успеха, это «не означает, что процесс нельзя сократить и улучшить», сказал Джейкоб.

Результаты этого последнего анализа показывают, что такие улучшения могут быть построены на прочной основе, сказал Азулай. «Мы не начинаем с ситуации, когда рецензирование – это полная катастрофа и когда мы с таким же успехом можем выбирать проекты из шляпы или бросать дротики», – сказал он. Уточняя и реформируя процесс, он добавил: «Не нужно будет выбрасывать ребенка с водой».

Д. Ли и Л. Ага , « Большие имена или большие идеи: выбирают ли коллегиальные рецензии лучшие научные предложения?» Science, 348: 434-438, 2015.

Обсуждение

Ваш e-mail не будет опубликован. Обязательные поля помечены *