Новости и мнения

Прогнозирование издательских фьючерсов

Исследователи измеряют научную продукцию, чтобы определить, предсказывает ли прошлый успех будущую производительность.

Как бы трудно ни было прогнозировать успех исследователя, область мета-науки – исследование ученых – дает ему толчок. В исследовании, опубликованном сегодня (12 сентября) в журнале Nature , ученые Северо-западного университета и Чикагского университета использовали результаты прошлых лет для прогнозирования будущего h-индекса исследователя, показателя научной деятельности, который учитывает количество публикаций и цитат.

«Это первое исследование, которое я видел, чтобы попытаться прогнозировать индекс h в перспективе», – сказал Питер Хиггинс, профессор гастроэнтерологии в Университете Мичигана, который не принимал участия в исследовании. Хиггинс отметил, что предсказание будущих результатов – это именно то, что пытаются сделать комитеты департаментов, когда они оценивают преподавателя на повышение или срок пребывания в должности. «Мы инвестируем в этого конкретного преподавателя? Они на правильном пути?

Индекс h был разработан в 2005 году Хорхе Хиршем , физиком из Калифорнийского университета в Сан-Диего, для количественной оценки научного воздействия отдельных научных публикаций. Он рассчитывается с использованием количества статей, опубликованных исследователем, и количества ссылок, полученных этими статьями. Индекс h 15, например, указывает ученого с 15 статьями, каждая из которых цитируется не менее 15 раз.

Профессор физической медицины и реабилитации Конрад Кёрдинг из Школы медицины им. Файнберга Северо-Западного университета хотел найти способ определить, можно ли использовать прошлые результаты, количественно определяемые индексом h, для прогнозирования будущих результатов и, таким образом, использовать их для информирования о найме и найме на работу. комитеты в академии. Чтобы найти качества, которые соотносятся с будущими номерами индексов h, Кёрдинг и его коллеги обратились к Scopus, базе данных научных публикаций. После того, как пул исследователей сократился до 3000 неврологов, а также нескольких биологов-эволюционистов и исследователей дрозофилы , исследователи взяли основную информацию из биографий исследователей через 5 лет после их первой публикации и изучили, какие качества предсказывают h индексов еще через 5 лет. вперед.

Команда подозревала, что такая информация, как качество работы научного руководителя или время, потраченное на окончание обучения в аспирантуре – важные соображения для академических поисковых комитетов – будет сообщать будущие числа h, но на самом деле окончательное уравнение было относительно простым. В дополнение к индексу h они включали только четыре других фактора: общее количество публикаций, годы с момента первой публикации исследователя, количество статей в журналах верхнего уровня и количество различных журналов, в которых эти публикации находятся.

«Мы были удивлены тем, сколько функций было опущено [из окончательных уравнений]», – сказал Даниэль Акуна из Northwestern, первый автор исследования. В совокупности эти факторы были в состоянии предсказать 5-летние будущие h-индексы с точностью около 66%, в то время как только h-индекс прогнозировался с точностью менее 50%. (Как ваш индекс h продержится со временем? Чтобы получить представление, вставьте свою статистику в онлайн-калькулятор )

Акуна и Кёрдинг выдвигают гипотезу, что публикация в разных типах журналов может быть важна, потому что это обеспечивает более широкую экспозицию для работы и больше возможностей для цитирования. Это может также отражать склонность исследователя к сотрудничеству или междисциплинарным исследованиям, которые могут повлиять на продуктивность исследователя, сказал Карл Бергстрем , биолог-эволюционист из Университета Вашингтона, который не участвовал в исследовании.

Но Хирш опасается, что разнообразие публикаций, которое способствует более долгосрочным прогнозам индекса h (более 10 лет), чем более краткосрочным оценкам (от 1 до 5 лет), может быть случайностью. «По крайней мере, в моей области», – отметил Хирш в электронном письме, – «это признак того, что журнал« разыскивает »журнал, который примет бумагу, которая была отклонена более популярными журналами, что должно быть негативным показателем будущего успеха. »

Кроме того, «мы не знаем, является ли корреляция причинной», сказал Бергстрем. «Это может быть ложная корреляция».

Несмотря на это, Кёрдинг надеется, что исследование может вывести некоторые догадки из процесса принятия решений в поисковых комитетах и ​​учебных секциях, которые часто следуют внутренним чувствам при выборе среди возможных кандидатов. «Круто, вы знаете, насколько каждая функция должна влиять на оценку поискового комитета», – сказал Кёрдинг.

Однако некоторые предостерегают от попыток применить эту работу в областях, выходящих за пределы нейробиологии. «Некоторые области лучше процитированы, чем другие», – объяснил Сидни Реднер , физик из Бостонского университета, который не был связан с работой. «Методология очень зависит от области. С разными полями вам, вероятно, понадобятся разные параметры ».

И, конечно, даже если исследователи смогут точно предсказать будущий индекс человека в будущем, одно число «не заменит чтения», сказал Бергстрем. «Это только приблизительное количественное руководство».

D. Acuna и др., «Предсказание научного успеха», Nature , 489: 201-202, 2012.

Обсуждение

Ваш e-mail не будет опубликован. Обязательные поля помечены *