Версия для печати
Вернуться к списку

К ЧЕМУ ПРИВОДЯТ МУТАЦИИ НАУКОМЕТРИЧЕСКОГО ИНДЕКСА ХИРША

Уже стало общепринятым оценивать исследователей по наукометрическим показателям. При этом мониторинг ведется как по международным базам данных (Scopus и Web of Science – WoS), так и по российской (Российский индекс научного цитирования – РИНЦ в системе elibrary). Более того, экономисты, как и другие представители социальных наук, пока лучше представлены именно в отечественной системе РИНЦ, в связи с чем даже Министерство образования и науки РФ рекомендует оценивать их по показателям РИНЦ.

Между тем все эти системы оценки подвержены манипулированию, когда исследователи осуществляют в информационном пространстве некие действия, позволяющие улучшить их индивидуальный профиль. Особенно остро это проявляется при выведении наукометрических оценок в РИНЦ. В экономической науке такой эффект называется законом Гудхарта. При этом возникающие искажения могут быть настолько существенными, что вместо настоящих научных лидеров вверху списка оказываются псевдолидеры, которые смогли обратить в свою пользу нынешнюю наукометрическую систему. Эти ложные лидеры начинают поощряться деньгами, должностями и незаслуженным авторитетом, в результате чего сама наука претерпевает такие деформации, что разобраться в ней уже становится почти невозможно.

Хирш на прокачку

На сегодняшний день можно выделить несколько направлений искажения истинной информации об успехах экономистов-исследователей.

К первой группе относятся бонусы в виде цитирований за ненаучные труды – учебники, словари, статистические сборники и т.п. Своеобразным рекордсменом этого направления является В.В. Ковалев из Санкт-Петербургского государственного университета с индексом Хирша 37, который обеспечивается исключительно учебниками, пособиями и методическими рекомендациями.

Такого рода достижения представляют собой типичный пример непреднамеренного искажения информации, порождаемого нехваткой культуры у отечественных экономистов, которые в своих статьях ссылаются не на «первичные» научные труды своих коллег – статьи и монографии, а на «вторичные» источники – учебники и проч. В результате таких искажений наверху научной пирамиды оказываются не те, кто создает новое научное знание, а те, кто переписывает и переизлагает уже имеющееся.

Второе направление предполагает получение большого числа цитирований от соавторов. Такого рода ссылки по своей сути равнозначны самоцитированиям, но скрыты за чужими фамилиями приближенных лиц. Например, С.С. Лукоянчев из Ульяновской государственной сельскохозяйственной академии им. П.А. Столыпина имеет 73,8% цитирований, полученных от соавторов, и 15,5% самоцитирований, то есть лишь около 10% цитирований получено от «чужих» ученых. Такой тип искажений приводит к тому, что лучшие показатели получают исследователи, осуществляющие массовое сотрудничество с другими активно пишущими авторами.

Третье направление связано с деятельностью экономистов, имеющих публикации только с большим количеством соавторов. Это характерно, например, для группы ученых из ВШЭ, специализирующейся на статистических сборниках и аналитических докладах: у проректора ВШЭ Л.М. Гохберга 41 из 50 самых цитируемых публикаций написана с 4 и более соавторами, а у ректора ВШЭ Я.И. Кузьминова – 31 из 34. В таких случаях довольно трудно локализовать вклад исследователя, систематически работающего с большими коллективами коллег.

Четвертое направление связано с ситуацией, когда исследователь среди своих самых цитируемых материалов вообще не имеет публикаций без соавторов. В числе таковых можно видеть Н.Д. Эриашвили из Московского университета МВД РФ им. В.Я. Кикотя с индексом Хирша 20. Такая картина возникает преимущественно из-за того, что многие рядовые исследователи включают в число своих соавторов начальство без эквивалентного научного вклада с его стороны.

Пятое направление связано с наличием у исследователя серии цитирований из сомнительных источников. Например, А.Н. Асаул из Санкт-Петербургского государственного архитектурно-строительного университета с индексом Хирша 34 на свою четырехстраничную статью «Подготовка инженеров-менеджеров по управлению инновациями – залог успешного развития компании» получил 12 ссылок из журнала «Экономическое возрождение России», 2011, №1. Такого рода эффекты получили специальное название – «прокачивание» индекса Хирша за счет специально организованных цитирований в подконтрольных изданиях.

Шестое направление связано с публикациями в сомнительных изданиях. Например, имеются три автора, которые активно печатаются в «Вестнике Белгородского университета кооперации, экономики и права» с четырьмя выпусками в год, в каждом из которых около 80 статей по пять-шесть страниц; из этого же журнала на данных авторов идут постоянные серии цитирований. Как правило, такие эффекты связаны со сращиванием исследователей с руководством журналов и целенаправленными действиями по «прокачиванию» индекса Хирша путем организации ангажированных цитирований.

Разумеется, возникновение любых из указанных случаев не гарантирует мошеннических манипуляций исследователей, однако вероятность таковых достаточно велика.

Четыре цвета науки

Чтобы отделить лидеров от псевдолидеров нами с коллегами был составлен в 2016 году «Золотой рейтинг академической активности и популярности российских экономистов», который представляет собой переупорядочение исследователей с учетом их потенциала искажения истинного вклада в науку. Для этого была введена специальная классификация экономистов по четырем цветам.

Так, к «зеленой» группе ученый относится, если доля его «ненаучных» трудов (статистические сборники, словари, учебные пособия и т.п.) в массиве хиршеобеспечивающих материалов превышает 70% или доля его цитирований соавторами (без самоцитирований) в общем объеме цитирований превышает 30%.

В «желтую» группу экономист попадает, если доля трудов с четырьмя и более соавторами в массиве хиршеобеспечивающих материалов превышает 70% или в данном массиве присутствует менее трех «сольных» публикаций при индексе Хирша больше 30, менее двух – при индексе Хирша от 15 до 30 и менее одной – при индексе Хирша менее 15.

Экономист относится к «красной» группе, если для его профиля РИНЦ характерно наличие серий «искусственных» цитирований – как минимум на две сольные работы автора в перечне хиршеобеспечивающих материалов ссылаются не менее трех раз из одного источника (одного выпуска журнала, сборника тезисов конференции и т.п.) или доля его публикаций в «сомнительных» журналах превышает 25%.

К сомнительным относятся издания, не включенные в список Высшей аттестационной комиссии, или имеющие более 12 выпусков за год, или имеющие в каждом из выпусков более 20 статей, для которых обнаружены серии цитирований (как минимум одна статья с серией цитирований в каждом выпуске за последний год).

Экономист относится к «белой» группе, если относительно него не обнаружено никаких признаков, характерных для «зеленой», «желтой» или «красной» групп.

Проведенные расчеты для 500 самых активных и популярных в РИНЦ экономистов страны на начало 2016 года показали, что 75,8% «зеленых» исследователей присутствует среди «желтых», тогда как лишь 5,7 «желтых» присутствует среди «красных». Это косвенно свидетельствует о том, что группа «красных» исследователей в значительной мере автономна. По всей видимости, такой эффект связан с тем, что группы «зеленых» и «желтых» исследователей часто возникают в результате непреднамеренных действий, тогда как группа «красных» образуется в основном за счет планомерного «накачивания» наукометрических показателей.

Важно подчеркнуть, что пометка экономиста соответствующим цветом не есть волчий билет или окончательный прокурорский вердикт. Это скорее сигнал и научному сообществу, и самому исследователю, для того чтобы по крайней мере обратить более пристальное внимание на личный профиль в РИНЦ.

Индекс академической этики

Наличие «цветной палитры» среди российских экономистов говорит об определенных этических установках исследователей. Как правило, нейтральное отношение к своим библиометрическим данным позволяет сохранить человеку «чистоту», тогда как любые действия по усилению своих позиций в РИНЦ свидетельствуют о том, что индивид не гнушается использовать не только академические инструменты.

Все это может свидетельствовать об отступлении от строгих стандартов академической этики. При прочих равных условиях можно говорить, что чем больше «цветных» исследователей и чем ярче их цвет, тем менее склонно академическое сообщество придерживаться этических стандартов.

Для замера морального климата в среде российских экономистов был сконструирован специальный индекс академической этики (ИАЭ), который взвешивал экономистов разного цвета с разными коэффициентами. Максимально величина построенного индекса может достигать 100%. Расчет по группе 500 самых активных и популярных экономистов России показал, что индекс академической этики составил 69,9%, то есть моральные устои даже научных лидеров страны далеки от идеала.

Однако более интересной представляется картина по различным организациям. Например, среди вузов страны наблюдается очень сильная дифференциация научной этики. Так, Ставропольский государственный аграрный университет (ИАЭ – 25,0) почти в четыре раза морально более «грязный» по сравнению с максимально незапятнанным вузом – Московским государственным университетом им. М.В. Ломоносова (95,5).

Среди исследовательских институтов ситуация обстоит гораздо лучше. Во-первых, общий уровень академической этики у профессиональных исследователей выше, чем у преподавателей вузов. Во-вторых, дифференциация между исследовательскими организациями не так велика.

Данный факт легко объясним – именно в вузах давление регулятора с его требованиями относительно наукометрических показателей проявляется наиболее сильно. Кроме того, надо признать, что в отечественных вузах академические традиции вообще не слишком сильно укоренены, что и приводит к пренебрежению этическими нормами.

Если посмотреть на региональные источники академической нечистоплотности, то легко увидеть, что она концентрируется в провинции. Приемлемый уровень этики наблюдается в столицах – Москве и Санкт-Петербурге, а оплотом этических норм выступает Новосибирск с его знаменитым академическим городком. В Воронеже организации в среднем почти в два раза активнее фальсифицируют свои РИНЦ-показатели, чем в Новосибирске.

Надо сказать, что более скрупулезный анализ говорит о том, что экономисты именно из региональных вузов выступают в качестве самых рьяных манипуляторов в системе РИНЦ. Такое положение дел связано со многими обстоятельствами, в числе которых немаловажное значение имеют затрудненный доступ для регионалов в ведущие столичные издания и более жесткая конкуренция за рабочие места в провинциальных вузах.

Три линии действий

Как всегда, правомерно задать сакраментальный вопрос: что делать?

Здесь можно выделить три линии действий. Первая предполагает более тонкие и деликатные действия со стороны регулятора, который не должен стимулировать примитивные стратегии успеха исследователей и научных организаций. Однако новая регуляторная концепция появится, по-видимому, не скоро.

Вторая линия связана с обращением научного сообщества к РИНЦ с подробным набором предложений, которые необходимо выполнить для усовершенствования базы данных и алгоритмов формирования наукометрических показателей. Например, нельзя учитывать в цитированиях исследователей учебники, словари и статистические сборники. Западные базы данных с этим требованием давно справились, теперь на очереди РИНЦ. Однако, судя по всему, это долгий процесс.

Третья линия связана с постоянным мониторингом рынка исследователей с учетом возникающих злоупотреблений. Широкое ознакомление результатов рейтингования с информационными маркерами относительно отдельных персон также способно охладить мошеннический пыл многих из них. Опыт показывает, что ученые болезненно реагируют на попадание в черные списки, а это и есть лучшая гарантия сокращения нежелательной практики.