Версия для печати
Вернуться к списку

НАУКОМЕТРИЯ НЕ ЗАМЕНИТ ЭКСПЕРТИЗУ

ФАНО и академики-скептики наконец-то нашли общий знаменатель для проверки институтов РАН

Проблема оценки научного труда дебатируется в России уже многие годы. А в ходе подготовки реформы Российской академии наук и особенно после ее начала она обострилась. Реформаторы, возглавляемые Дмитрием Ливановым, еще даже до назначения его министром образования и науки пытались доказать, опираясь на наукометрические методы, что РАН и вообще фундаментальные науки в России в глубоком кризисе, и главная причина этого — архаичная организация. Академическое сообщество, признавая, что проблемы с фундаментальной наукой в России есть, тем не менее отвергало и упреки в свой адрес, и сами методы наукометрической оценки своей работы как не отражающие реальный уровень работы ученых. Академия проводила свои, корпоративные оценки работы институтов и неизменно доказывала, что уровень каждого из них соответствует первой категории. И это вызывало подозрения в необъективности.

Чтобы отвести от себя подозрения в предвзятости, в которой ФАНО постоянно упрекали многие сотрудники академии, во главе комиссии, проводящей проверку, были поставлены люди, которым трудно что-либо указать: академики Валерий Рубаков и Роберт Нигматулин

В апреле 2017 года Федеральное агентство научных организаций (ФАНО) приняло решение провести внеочередную оценку результативности подведомственных ему научных организаций за период с 2013 по 2015 год. И чтобы отвести от себя подозрения в предвзятости, в которой ФАНО постоянно упрекали многие сотрудники академии, во главе комиссии, проводящей проверку, «были поставлены люди, которым трудно что-либо указать: академики Валерий Рубаков и Роберт Нигматулин», — сказал вице-президент РАН Алексей Хохлов. А сама оценка строилась на независимой экспертизе (именно этого много лет и требовали в академии), дополненной наукометрическими данными, которые играют в этом случае вспомогательную роль.

Проверка закончена, и ФАНО совместно с РАН представило ее результаты. Оценку прошли 454 организации. В первую категорию попали 142, во вторую — 205, в третью — 107.

Организации были распределены по пяти областям: медицинские, технические, гуманитарные, сельскохозяйственные и естественные науки. Больше всего учреждений, оказавшихся в первой категории, относятся к естественным наукам — их 76. Почти половина организаций третьей категории, 50 из 107, — сельскохозяйственные институты.

Как отметил в одном из своих выступлений Алексей Хохлов, «смысл оценки состоял в том, чтобы как-то показать, какие институты являются лидерами, какие институты работают на мировом уровне, какие хорошие, просто средние институты и у каких институтов есть проблемы, которые надо решать. Первая категория — это лидеры, это институты, в которых наука находится на мировом уровне. Вторая — это те институты, которые хорошо работают, и это бо́льшая часть институтов. И третья категория — там, где есть проблемы». Что касается публикаций в международных базах данных, то в институтах первой категории на одного исследователя приходится 0,68 публикации в журналах Web of Science, в институтах второй категории — 0,36, в третьей — 0,13.

Оценка показала, что лучшие организации находятся в Москве и Московской области, хорошо себя показали учреждения Северо-Западного и Сибирского федеральных округов

Оценка показала, что лучшие организации находятся в Москве и Московской области, хорошо себя показали учреждения Северо-Западного и Сибирского федеральных округов.

«Хуже всего дело обстоит на Северном Кавказе и в Южном федеральном округе. Причины, наверное, понятны, можно было этого ожидать. Факт жизни такой, что оттуда меньше всего институтов первой категории и, наоборот, довольно много институтов третьей категории», — отметил председатель комиссии по оценке результативности деятельности научных организаций академик РАН Валерий Рубаков.

История вопроса

До последней четверти ХХ века мало кому приходило в голову оценивать деятельность научных организаций и ученых наукометрическими, то есть формально-цифровыми, данными: авторитет или качество работы того или иного ученого обычно определялись мнением его коллег. Оно могло выражаться разными способами, но, так или иначе, именно мнение других ученых лежало в основе явной (или неявной) экспертной оценки.

По мере накопления исследовательского опыта ученого экспертная оценка служила средством формирования репутации. Но она же стимулировала конформизм. Ученому-бунтарю, стремящемуся выйти за рамки сложившейся парадигмы, было трудно получить положительные отзывы коллег, карьера которых уже сложилась.

По мере того как во всем мире средств на науку стали выделять все больше, а проектов вроде атомных и ракетных, которые своими результатами могли бы подтверждать оправданность затрат, становилось все меньше, государства для оценки эффективности своих затрат на научные исследования начали использовать язык управления из мира экономики и требовать даже от фундаментальной науки четких критериев оценки эффективности. Такими показателями прежде всего стали публикационная активность, индексы цитирования и Хирша.

В результате последние годы в мире наблюдается взрывной рост количества научных публикаций, и обусловлено это не желанием получить научный результат, а единственной целью — опубликоваться. Появилось даже выражение publish or perish («публикуйся или умри»). Хотя в момент зарождения наукометрии ничто не предвещало, что результат ее применения примет такие радикальные формы. Но оказалось, что стремление подвергнуть процесс научного творчества управленческому контролю и максимально формализовать его спровоцировало существенный сдвиг в культуре самих научных исследований.

Вот почему в научной среде во всем мире стало все более преобладать мнение, что сами по себе наукометрические данные, надо рассматривать исключительно как дополнительные источники. Они могут оказаться полезными, но брать их за основу при оценке качества научно-исследовательского труда, его результативности, эффективности и актуальности — абсурдно.

Зарубежный опыт

Как сказал академик Валерий Рубаков в интервью «Стимулу», «такого рода проверки научных организаций проводятся и в других странах. Например, в Великобритании бывают такие же массовые проверки по всем направлениям наук. Но у них от начала до конца процесса проходит пять лет. Мы изучали их опыт. А я участвовал в оценке в Италии. Хотя там проверяется институт за институтом, а не все одновременно».

Во Франции после четырех лет работы лаборатории ее деятельность оценивается по определенной схеме (лаборатория готовит отчет, в котором отражает разные показатели: количество статей, список докладов на конференциях, В оценивающий комитет входят не только представители Национального центра научных исследований CNRS, университетов, промышленности, но и иностранные специалисты. Сама оценка обычно происходит в конце третьего года работы, чтобы в запасе был год для принятия решения о необходимых изменениях в структуре лаборатории (слияниях, разделениях и т. п.). Часто лаборатории функционируют по восемь лет без структурных изменений.

В Германии только университеты каждый год оцениваются научным советом. В соответствии с результатами этой оценки ежегодно издается рейтинговый лист, или рейтинговый список университетов. В обществах Гельмгольца, Макса Планка и Фраунгофера не существует системы проведения регулярных оценок. Институты, входящие в их состав, могут подвергнуться экспертной оценке, только если с просьбой проверить деятельность того или иного института или общества в целом обращается правительство, но это довольно редкое явление. Если проверка назначена, то ее проводит группа экспертов в конкретной области. Важно, что в эту группу входят не только немецкие специалисты, но и иностранные.

Есть несколько принципов, которые используются в Германии для эффективной оценки деятельности научно-исследовательских учреждений.

Первый принцип — прозрачность. Каждый имеет возможность получить информацию, как и кем проводится экспертная оценка. Второй — участие. Это означает, что в работе экспертной группы участвует весь институт. Еще до прибытия экспертов в институт все его сотрудники знают состав группы и имеют право отклонить ту или иную кандидатуру. Третий принцип — институт должен безоговорочно принять рекомендации, выносимые экспертной группой.

Дебаты о релевантности библиометрических методы в оценке деятельности институтов идут и в Германии. И методы, которые там используются, — это сочетание качественной экспертной оценки и наукометрический метод.

В Германии только университеты каждый год оцениваются научным советом. В соответствии с результатами этой оценки ежегодно издается рейтинговый лист, или рейтинговый список университетов. В обществах Гельмгольца, Макса Планка и Фраунгофера не существует системы проведения регулярных оценок

Тем не менее в Германии считают, что и эти методы не без недостатков: слишком много времени уходит на подготовку отчетных материалов о деятельности институтов, слишком много сотрудников приходится привлекать к этому процессу. Им приходится оставить научную работу и погрузиться в подготовку большого подробного доклада. Часто это занимает полгода интенсивной работы.

Ознакомившись с докладом, экспертная группа прибывает в институт и работает там от двух дней до недели — это зависит от размеров института и количества входящих в него лабораторий. В результате группа выносит решение относительно эффективности его научной деятельности и дает свои рекомендации. И у института есть три года на то, чтобы эти рекомендации выполнить.

Мнения со стороны

И вот после почти тридцати лет обсуждений в России тоже пришли к выводу, что оценка деятельности научных организаций должна строиться на независимой экспертизе, дополненной наукометрическими данными, которые играют в этом случае вспомогательную роль.

Мы попросили некоторых академиков, известных своей активной позицией при обсуждении реформы РАН, высказать свое мнение по поводу проведенной оценки.

Академик Алексей Паршин, активный критик безоглядного использований наукометрических методов с самого начала дискуссии по этому поводу, сказал нам: «Мы добились, что наше мнение учли. Пока министром был Ливанов, он жестко требовал ставить во главу угла оценки институтов не экспертизу, а наукометрические показатели».

Академик Александр Некипелов настроен более скептически. По его мнению, «вреда от этой работы при любой ее организации, при любых критериях больше, чем пользы. Я не вижу никакого смысла наклеивать на институты какие-то ярлыки. К сожалению, мы сделали большой шаг назад по сравнению с тем, что было в подвергавшейся серьезной критике академии. Тогда система контроля заключалась в том, что раз в пять лет проводилась комплексная проверка институтов. Она называлась комплексной, потому что охватывала не только сферу их профессиональной деятельности, но и финансы, и управление имуществом. Но ключевой, конечно, была оценка их деятельности. Эта проверка проводилась в течение нескольких недель. Это были специалисты, которые заранее имели представление о том, что делается в институте, они знакомились с проведенными работами, обменивались мнениями. На этой основе формулировали выводы и предложения».

После почти тридцати лет обсуждений в России тоже пришли к выводу, что оценка деятельности научных организаций должна строиться на независимой экспертизе, дополненной наукометрическими данными, которые играют в этом случае вспомогательную роль

А директор Института проблем управления член-корреспондент РАН Дмитрий Новиков заметил, что «сама по себе идея анализа деятельности институтов и выбранный метод его проведения вполне осмысленны. Но дальше начинается проблема. Каждую группу, на которые разбивали институты, разбивали, в свою очередь, на три категории: лучшие, средние, худшие. Но не исключена такая ситуация, что, если бы мы взяли другое разбиение, получилась бы другая ранжировка.

Сейчас ранжировали академические институты, подвергнутые реструктуризации. Но согласно постановлению правительства, оценке деятельности подлежат все научные и образовательные организации. Если бы мы смешали вузы с академическими институтами, то результаты ранжировки были бы совсем другими. Добавили бы отраслевые институты — опять бы получилось все по-другому.

Кроме того, в экспертных комиссиях в среднем было по одному-два человека, которые понимали в том научном направлении, которым занимается проверяемый институт. Другие просто смотрели на цифры и на мнение специалистов. С учетом сказанного главное — не принимать никаких радикальных решений на основании этой проверки, иначе можно наломать дров».

Итоги оценки институтов РАН/ФАНО

Надо заметить, что участники пресс-конференции, посвященной подведению итогов оценки деятельности научных организаций как раз и подчеркивали, что ни ФАНО, ни Академия наук не имеют желания «репрессировать» институты третьей категории. «В целом это не те организации, которые надо изничтожать. Я категорически против того, чтобы на базе этой оценки произошли какие-то жесткие изменения», — заявил Валерий Рубаков. А по мнению Алексея Хохлова, попадание во вторую и третью категории даже может принести институтам существенную пользу. «Наличие какой-то оценки — в данном случае это первая, вторая, третья категории — стимулируют организации подняться, перейти с одной ступеньки на другую. Это очень важный стимул», — подытожил Хохлов.

А рассказывая о том, как была организована проверка, глава ФАНО Михаил Котюков подчеркнул, что, тем кто ее проводил, с самого начала было ясно, что «так называемая наукометрическая оценка не должна была стать основной и единственной». А чтобы обеспечить независимость оценок, ФАНО постаралось сформировать ведомственную комиссию, экспертные советы, работающие в рамках комиссии, из представителей организаций, не имеющих отношения к агентству. Во главе комиссии были поставлены известные критики деятельности ФАНО академики Валерий Рубаков и Роберт Нигматулин.

«Наличие какой-то оценки — в данном случае это первая, вторая, третья категории — стимулируют организации подняться, перейти с одной ступеньки на другую. Это очень важный стимул»

Предварительные результаты оценки институтов вызвали в определенной части научного сообщества и критику — в основном со стороны тех, кто попал во вторую и третью категории. «Всего прислали апелляции около 130 организаций. Из них чуть больше 30 мы удовлетворили», — рассказал Рубаков.

Алексей Хохлов отметил, что подход ФАНО к оценке научных организаций следовало бы применять и другим федеральным органам исполнительной власти, поскольку он отличается прозрачностью: «Недавно состоялась межведомственная комиссия, на которой были рассмотрены результаты по Федеральному агентству научных организаций и по ряду других организаций — Минздрав, Федеральное медико-биологическое агентство, Министерство образования и науки и так далее». Но если у ФАНО все прозрачно и понятно, то информацию об оценке некоторых других организация, по мнению академика Хохлова, прозрачной не назовешь. По его словам, например, в организациях Минздрава, вошедших в первую категорию, показатели публикационной активности почти в три раза ниже, чем в институтах ФАНО.

А Валерий Рубаков в интервью «Стимулу» особо отметил, что по итогам аттестации институтов у него «стало больше оптимизма в отношении состояния науки в России: видно, что жизнь идет и где-то даже бьет ключом. Опасность, которая в 2013 году казалась неизбежной, отступила. С другой стороны, чтобы нормально жить, надо, чтобы институты работали по-другому, не так, как последние двадцать лет. В смысле и финансового, и организационного обеспечения».