Версия для печати
Вернуться к списку

Оцените по достоинству

Реорганизация научного комплекса в стране началась, как известно, с сокращения РАН и введения Министерством образования и науки количественных показателей для применения стимулирующих выплат научным работникам и руководителям научных учреждений. В этой статье мне хотелось бы подробно обсудить ряд аспектов предложенной Минобрнауки системы оценки научной деятельности и уточнить некоторые цифры, характеризующие состояние отечественной науки и ее имидж в мире.

На протяжении последних 35 лет использование количественных критериев для определения эффективности научной работы преподавателей и ученых США и Европы считается общепризнанной нормой. Все библиометрические исследования в этой области основаны на статистике баз данных (БД) выпускаемого с 1964 года Институтом научной информации США (Institute for Scientific Information, ISI) Указателя цитированной литературы (Science Citation Index, SCI) и его производных, в частности - Указателя цитируемости журналов (Journal Citation Reports, JCI).

К основным наукометрическим показателям относятся: количество публикаций, частота цитируемости работ, импакт-фактор научного журнала, в котором они были опубликованы, количество полученных национальных и международных грантов, участие исследователей в международных научных проектах и в составе редколлегий научных журналов. Именно совокупность этих критериев используется во всем мире для оценки научной деятельности.

Поскольку Минобрнауки предлагает свои подходы, позволю себе высказать несколько принципиальных замечаний по этому поводу.

1. Оценка деятельности индивидуального исследователя является наиболее сложной и чувствительной проблемой, независимо от того, для каких целей она проводится. Создатель SCI доктор Юджин Гарфилд неоднократно предупреждал, что количественные показатели - это только инструмент для оценки, а решающим всегда должно оставаться мнение экспертов.

Специалистов, занимающихся оценкой цитируемости индивидуальных исследователей, у нас в стране единицы. Возможно, поэтому списки цитируемости, вывешиваемые на сайте www.scientific.ru, страдают многочисленными ошибками. Полагаю, что необходимо организовать “прозрачное” проведение такой экспертизы и обнародовать имена специалистов, которые будут заниматься этой работой.

2. Система раздачи баллов формализована и не понятна. Предложения министерства почему-то сводят все к подсчету очков. При этом присуждение самого высокого балла за публикацию в рецензируемом журнале практически аннулирует значение доклада на международной конференции, а он, между прочим, проходит серьезную научную экспертизу, гарантирующую высочайший уровень исследований выступающего ученого.

3. Оценка вклада соавторов вызывает недоумение. Наука на протяжении последних 40 лет демонстрирует тенденцию роста соавторства в научных публикациях. По статистике ISI в 1960 году одна статья была опубликована при участии 1,9 специалиста; в 1980 году - при участии 2,5, в 2003 году - при участии 4,3 специалиста. Исходя из этих сведений, было бы целесообразно присвоить каждому из соавторов, если их не более пяти, равный балл за публикацию. Ученым, подготовившим работу в коллективах из пяти и более человек, следовало бы присуждать по 50% от общего балла публикации.

В подготовке статей, относящихся к физике высоких энергий, нередко задействованы 50-60 соавторов, но разве это позволяет (как следует из логики Минобрнауки) присваивать серьезным высокоцитируемым работам лишь по десятой доле общего количества баллов? А как быть с работами, относящимися к мегапроектам, число соавторов в которых может быть и выше 100? Не будем забывать, что участие в таких проектах весьма престижно для любой страны.

4. Дисциплинарная ориентированность исследований совершенно не учитывается в предложениях министерства. В то же время известно, что цитируемость биохимиков во много раз выше, чем цитируемость физиков или математиков. По сравнению с физикой науки о жизни и биомедицина имеют бесспорное преимущество при подсчете ссылок (по этим направлениям работает гораздо большее количество людей и проводится большее число экспериментов, результаты которых публикуются в огромном количестве статей).

То же самое явление наблюдается при рассмотрении импакт-факторов научных журналов. Например, по БД JCR за 2005 год из 6086 журналов 50 изданий имеют импакт-фактор в пределах от 49,794 до 14,325. Из этих 50 только три журнала не относятся к области наук о жизни. Неудивительно, что ученый, опубликовавший статью на стыке наук в зарубежном журнале по клинической медицине, где успешно применяются математические методы, имеет все шансы значительно обогнать по баллам коллегу из своего же института, занимающегося чистой математикой.

5. Количество полученных грантов и научных премий “выпало” из поля зрения Минобрнауки, хотя во всех странах, где проводятся оценки научной деятельности (университетов, лабораторий или индивидуальных исследователей), эти показатели являются важным индикатором научной активности. Грантовая система финансирования получила широкое распространение и в отечественной науке, а уникальная статистика РФФИ дает полномасштабное представление о деятельности научного сообщества, тем более что грантополучатели и премированные ученые прошли серьезную проверку экспертов.

6. Временной интервал оценки научной деятельности для стимулирующих выплат должен составлять пять лет, как во всем мире, а не два года. Существует классическое исследование системы научной коммуникации, выполненное в середине 60-х годов прошлого века выдающимися американскими специалистами по информатике профессорами У.Гарвеем и Б.Гриффитом. Согласно их выводам, первая научная работа, отражающая результаты выполняемого проекта, появляется только через 8-9 месяцев после начала исследования. Требуется еще как минимум 3-4 месяца, чтобы статья была опубликована, а затем процитирована. Как же можно в нашей стране, где велики сроки хранения научных работ в портфелях редакций, учитывать публикации только двух последних лет?

Теперь несколько слов о средней цитируемости отечественных публикаций. Практически каждый ученый РАН или специалист Минобрнауки слышал об указателе SCI, но, к сожалению, мало кто хорошо знает принципы обработки научной литературы, используемые для подготовки его базы данных. В дискуссиях зачастую упоминаются мнения и приводятся сведения не вполне компетентных специалистов, у которых оценки вклада российской науки и РАН в мировую науку всегда оказываются смещенными в сторону занижения.

Недавно на уже упоминавшемся сайте появилась ссылка на сетевой ресурс ISI, где содержатся сведения за период 1994-2004 годов, согласно которым Россия занимала 8-е место в мире по количеству опубликованных статей, 15-е по цитируемости и 120-е место по средней цитируемости одной публикации (3,19 раза).

Как известно, эти цифры вызвали “серьезную тревогу” министра образования и науки РФ Андрея Фурсенко.

Возможно, я удивлю министра и других скептиков, но в указанный период времени первое место по средней цитируемости научной статьи занимала Гвинея-Бисау. А в 1995-2005 годах мировыми лидерами по этому показателю оказались Бермуды (17,83), США заняли третье место (12,89), далее следует Гамбия (12,82), Сейшеллы (12,68), Панама (12,18). Германия довольствуется скромным 18-м местом, а Япония - 35-м. Обогнали Японию Французская Полинезия и Уганда. Даже огромный скачок в количестве публикаций и цитируемости, который сделал Китай за последние годы, не сказался на средней цитируемости одной китайской статьи - страна занимает 118-е место и находится совсем рядом с Россией.

Стоит ли переживать по этому поводу? Два года назад на страницах “Поиска” уже шла дискуссия о роли этого показателя, но в статистике по-прежнему каждый видит что-то свое. Вот и используется эта малозначимая цифра для демонстрации “невысокой продуктивности” отечественной науки.

Теперь оценим роль и место нашей науки по показателям, представленным в базах данных ISI “Национальные показатели науки” (National Science Indicators, NSI) и “Основные показатели науки и техники” (Essential Science Indicators, ESI) и полученным автором этой статьи в июне-июле текущего года. Как известно, Россия появилась в БД ISI только в 1993 году. С этого времени ведется статистика и учитывается цитируемость работ наших ученых, хотя процесс цитируемости, как мы знаем, носит кумулятивный характер. Как видно из графика, наблюдается небольшое снижение числа российских публикаций и значительный рост цитируемости. Снижение научной продуктивности России заслуживает специального анализа, поэтому лишь отмечу, что в 2003 году произошли изменения в списке отечественных научных журналов, используемых для подготовки информационных продуктов ISI.

Кстати, РАН как организация появляется в БД ISI под двумя названиями “Russian Academy of Sciences” и “RAS”. Из 3327 организаций, включенных в эту БД, РАН занимает 47-е место по цитируемости статей по всем областям знаний и входит в 1% лидирующих организаций, что не так уж плохо, учитывая скромность отечественного научного финансирования.

По данным БД ESI за 1995-2005 годы, РАН занимала первое место среди ведущих организаций (top institutions) по количеству опубликованных статей в области физики, химии, технических наук и наук о Земле и второе - в области математики (на первом месте - МГУ) и материаловедения. Кроме того, РАН - вторая организация в мире по цитируемости статей в области материаловедения (на первом - Академия наук КНР), пятая по физике, шестая по химии, тринадцатая по наукам о Земле и по техническим наукам, двадцатая - по цитируемости работ в области математики. МГУ отстает от РАН по цитируемости статей, но несколько опережает академию по средней цитируемости одной статьи (3,82 против 3,37). Среди нескольких отечественных организаций, вошедших в БД ESI, на первом месте по этому показателю - Институт ядерной физики им. Г.И.Будкера (15,10), за ним идут Институт Арктики и Антарктики РАН (11,04) и ФИАН РАН (10,37).

Отмечу, что данными ISI приходится пользоваться, поскольку в России до сих пор нет полномасштабной БД по отечественным публикациям. Национальные БД по статьям, опубликованным в научных журналах, давно созданы в Испании, странах Латинской Америки, Японии и КНР. Даже в англоязычной Австралии есть собственная БД по публикациям ученых, финансируемым Австралийским научным советом. При соответствующем финансовом обеспечении создание такой БД в нашей стране - вполне решаемая задача, но пока у нас существует только одна сетевая поисковая и библиометрическая система - Указатель РФФИ. Это БД, содержащая широкий спектр наукометрических параметров, позволяющих производить всевозможные выборки для оценки деятельности индивидуальных ученых и научных коллективов. Кроме обширных статистических данных, Указатель РФФИ содержит отечественный Указатель научного цитирования, который получил высокую оценку создателя SCI доктора Юджина Гарфилда. Будем надеяться, что эта статистика окажется востребованной теми, кто отвечает в нашей стране за научную политику.

В заключение хочется задать Минобрнауки еще один практический вопрос: подготовлена ли уже группа специалистов, способная провести до 1 октября сбор данных по импакт-факторам отечественных и зарубежных журналов, в которых печатались статьи сотрудников РАН за последние два года? Это вопрос принципиальный, поскольку кустарно подсчитанные импакт-факторы российских журналов по геологии, опубликованные на www.scientific.ru, уже привели автора этого исследования А.Иванова к выводу “о провинциальности отечественной геологической науки”. Могу заверить читателей, что вся статистика международного научного сотрудничества как по БД SCI, так и по БД РФФИ говорит о другом.