http://93.174.130.82/news/shownews.aspx?id=ec92efd3-f74b-4837-85b4-adbdca7562db&print=1© 2024 Российская академия наук
Как оценивать результативность работы институтов ФАНО. Частный взгляд участника процесса
Михаил Фейгельман, докт. физ.-мат. наук, зам. директора Института теоретической физики им. Л. Д. Ландау РАН, член Рабочей группы ФАНО по определению методики и регламентов оценки результативности деятельности научных организаций
С лета 2014 года действует рабочая группа ФАНО по разработке детальных правил проведения оценки результативности научно-исследовательской деятельности научных организаций, вошедших в состав ФАНО после известных событий лета-осени 2013 года. Задача рабочей группы — создать свод правил, согласующихся с общими положениями, уже утвержденными документами правительства РФ [1], и, несмотря на это, позволяющих проводить оценку осмысленным, с точки зрения работающих в науке людей, образом — то есть учитывая содержание научной и исследовательской работы, а не только комбинации разного рода формальных показателей. В рабочей группе трудится более 20 представителей различных отраслей науки под общим руководством ФАНО. К настоящему времени документация практически полностью готова, во вполне обозримом будущем ожидается ее утверждение. Представляется уместным уже сейчас, перед летними отпусками, рассказать об основных заложенных в нее принципах, чтобы ученые коллеги имели время и возможность обдумать то, что будет происходить, и найти свое место в этом процессе. Вот эти принципы.
1. Принимается примат экспертной оценки над «нумерологической»: формальные показатели (число статей и/или патентов, объем вырученных от разработок средств, число док-торов наук или аспирантов и многое другое) будут собираться и приниматься во внимание при оценке, но лишь как часть сведений, не-обходимых для профессионального экспертного анализа.
2. Экспертный анализ может быть профессиональным лишь в том случае, если имеется механизм, позволяющий сопоставить область работы научного коллектива (объекта оценки) и эксперта, призванного эту работу оценивать. Иначе говоря, требуется современный рубрикатор (классификатор) областей научной и научно-технической деятельности. Такой рубрикатор был создан [2], несколько месяцев продолжалось его публичное обсуждение и согласование с отделениями РАН.
3. Экспертный анализ нескольких сотен научных организаций, входящих в ФАНО, требует большого количества экспертов, причем крайне существенно, чтобы они пользовались доверием коллег именно как достойные эксперты в своей научной области. Поэтому полный корпус экспертов ФАНО будет сформирован путем обращения к ученым (научно-техническим) советам всех организаций ФАНО с предложением выдвинуть экспертов по каждому из научных направлений данной организации (определенных рубрикатором) и предоставить минимально необходимый набор профессиональных сведений о каждом эксперте.
4. Сравнительная оценка результативности будет проводиться внутри так называемых референтных групп (РГ) научных организаций, которые должны быть сформированы по принципу близости областей их научной деятельности и типов получаемых результатов (фундаментальные исследования, технологические разработки, научно-технические услуги и т. п.). Рабочей группой ФАНО выработаны предложения по формированию РГ [3].
5. Для каждой такой референтной группы должен быть сформирован свой экспертный совет (ЭС), организующий процедуры оценки каждой входящей в РГ организации. Основная тяжесть работы ложится именно на эти советы. Общий контроль за процессом и утверждение (или требование коррекции) результатов работы ЭС возлагается на единую комиссию по оценке результативности при ФАНО. Комиссия и ЭС действуют в соответствии с детальным общим регламентом оценки.
6. Каждый ЭС формируется из числа экспертов ФАНО с научными специализациями, отвечающими данной РГ, путем рейтингового голосования среди всех экспертов, принадлежащих этой РГ. Ожидается, что таким образом из общего числа экспертов, относящихся к данной РГ (примерно 50–100), будет отобрано 10–15 членов ЭС.
7. Для оценки организации ЭС РГ назначает экспертов по каждому на-правлению работы организации (определенному рубрикатором), а также небольшую экспертную группу для обобщения результатов оценки — из числа всех экспертов, относящихся по специальности к данной РГ. Назначение производится по принципу соответствия научных специализаций и с учетом необходимости исключения конфликта интересов; это понятие определено Регламентом весьма конкретно.
8. При оценке многопрофильных и междисциплинарных организаций неизбежно часть направлений окажется вне компетенции ЭС РГ, к которой отнесена организация. Эксперты по таким направлениям должны назначаться по рекомендации других, профильных советов.
9. В ряде случаев (низкие формальные показатели организации, несогласие организации с ее оценкой в целом) должна быть реализована более детальная оценка, включающая экспертизу работы каждого подразделения.
В апреле 2015 года начат одновременный опрос представителей всех естественных наук с целью пополнения «Корпуса экспертов» [4]. За два года, прошедших после последнего специализированного опроса, существенно пополнился и продолжает пополняться список рекомендателей (известных также как «списки Штерна») [5] — сейчас в нем более 7 тыс. человек, и он включает, наряду с работающими в России, также и представителей диаспоры.
В каждую рассылку включается около 500 человек, всего до летних каникул предполагается провести пять рассылок, а затем продолжать опрос осенью. Рассылки формируются в порядке включения рекомендателей в списки [5]. Рекомендации можно дать по почте kor.expert@gmail.com или онлайн, используя полученный код доступа (бессрочный). К сожалению, иногда наши письма не пропускают спам-фильтры.
В мае были также разосланы письма специалистам, уже получившим пять и более рекомендаций коллег, с просьбой о согласии войти в «Корпус экспертов» [4] — он постепенно пополняется.
Обращаем внимание рекомендателей на необходимость очень тщательно определить специализацию — как свою, так и рекомендуемых в эксперты коллег — по Единому научному рубрикатору [2], который будет использоваться ФАНО. Естественные науки — в разделе А, можно указывать коды и из других разделов.
Рабочая группа проекта «Корпус экспертов»
Все эти принципы заложены в созданных проектах документов, причем пути их реализации детально прописаны. Возможно, предложенная процедура многим покажется слишком сложной, особенно из-за некоторых ее витков, вынужденно введенных для соблюдения утвержденных Минобрнауки общих правил оценки. Она может также вызвать раздражение необходимостью представить содержательные сведения для экспертной оценки («еще бумаги… опять бумаги»). Однако следует понимать, что в отсутствие такой четко фиксированной экспертной процедуры оценка научных организаций будет развиваться по сценарию арифметического подсчета формальных показателей, что наверняка не оставит камня на камне от многих еще сохранившихся научных коллективов. Следует также иметь в виду, что привычно-упрощенная организация оценки узким кругом научных администраторов оказалась бы, как это обычно и бывало ранее, лишь имитацией экспертизы.
Соображения по поводу экспертной оценки, использованные при работе над документацией, основаны на восьмилетнем опыте функционирования инициативного проекта «Корпус экспертов по естественным наукам» [4]. Именно на основе данных этого проекта удалось составить первичную версию рубрикатора, оценить различия в публикационной активности и цитировании для разных научных направлений (а не просто для областей знания), представить себе, как на практике может работать процедура выдвижения экспертов и что требуется от регламента экспертизы. Позднее удалось найти коллег из других областей науки (гуманитариев, инженеров, медиков), которые помогли учесть специфику своих областей.
Сложно предсказать, как будет развиваться процесс оценки и в какой степени удастся соблюдать регламент, даже если он будет утвержден без искажений. Но в значительной степени это зависит сейчас от самого «объекта оценки», то есть от всех нас. Прежде всего — и лучше заранее — в каждой научной организации нужно однозначно определить все основные и дополнительные научные направления по рубрикатору, чтобы не оказаться в референтной группе, не соответствующей реальной деятельности организации. Затем необходимо продумать список коллег, которые будут предложены ученым советом как эксперты по всем направлениям работы института. Следует иметь в виду, что в составе каждого ЭС должна быть определенная доля специалистов, работающих вне институтов ФАНО. Поэтому существенно, чтобы ученые советы рекомендовали как экспертов не только сотрудников институтов ФАНО: почти всегда можно отыскать подходящих по профилю и научно авторитетных коллег из вузов или НИИ или же из числа коллег, работающих в настоящее время вне Российской Федерации.
Троицкий вариант