Версия для печати
Вернуться к списку

Мегагранты: подведение итогов

— Какие функции выполнял руководитель группы экспертов?

— Руководитель группы должен был распределить заявки по экспертам, контролировать, как идет процесс рецензирования, и в конце подготовить заключение для комиссии по результатам экспертизы.

— Были ли ограничения по составу экспертов?

— За базу был принят список экспертов, представленный РФФИ. Я изначально получил список из 18 российских и 32 международных экспертов, что явно не достаточно для 40 проектов. Руководитель группы мог предлагать других экспертов, на свое усмотрение, вне списка, которые затем утверждались в МОН. Формальные ограничения, разумеется были: эксперт не должен быть связан ни с принимающим университетом, ни с подателем заявки. У меня не было никаких проблем, кроме ограниченного времени, с кандидатурами экспертов. Например, один эксперт был утвержден за день до дедлайна, взамен неожиданно отказавшегося. С помощью научного сообщества и Интернета была подобрана неплохая экспертная группа в области наук о Земле. Надеюсь, этот опыт будет задействован в следующих конкурсах.

— От Вас требовались какие-либо рекомендации в Совет программы? Например, где обрезать список победителей сверху.

— Нет, но от меня требовалось общее заключение руководителя группы экспертов по всем проектам в свободной форме. Я сделал так: разделил всех на 3 группы. 1-я — отличные проекты, 2-я — явно непроходные и 3-я — ни то, ни се. Как делали в других группах — не знаю. Я не знаю, руководствовался ли Совет программы заключениями руководителей групп.

— Как Вы относитесь к тому, что на финальном голосовании было отобрано всего 40 проектов, вместо ожидаемых 80? Если бы Вы знали, что победителей будет в 2 раза меньше, не повлияло бы это на количество проектов в группе 1?

— Насколько я помню, слухи о таком развитии событий ходили давно, но все равно это решение оказалось неожиданным. Отношусь я к этому негативно. Хотя среди поданных проектов было достаточное число слабых, которых не стоило бы поддерживать даже при наличии средств, ограничение в 40 проектов этим не оправдывается. В области наук о Земле, например, поддержали 2 проекта, хотя, по моему мнению, действительно сильных проектов было 5-6. Но это — сугубо мое личное мнение. Я считаю, что в целом экспертная оценка проектов прошла успешно (по крайней мере, в области наук о Земле). Проекты, попавшие в короткий список из 114 заявок, рассмотренных Советом программы, действительно сильные и заслуживали рассмотрения на поддержку. Последующий же шаг — рассмотрение Советом программы в режиме тайного голосования и выбор только 40 проектов вместо предусмотренных 80 — находится вне моей компетенции.

— Можно узнать критерии деления на группы?

— Группа 1: средний балл — 4,4 и выше (по пятибалльной системе), не более одной низкой оценки (0, 1 или 2), ни одного критического замечания от экспертов. Группа 2: провальная — низкий средний балл и много низких оценок от разных экспертов и/или несколько критических замечаний от разных экспертов. Группа 3: неплохие баллы и/или низкие оценки от одного эксперта и/или критические замечания.

— А какова была система оценки? За что начислялись баллы?

— Вкратце: каждый эксперт выставлял 16 оценок, каждая — от 0 до 5, т.е. максимум 80 баллов, и писал краткое обоснование на каждую оценку + общее заключение. Оценки были разделены на 3 блока. Первый блок (4 оценки) выставлялся собственно заявителю за его научные заслуги, второй блок (6 оценок) — за качество проекта (научное качество, бюджет и вклад в развитие принимающего университета), третий блок (6 оценок) — за принимающий университет. В финальной оценке первый блок брался с коэффициентом 3, второй блок — с коэффициентом 2, а оценки университету оставались с коэффициентом 1. Таким образом, максимальный суммарный балл равнялся 150. Однако в науках о Земле максимального количества баллов не набрал ни один проект.

— Насколько была важна прикладная, внедренческая часть проекта? Скажем, могла ли очень сильная, но чисто фундаментальная заявка проиграть средненькому проекту, но с явным гарантированным выходом на полезные приложения?

— На уровне экспертизы — нет. Более того, в экспертной форме был отдельный вопрос о том, представляет ли данный проект вклад в глобальную науку или же ограничен региональным/местным уровнем. В целом эксперты более благожелательно относились к научной, чем к прикладной, стороне проекта. Фундаментальные проекты получали более высокий балл, чем прикладные региональные проекты.

— Как Вы оцениваете количество и тип информации, которую должен был предоставить о себе университет? Не секрет, что там требовались в том числе странные параметры, (например, совокупный импакт-фактор), которые трудно собрать и трудно проверить. Причем эксперты сами не всегда понимали (по их отзывам), зачем эта информация нужна.

— Если честно, я себя не утруждал проверкой этих странных параметров. Суммарный импакт-фактор — непонятный индекс, было бы проще брать Хирш-индекс организации за последние 5 лет (ISI Web of Science позволяет сделать это). Однако навряд ли это хоть как-то повлияло на результаты экспертизы. Сильный университет есть сильный университет, какие индексы ни вводи.

— Сильный ли разброс получался по оценкам разных экспертов? Можно ли было уверенно ранжировать самые сильные проекты, скажем, внутри первой десятки?

— В целом экспертные оценки по одному проекту довольно близки, хотя было несколько случаев с сильным разбросом мнений. Внутри «десятки» затруднительно ранжировать, основываясь на формальных баллах. Скажем, я бы выделил в своей группе 5-6 отличных проектов и 4-5 очень хороших. Опять же, поскольку я сам не специалист во всех областях, то основываюсь на экспертных оценках, причем в случае с «десяткой» даже не на самих оценках, а на тоне комментариев экспертов. Для лучших проектов это были вариации между положительным и восхищенным. В любом случае это мое личное мнение — решение принималось Советом программы.

— Каждый проект оценивался двумя иностранными и двумя российскими экспертами?

— Да. 2 международных + 2 русских эксперта. В очень редких случаях, эксперт не успевал предоставить отчет в срок. Тогда экспертов получалось меньше 4. В моей группе наук о Земле только одна рецензия из 160 не пришла вовремя.

— Сколько заявок просматривал один эксперт?

— От 1 до 6 в моей группе. Формальное ограничение — не более 10 заявок на эксперта.

— Как происходила (если происходила) нормализация результатов? Ведь не секрет, что одна из, скажем, двух конкурирующих заявок могла попасть к эксперту, который ставит систематически более низкие оценки, а другая — ставящему более высокие оценки. То есть для кого-то «неуд» — это, по старой памяти, два балла, а для кого-то «неуд» — это ноль. У кого-то «удовлетворительная» тройка — это плохо, а у кого-то это именно удовлетворительно, в смысле «нормально».

— Экспертная форма включала в себя четкие критерии для выставления баллов, поэтому разброс между экспертами был довольно маленький. Редко (1-2 раза) были случаи, когда один из экспертов явно занижал оценки (иногда в 2 раза) по сравнению с другими экспертами. Все такие случаи я отметил в своем заключении руководителя группы. Было несколько случаев с сильным различием оценки уровня заявителя российскими и зарубежными экспертами: российские эксперты ставили заявителю высшие баллы, в то время как международные эксперты не признавали его/ее ученым мирового уровня из-за низких формальных наукометрических показателей. Такие случаи также были отмечены в заключении эксперта.

Таким образом, Совет программы должен был быть в курсе относительно подобных расхождений. Но я не знаю, использовал ли Совет программы мои комментарии.

— Каково Ваше общее мнение о качестве экспертизы?

— В целом качество экспертизы было хорошим. Система экспертных оценок, включая форму для заполнения и методику начисления баллов, вполне соответствует поставленной задаче. Всего несколько случаев могли бы вызвать сомнения (поверхностная или не совсем адекватная экспертиза), но, возможно, это было вызвано очень сжатыми сроками. Вся экспертиза (40 заявок, т.е. 160 рецензий в области наук о Земле) была проведена за месяц, включая несколько раундов поисков экспертов из-за отказов первоначально назначенных. У некоторых экспертов было всего несколько дней на проведение экспертизы. Я хочу особенно отметить самоотверженную работу сотрудников Фонда «Новая Евразия» — официального оператора по проведению Международной экспертизы по Постановлению 220. Они оперативно разрешали все многочисленные сложные ситуации, связанные с отказами экспертов, и моментально выполняли любые мои технические запросы. Если бы срок увеличили еще на месяц, наверное, качество рецензий можно было бы улучшить, но общая картина не изменилась бы.

— Как Вы относитесь к тому, что заявителям не собираются выдавать рецензии?

— Отношусь отрицательно и надеюсь, что это решение будет пересмотрено. Это привычно для России (например, в РФФИ), но расходится со стандартной международной практикой, где существует налаженная система обратной связи в виде рецензий или хотя бы краткого резюме замечаний экспертов (разумеется, анонимных). В настоящий момент получается, что собственно рецензии, т.е. результат труда экспертов и обоснование выставленных оценок, читал один человек -руководитель группы экспертов. Без предоставления хотя бы выжимки из экспертных заключений заявителям процедура не может считаться полностью открытой.