С помощью нейросетей ученые выяснили, как выглядели фрески Ферапонтова монастыря

Первоначальные лики праотцов и Иисуса Христа, изображенные в начала XVI века русским мастером Дионисием Мудрым в монастыре Кирилло-Белозерского музея-заповедника, воссоздали при помощи нейросети специалисты Института космических исследований РАН. Главный специалист ИКИ РАН Александр Андреев рассказал «МК», как велась работа.

СОБОР РОЖДЕСТВА БОГОРОДИЦЫ ФЕРАПОНТОВА МОНАСТЫРЯ. РОСПИСЬ ЦЕНТРАЛЬНОЙ ЧАСТИ. СЪЁМКА В ВИДИМОМ СВЕТЕ 2016 Г.
ФОТОГРАФИЯ ИЗ АРХИВА ИКИ РАН

Фрески собора Рождества Богородицы Ферапонтова монастыря музея-заповедника, который находится в городе Кириллове Вологодской области, — единственная роспись великого Дионисия, дошедшая до нашего времени почти в полном составе с начала XVI века.

- История началась в 2008 году. Мы решили подключиться к реставраторам, которые работали над собором, чтобы помочь им восстановить лики Иисуса Христа, изображенного на куполе, Евы и праотцов, изображенных на барабане купола, – рассказывает Александр Андреев.

По его словам, начать решили именно с барабана (круглого основания, на котором как будто держится купол), потому что его фрески, как правило, трудно разглядывать с земли.

В росписи со временем появились некоторые потери, к примеру, у самого Пантократора (Иисуса Христа в образе Судии) наблюдаются белые пятна по лику от когда-то забиваемых гвоздей, у ангелов, изображенных под ним, в верхней части барабана купола, обрезаны крылья.

– Фрески с архангелами были повреждены в XVIII веке, когда под куполом решили пробить окна, – поясняет ученый. – Чуть ниже находятся лики Адама, Евы, других праотцов, тоже частично стертые. Наша задача была сначала сделать их снимки высокого разрешения при помощи мультиспектральной съемки, а затем «предложить» нейросети восстановить пробелы.

Сделав множество снимков фресок с высочайшим разрешением и обучив по ним нейросеть Stable Diffusion, ученые приступили к виртуальному восстановлению. Пока из 12 ликов искусственный интеллект восстановил семь.

Самой простой задачей, по словам «учителя» нейросети Александра Андреева, оказалось убрать белые пятна, которые были оставлены гвоздями на лице Панктократора. С их помощью что-то крепилось под куполом в древности.

Затем был восстановлен лик предка Ноя Мафусаила, который, согласно Библии, является старейшим человеком, прожившим 969 лет. На удивление, его лик был не слишком сильно поврежден временем и на стене Ферапонтова монастыря, – есть лишь трещины и немного утрачен красочный слой на бороде, щеках и нимбе.

–С прадедом Ноя Енохом пришлось поработать, – говорит ученый. – У него разветвленной трещиной почти стерты глаза, но нейросеть все восстановила. Ноем, что касается восстановления его образа, я горжусь. Он был с большими утратами на лице и вокруг, и внутри медальона. Все восстановлено, только по поводу яркости фона надо еще консультироваться с реставраторами.

По поводу Евы, по словам сотрудника ИКИ, вышла у нейросети небольшая промашка – в частности, правый глаз ее оказался сильно смещен относительно того положения, которое мы ожидали бы увидеть.

ИЗОБРАЖЕНИЕ ФРЕСКИ ПРАМАТЕРИ ЕВЫ НА СТЕНЕ СОБОРА РОЖДЕСТВА БОГОРОДИЦЫ ФЕРАПОНТОВА МОНАСТЫРЯ. СЛЕВА ФОТОГРАФИЯ ФРЕСКИ В СОВРЕМЕННОЙ СОСТОЯНИИ, СПРАВА — ПОСЛЕ РЕКОНСТРУКЦИИ С ПОМОЩЬЮ НЕЙРОСЕТИ STABLE DIFFUSION. ПРЕДОСТАВЛЕНО ИКИ РАН

- В этом мой недогляд, – говорит Андреев, – надо было лучше учить ИИ.

Кстати, опытные реставраторы, которым мы показывали свои работы, включая лик Евы, Сифа, Еноса, Ареда, сказали, что они очень похожи на работу Дионисия, по крайней мере, «глаз не режут».

– А что ваша нейросеть сделала такого, чего не могли бы сделать обычные реставраторы наяву?

– Понимаете, ситуация с реставрацией в реальности очень сложна. Часто опытнейшие реставраторы не берутся за такое по многим причинам. К примеру, итальянцы обычно покрывают все защитной пленкой, другие школы реставраторов консервируют стены особым образом. Что касается фресок Ферапонтова монастыря, здесь также вопрос открыт. Но зато при помощи нашей работы мы сможем уже показывать гостям монастыря, всем интересующимся, какими были фрески мастера Дионисия до их повреждения.

На очереди у ученых – воссоздание при помощи нейросети ликов Адама и Авеля.

Кстати, кроме изображений праотцов в этом же монастыре ученым удалось расшифровать еще одну загадку древности – это тексты, которые были начертаны на свитках святых в алтарной части собора. Они были безвозвратно стерты лет 200 назад, и сейчас при помощи ультрафиолета и компьютерной обработки изображения специалисты их восстановили