В 1841 г., после закрытия Российской академии, выпуск литографий прекратился. Принадлежавшее же ей собрание портретов в 1842 г. по распоряжению графа С.С.  Уварова было передано в ведение Министерства народного просвещения, которое в те годы располагалось в здании на Чернышевой площади, построенном по проекту К.И.  Росси в 1828–1834 гг. (современный адрес – площадь Ломоносова, д.  1/3). Помещенная в приемную залу министра, коллекция в 1854–1858 гг. увеличилась за счет портретов «лиц, не принадлежавших к составу ни той, ни другой Академии».

В 1854–1858 гг. министр просвещения А.С.  Норов, заказал художнику-любителю Н.И.  Поливанову серию портретов российских литераторов XVIII–XIX веков: Я.Б.  Княжнина, В.А.  Озерова, И.И.  Хемницера, Н.В.  Гоголя, А.С.  Грибоедова, М.Ю.  Лермонтова и др. Большинство из них написано по гравюрам. Но некоторые изображения, такие, как портреты Н.В.  Гоголя (с оригинала Ф.А.  Моллера 1841 г.) и М.Ю.  Лермонтова (восходит к акварели К.А.  Горбунова 1841 г.), представляют собой копии с известных оригиналов. Выполненные довольно грубо и шаблонно художником, не обладавшим достаточным талантом и мастерством живописца, они, по мнению одного из первых исследователей академического собрания Б.Л.  Модзалевского, «лишены какого бы то ни было художественного или исторического значения».

В начале 1862 г., по распоряжению нового министра народного просвещения А.В.  Головнина портретная галерея Российской академии  (насчитывавшая к тому моменту 68 портретов), была передана в Императорскую Академию наук и объединена с хранившимся там собранием портретов.