В 1921 г. Губкин в составе специальной правительственной комиссии по делам азербайджанской нефтяной промышленности занимался проблемой восстановления Бакинских нефтяных промыслов. В январе 1922 г. он выступил на первом съезде работников нефтяной промышленности с двумя докладами: «О необходимости руководствоваться при эксплуатации нефтепромыслов данными геологической науки» и «Об обводнении нефтяных промыслов». В 1925—29 гг. он возглавлял Совет нефтяной промышленности, в 1927–29 гг. – Московское отделение Геологического комитета, в 1930–1939 гг. – созданное вместо существовавшего до этого Геологического комитета Главное геологическое управление (впоследствии – Комитет по делам геологии при СНК СССР). Он активно участвовал в решении вопросов индустриального развития Урала, Сибири, Дальнего Востока, Закавказья, являлся инициатором и руководителем геологоразведочных работ по поиску нефти в Приуралье и Заволжье («Второе Баку»), на территории Сибири и Туркмении. По воспоминаниям Губкина, еще в 1927 г., став руководителем Московского отделения Геолкома, он организовал в нем комиссию по поискам уральской нефти, несмотря на противодействие некоторых членов Геологического комитета, считавших эту идею авантюрой. По его же настоянию в 1927 г. были возобновлены поисковые работы в Небит-Даге, которые уже через несколько лет привели к обнаружению там больших запасов нефти.
Губкин уделял большое внимание развитию научных исследований и подготовке необходимых стране специалистов в области геологии нефти. В 1920 г. он был избран профессором Московской горной академии, а годом позже стал ее ректором. В 1921 г. он организовал в академии нефтяную кафедру (с 1930 г. – факультет) для подготовки квалифицированных инженеров-нефтяников и впервые в стране начал читать курс нефтяной геологии. Он оставался на посту ректора Горной академии до ее реорганизации в 1930 г., когда на базе нефтяного факультета академии был основан Московский нефтяной институт (ныне – Российский государственный университет нефти и газа им. И.М. Губкина), и был первым ректором этого института (1930—1939). В 1924 г. по инициативе Губкина в Москве был создан Государственный исследовательский нефтяной институт (ГИНИ), затем преобразованный в Институт горючих ископаемых АН СССР, первым директором которого также был Губкин. Кроме того, в 1920 г. он основал журнал «Нефтяное и сланцевое хозяйство» (с 1925 – «Нефтяное хозяйство») и был его бессменным редактором до конца жизни. В 1930 г. он был одним из организаторов и до 1936 г. возглавлял Совет по изучению производительных сил (СОПС) при АН СССР, созданный для изучения природных богатств мало исследованных районов СССР.
Похоронен на Новодевичьем кладбище (авторы памятника: скульптор Е.А. Рудаков, арх. И.Н. Савелов, мозаика – С.В. Семенов).
