В 1910 г., в возрасте 40 лет, Губкин окончил с отличием Горный институт, получил диплом горного инженера и начал работать в Геологическом комитете (Геолкоме) Горного департамента сначала младшим геологом, а в 1915—1918 гг. – старшим. Основным направлением его деятельности в этот период было изучение нефтеносных районов Кубани, Кавказа, Таманского и Апшеронского полуостровов. Еще студентом Губкин опубликовал в «Известиях Геологического комитета» (1910, т. 29) статью, посвященную буровым работам по разведке нефти в окрестностях Майкопа. Начав работать в Геолкоме, он продолжил исследование Майкопского месторождения нефти. Он собрал и исследовал более 1000 образцов горных пород, изучил палеографию и геологическую историю района и предложил оригинальный метод построения структурных карт подземного рельефа нефтяных месторождений. Составленная с помощью этого метода карта Майкопского нефтеносного района позволила выявить особенности залегания нефти, которые создавали серьезные проблемы при проведении разведочных работ.
В 1912—1913 гг. Губкин проводил исследования на Таманском полуострове. Несмотря на то, что Тамань к тому времени была уже довольно хорошо изучена в геологическом отношении, ему удалось уточнить стратиграфию третичных отложений и обнаружить на полуострове четыре новых горизонта. Также он детально исследовал грязевые вулканы Таманского полуострова и выяснил, что выходы нефти здесь связаны с действующими грязевыми сопками и диапировой складчатостью, открыв, таким образом, ранее не известный на территории России тип тектоники – складки с ядрами протыкания. В 1913 г. по поручению Геологического комитета он приступил к исследованию геологии и нефтеносности Апшеронского полуострова. Он уточнил возраст продуктивной толщи, с которой связаны залежи нефти, и показал, что она значительно моложе в геологическом отношении, чем это считалось ранее. Кроме того, он обнаружил здесь диапировые структуры (ядра протыкания), которые ранее наблюдал на Тамани. Результаты этих исследований он изложил в ряде статей, опубликованных в «Известиях» и «Трудах» Геологического комитета в 1912—1916 гг., а позже обобщил их в капитальных трудах: «Учение о нефти» (М., 1932; 2-е изд. М.; Л., 1937) – учебник, написанный на основе читавшегося им в Московской горной академии курса лекций по нефтяной геологии, «Тектоника юго-восточной части Кавказа в связи с нефтеносностью этой области» (М., 1934), «Урало-Волжская нефтеносная область» (М., 1940) и др. Последний труд он не успел окончить, и он был издан посмертно учениками Губкина. В нем были глубоко и всесторонне разработаны теоретические основы науки о нефти и вопросы теории грязевого вулканизма.