Свои исследования Костычев вел неотрывно от педагогической работы. Сразу после защиты магистерской диссертации он стал приват-доцентом Петербургского университета (1907), а в 1910 г. был избран профессором ботаники и микробиологии в Петербургском технологическом институте и тогда же – профессором на Высших женских курсах. При этом творческая связь с университетом не только не прерывалась, но стала еще более тесной после защиты докторской диссертации отчасти и потому, что В.И. Палладин все более отстранялся от работы на кафедре физиологии и анатомии растений и постепенно передавал свои обязанности Костычеву. Когда же в 1914 г. В.И. Палладин был избран действительным членом Академии и оставил Петроградский университет, Костычев его заменил, став экстраординарным, а в 1916 г. ординарным профессором и заведующим этой кафедрой. С ней он оставался связанным до конца своей жизни.
Там Костычев продолжил систематические исследования химизма спиртового брожения, которые были тесно связаны с его прежними трудами по дыханию растений. Так, ранее им были установлены два типа дыхания. Первый тип он назвал «сахарным», при котором различные безазотистые вещества, в частности, спирты и кислоты превращаются в сахара, способные к брожению и дальнейшему окислению по основному типу дыхания. При втором типе – «белковом» сахара не образуются, и окисление происходит совсем иначе. Ученый решил продолжить изыскания и более основательно изучить все типы брожения, чтобы создать ясную и обоснованную его общую теорию, начав с более глубокого изучения спиртового брожения. Их результаты, несмотря на все перипетии Первой мировой войны и событий отечественной истории, были освещены им в 20 публикациях под общим заглавием «О спиртовом брожении» (Über die Alkoholgärung) в немецком журнале по физиологической химии за 1912–1930 гг., а более детальные обсуждения этой темы появлялись и в других изданиях.
Исследования этого цикла в основном были посвящены двум большим проблемам. Первой и главной из них стало изучение химизма спиртового брожения, второй – борьба с представлениями о возможности существования внеклеточного брожения вопреки учению Л. Пастера о брожении как чисто биологическом процессе. Еще успешнее, чем в опытах по дыханию растений, Костычев использовал метод улавливания промежуточных продуктов путем вторжения в процесс брожения, парализуя работу отдельных ферментов или связывая промежуточные продукты различными химическими реактивами. Таким путем он выделил в качестве промежуточного продукта спиртового брожения уксусный альдегид и затем доказал, что дрожжи восстанавливают альдегидную группу в спиртовую, превращая альдегид в спирт и кислоту. Эти данные в дальнейшем получили подтверждение в работах многих других биохимиков. Хотя суть спиртового брожения определил еще Л. Пастер, но лишь Костычев смог четко проследить последовательность тех превращений, которые происходят в этом непростом процессе.
