Костычев полностью разделял мнение Пастера о том, что брожение – процесс биологический, способный происходить только в присутствии дрожжей, т.е. микроорганизмов, являясь особой формой обмена веществ живых дрожжевых клеток. В последующем Э. Бухнер (1897), А.Н. Лебедев (1911) и другие показали, что брожение регулируется специальными ферментами и может быть воспроизведено вне дрожжевых клеток, если извлечь эти ферменты из клеток и заставить их работать. К выводу о том, Что направление процессов брожения определяется ферментами, которые находятся в бродильных организмах, пришел в своих исследованиях и Костычев. Поэтому он длительное время разделял идею существования внеклеточного брожения. Однако в конце жизни у него возникли сомнения в правильности этой теории, и он начал активно выступать против нее.
Свои возражения Костычев аргументировал тем, что брожение – очень сложный процесс, состоящий из ряда точно согласованных между собой реакций, регулируемых слаженным действием десятка ферментов. Такая точная слаженность может быть только в живом организме, и ее нельзя воспроизвести вне него. Наблюдения внеклеточного брожения он объяснял наличием в сухих препаратах или выжатом соке небольшого числа живых клеток, к тому же бродильная энергия таких препаратов значительно ниже, чем у живых (всего 1–2 %). Доводы Костычева были опровергнуты, но он до конца жизни защищал свою точку зрения. Один из его соратников так оценил этот факт: «Мне думается, что работы Костычева по внеклеточному брожению, при всей их фактической необоснованности, сохраняют свое принципиальное значение, поскольку они заставляют задуматься над далеко не разгаданными свойствами внеклеточной бродильной среды, обладающей изумительной способностью осуществлять сложнейшие процессы чисто жизненного характера» (С.Д. Львов, 1956, с.12–13).
Капитальные труды по вопросам дыхания и брожения, характерные для первого периода научной деятельности Костычева, немало способствовали его последующим исследованиям. Так, упомянутый выше метод улавливания промежуточных продуктов позволил ему выяснить химизм усвоения растениями нитратов: растения восстанавливают азотную кислоту до аммиака, из которого строятся аминосоединения, а уже из них синтезируются белки. Тогда же им был выявлен одинаковый путь усвоения азота азотфиксирующими бактериями за счет молекулярного азота и плесневыми грибками за счет нитратов, в результате чего образовывался один и тот же аммиак. Хотя работы Костычева по фиксации азота вне клетки азотобактера и об аммиаке как первом его продукте не дали полного объяснения этому сложному процессу, все же они до сих пор не потеряли значения, как первые экспериментальные попытки изучения этой проблемы.