Научное предвидение Вавилова позволило ему уже в первые годы существования ФИАН организовать исследования в области ядерной физики. Из-за отсутствия подготовленных специалистов он сам до 1938 г. возглавил отдел физики атомного ядра и тщательно подбирал ученых для работы в этом направлении.
В 1938 г., по докладу Вавилова, Президиум Академии наук создал Комиссию по ядерной физике под его председательством, в которую входили А.Ф. Иоффе, И.В. Курчатов, А.И. Алиханов, В.И. Векслер, И.М. Франк.
Развитие ядерного направления в ФИАН позволило впоследствии сотрудникам теоретического отдела института В.Л. Гинзбургу, А.Д. Сахарову, И.Е. Тамму, по рекомендации Вавилова, сыграть ведущую роль в создании водородного оружия.
В годы Великой Отечественной войны, несмотря на эвакуацию институтов, которыми руководил Вавилов, в разные города – ГОИ в Йошкар-Олу, где он жил, а ФИАН в Казань, – он продолжал свою работу в обоих институтах. И это несмотря на невероятные трудности переездов в военные годы. В 1943 г. он был назначен уполномоченным Государственного Комитета Обороны по оптической промышленности. Круг его обязанностей и объем исследовательских прикладных и внедренческих работ, которые ему пришлось организовывать, еще более расширился, как и необходимость постоянных переездов, особенно в треугольнике Йошкар-Ола – Казань – Москва.
В результате работ, проводившихся в ГОИ, для нужд армии были созданы новые образцы дальномеров, стереотруб, приборов для аэрофотосъемки, разработаны специальные методы светомаскировки военных объектов. Продолжались работы по вычислительной оптике, разработке методов спектрального анализа для оборонных заводов, созданию новых видов оптических стекол и многих других прикладных направлений.
Большие работы оборонного значения велись под руководством Вавилова и в ФИАН. О результатах этих работ он говорил, что без всякого принуждения лаборатории изменили свои темы так, чтобы они помогали Красной Армии, военной промышленности, госпиталям. Институт помог в Казани пустить производство светящихся составов постоянного действия, разработал и внедрил в производство методы приготовления керамической массы для радиоконденсаторов, создал и передал в промышленность дефектоскопические приборы, для госпиталей был сделан новый рентгеновский стереоприбор. Теоретики института участвовали в работах по борьбе с магнитными и акустическими минами.
Прозорливость Вавилова нашла отражение и в том, что в 1941 г. он организовал эвакуацию библиотеки ФИАН, и она оказалась единственной академической библиотекой, которой пользовались все институты, находившиеся в Казани.
За работы оборонной направленности в 1943 г. ученый был награжден орденом Ленина, и ему была присуждена Государственная премия.
В 1943–1945 гг. Вавилов руководил возвращением ФИАН, а затем ГОИ, в Москву и Ленинград, приложив огромные усилия для восстановления институтской базы (инфраструктуры) и возобновления нормальной научной работы.
