В 1906 г. Крылов впервые прочел в Морской академии свой знаменитый курс «Приближенные вычисления», в котором систематизировал вопросы наиболее рациональной организации численных расчетов, встречающихся в различных областях физики и техники, и создал строгую научную теорию приближенных вычислений. В 1912 г. он читал слушателям Морской академии курс «О некоторых дифференциальных уравнениях математической физики, имеющих приложения в технических вопросах», содержащий ряд важных научных результатов. В частности, предложил способ улучшения сходимости тригонометрических рядов (способ Крылова).
В 1900–1908 гг. руководил Опытовым бассейном для испытания моделей судов, где работал с известным адмиралом и ученым С.О. Макаровым, который оказал на него большое влияние.
Работы Крылова в области астрономии посвящены классической проблеме определения орбит из наблюдений, методу вариации элементов планетной орбиты при возмущённом движении, теории всемирного тяготения Ньютона. Он осуществил восстановление ньютоновской теории астрономической рефракции, выполненное с большим искусством на основе нескольких кратких замечаний И. Ньютона в его письмах к Дж. Флэмстиду. Перевёл на русский язык лекции К.Ф. Гаусса по теоретической астрономии, прочитанные тем в 1820–1821 гг. в Геттингенском университете, и «Теорию движения Луны, трактованную новым методом» Л. Эйлера. Сочинения Ньютона, написанные на латинском языке, были совершенно недоступны слушателям Морской академии, поэтому он перевел важнейшее из них – «Математические начала натуральной философии» – на русский язык, снабдив текст 207 примечаниями и пояснениями для лучшего усвоения. Это потребовало два года упорной работы по 4–5 часов в день. Они были изданы в 1915 г.
В 1916 г. А.Н. Крылов возглавлял Главную физическую обсерваторию и Главное военно-метеорологическое управление. В 1917 г. был назначен директором физической лаборатории Академии наук (которая со временем стала Физико-математическим институтом АН), позже – начальником Морской академии.
В 1917 г. он был руководителем «Русского общества пароходостроительства и торговли». После Октябрьской революции передал все суда Советскому правительству и продолжал работать на развитие отечественного флота. В 1919 г. его назначили начальником Военно-Морской академии. По словам его дочери, «он для своего класса был чрезвычайно странным человеком, принимал любое правительство, не обращая на него особенного внимания. Все правительства были одинаково плохи для него, он никакого не уважал и никакому не доверял…. смотрел на … правительство, как на землетрясение, наводнение, грозы. Поэтому … совершенно спокойно после Октябрьского переворота оставался, собственно, в том положении, в котором был раньше, преподавал в той же Морской академии. И, в конце концов, ему предложили стать начальником Академии, на что он согласился». В 1921 г. был направлен в Лондон как представитель Советского правительства для восстановления зарубежных научных связей страны. В 1927 г. вернулся в Советский Союз.
После возвращения из-за границы вернулся к руководству Физико-математическим институтом АН (был директором института до 1934 г.).