15-летним юношей он был принят в младший приготовительный класс Морского училища. Уже в этом выборе школы, сделанном им самим, проявилась его любовь к морскому делу, которому он отдал всю свою жизнь. Окончив училище в 1884 г., три года прослужил в компасной части Главного гидрографического управления, выполнив там первые научные работы по девиации компасов. В 1888 г. поступил на кораблестроительное отделение Морской академии в Санкт-Петербурге, пройдя предварительно годичный стаж практической работы на судостроительном заводе. По окончании ее в 1890 г. был оставлен преподавателем и проработал там более 50 лет. Преподавал также в Петербургском политехническом институте и в некоторых других институтах.
В том же 1888 г. вступил в брак с Елизаветой Дмитриевной Драницыной. У них родилось пятеро детей, из которых две девочки – обе Анны – умерли во младенчестве, два сына погибли во время Первой мировой войны и осталась одна дочь (тоже Анна!). Впоследствии она вышла замуж за П.Л. Капицу, с которым у Крылова были очень теплые отношения.
С 1887 г. его «главной специальностью стало кораблестроение, или, лучше сказать, приложение математики к разного рода вопросам морского дела». Научные интересы Крылова были направлены главным образом на решение принципиальных технических проблем на основе глубокого физико-математического анализа. В 1890-е гг. мировую известность приобрел труд Крылова «Теория качки корабля», значительно расширивший теорию Фруда и ставший первым всеобъемлющим теоретическим трудом в этой области. В 1898 г. он был награжден золотой медалью Британского Общества Корабельных Инженеров, причем это был первый случай в истории, когда медали удостаивался иностранец. Продолжая эти работы, Крылов создал теорию и предложил гироскопическое демпфирование бортовой и килевой качки, что сегодня является наиболее распространенным способом борьбы с нею. Был талантливым консультантом по делам флота и сам отмечал, что его советы сэкономили правительству больше стоимости самого современного дредноута.
При самом беглом просмотре трудов А.Н. Крылова поражает громадный объем созданного им, многогранность и целеустремленность его творчества. В его трудах особенно ясно можно видеть, как беспредметен спор о чистой и прикладной науке. В них так тесно переплетаются математика, физика и техника, что нет ни потребности, ни возможности расчленить живое единое целое на отдельные части.
В большой работе над вопросом о непотопляемости судов он доказывал, что спасать корабль, когда тот получает пробоины, надо не откачкой воды, а наоборот, затопляя другие отделения, кроме повреждённых, чтобы корабль не опрокидывался. Из-за этой теории ему пришлось выдержать большую борьбу. Корабельные инженеры в генеральских мундирах, сидевшие в Морском техническом комитете, не могли отрешиться от рутины. За то, что он их в этом обвинял, ему был объявлен выговор в приказе по флоту. Ему даже с упреком сказали: «Обращаясь к генерал-лейтенанту, подполковник не должен делать такие доклады, он должен помнить и соблюдать субординацию, а не называть прямо в глаза вещи их именами»(!). И только после Цусимы теория Крылова о непотопляемости стала применяться в практике кораблестроения.
