Родился 22 сентября (по другим данным — 10 сентября) 1899 года в городе Мценск (ныне Орловской области).

   В Красной Армии с 1918 года. В годы Гражданской войны А. Н. Ермаков красноармейцем 2-го Орловского полка воевал на Восточном и Южном фронтах, участвовал в подавлении повстанцев в Воронежской губернии, советско-грузинской войне 1921 года. В 1920 году Окончил Вольские командные курсы.

   В межвоенный период А. Н. Ермаков прошёл путь от командира стрелкового взвода до командира батальона. В 1921 году окончил Киевскую пехотную школу, в 1931 году — Стрелково-тактические курсы усовершенствования комсостава РККА «Выстрел» имени Коминтерна, в 1932 году — бронетанковые курсы усовершенствования командного состава, в 1937 году — курсы усовершенствования высшего начальствующего состава при Военной академии механизации и моторизации РККА.

  В январе 1937 года — командир полка в составе 100-й стрелковой дивизии. С июня 1938 года — командир этой дивизии. В сентябре 1939 года дивизия принимала участие в боевых действиях в Западной Белоруссии в составе 16-го стрелкового корпуса 11-й армии Белорусского фронта100-я стрелковая дивизия. Клуб "Память" Воронежского государственного университета. Проверено 23 сентября 2014..

   10 февраля 1939 года А. Н. Ермакову присвоено звание «комбриг». С 16 декабря 1939 года 100-я стрелковая дивизия принимала участие в советско-финской войне (1939—1940 гг.). Во время декабрьской операции по прорыву линии Маннергейма дивизия находилась в резерве 7-й армии. В феврале 1940 года — действовала на направлении главного удара в составе 50-го стрелкового корпуса на участке укрепрайона Сумма-Хотинен, расположенном между озером Суммаярви (озеро Желанное) и рекой Суммайоки (река Камышовка). В марте 1940 года в составе войск 34-го стрелкового корпуса наступала северо-восточнее города Выборг в направлении Койвиккохови, Таммисуо, Сементтивалимо, усадьба Хяюрю.

   4 июня 1940 года, после установления в РККА генеральских званий, А. Н. Ермакову присвоено звание «генерал-майор». Командовал 100-й стрелковой дивизией в ходе присоединения Бессарабии и Северной Буковины к СССР. С 29 июля 1940 года — командир 2-м стрелковым корпусом в составе Прибалтийского особого военного округа, затем Западного особого военного округа.

   С начала Великой Отечественной войны корпус находился в резерве Западного фронта, затем вошёл в состав 13-й армии этого фронта. В конце июня 1941 годасоединения корпуса под командованием А. Н. Ермакова совместно с 44-м стрелковым корпусом армии были выдвинуты на рубеж Минского укреплённого района, где вели тяжёлые оборонительные бои с 3-й танковой группой немецких войск в ходе Белостокско-Минского сражения. Под ударами превосходящих сил противника части корпуса сначала отошли за реку Березина в район города Борисов и южнее, затем за реку Днепр и закрепились на рубеже Копыев, Новый Быхов.

   С 10 июля А. Н. Ермаков командовал действиями 2-го стрелкового корпуса в Смоленском сражении. С 24 июля в составе 13-й армии он был включён в состав Центрального, а с 15 августа — Брянского фронтов, в составе которых вёл оборонительные бои на реках Сож, Судость и Десна. 20 августа 1941 года 2-й стрелковый корпус был расформирован.

   16 августа 1941 года был образован Брянский фронт, генерал-майор А. Н. Ермаков назначен заместителем командующего Брянским фронтом и одновременно командующий подвижной группы фронта (108-я танковая дивизия, 141-я танковая бригада, 4-я кавалерийская дивизия). Эта группа войск нанесла контрудар по танковым частям 2-й танковой армии (Г. Гудериан), предотвратив разгром и неорганизованный отход 13-й армии, что позволило ей сгруппировать силы и вновь принять участие в боях.

   В сентябре-октябре А. Н. Ермаков командовал оперативной группой войск Брянского фронта (21-я и 52-я кавалерийские дивизии, 121-я и 150-я танковые бригады и283-я стрелковая дивизия; позже в её состав входили 127-я (с 18 сентября — 2-я гвардейская) и 160-я стрелковые дивизии). Группа генерала Ермакова отражала удары превосходящих сил 2-й танковой армии противника на льговско-глуховском направлении. По воспоминаниям бывшего командующего Брянским фронтом Маршала Советского Союза А. И. Ерёменко: «В неимоверно тяжёлых условиях, проявляя много инициативы и настойчивости, генерал Ермаков зарекомендовал себя одарённым командиром и человеком большой личной храбрости».

   13 октября 1941 года генерал-майор А. Н. Ермаков был назначен командующим 50-й армией Западного фронта, остатки которой выходили из окружения в ходе неудачной для советских войск Орловско-Брянской операции. Командовал действиями армии в Тульской оборонительной операции. 2-я танковая армия немецких войск, которая задержалась в начале октября в районе Мценска на одну неделю, возобновила наступление с целью захвата города Тула и обхода Москвы с юго-востока.

    На 50-ю армию была возложена оборона подступов к Туле. Под давлением превосходящих сил противника её малочисленные войска были вынуждены отойти в северо-восточном направлении к Туле. 29 октября 1941 года А. Н. Ермаков создал Южный боевой участок города Тулы во главе с майором И. Я. Кравченко. 30 октября передовые части немецкой 2-й танковой армии подошли к Туле, но ворваться сходу в город не смогли. Предпринятые противником в начале ноября новые попытки захватить Тулу фронтальным ударом, а также обойти её с севера были отражены советскими войсками при активном участии частей Тульского гарнизона и Тульского рабочего полка.

   К исходу 18 ноября немецкие войска при поддержке авиации прорвали оборону армии на дедиловском направлении и стали развивать наступление на города Сталиногорск и Венёв. Для того чтобы задержать продвижение противника А. Н. Ермаков усилил на этом направлении противотанковую оборону с помощью противотанковой артиллерии и танковых засад. Однако танковым соединениям противника удалось прорваться 22 ноября к городу Сталиногорск, что создало угрозу охвата Москвы с юго-востока. В тот же день приказом командующего Западным фронтом Г. К. Жукова А. Н. Ермаков был освобождён от должности, а 19 декабря арестован и отдан под суд военного трибунала. Был осуждён на пять лет, лишён генеральского звания и наград.

   В январе 1942 года Президиум Верховного Совета СССР освободил его от отбытия наказания, восстановил звание и награды. С февраля 1942 года — в распоряжении Главного управления кадров НКО и Главкома войсками Западного стратегического направления.

   В июне 1942 года назначается заместителем командующего 20-й армией Западного фронта, которая принимала участие в обороне ржевско-вяземского плацдарма и в Ржевско-Вяземской наступательной операции. С 20 марта по 20 августа и с 9 сентября по 15 сентября 1943 года — командующий 20-й армией, которая была выведена во 2-й эшелон Западного фронта и обороняла рубеж юго-западнее города Вязьма.

   С 18 сентября 1943 года — командир 60-го стрелкового корпуса в составе 4-й ударной армии Калининского (с 20 октября 1943 года — 1-го Прибалтийского) фронта. Корпус под командованием А.Н.Ермаковаиучаствовал в Невельской и Городокской наступательных операциях. В ходе последней — корпус наступал на направлении главного удара армии и сыграл важную роль в прорыве главной полосы обороны противника, в окружении и разгроме его группировки войск в городокском выступе.

   22 февраля 1944 года А. Н. Ермакову присвоено звание «генерал-лейтенант». С 7 апреля 1944 года — командир 23-го гвардейского стрелкового корпуса, входившего в состав 6-й гвардейской, 51-й, 22-й, 42-й, 1-й ударной, 67-й армий 1-го, 2-го Прибалтийских, Ленинградского фронтов. Соединения корпуса под командованием А. Н. Ермакова принимали участие в Белорусской, Витебско-Оршанской, Полоцкой, Шяуляйской, Прибалтийской, Рижской, Мемельской наступательных операциях, освобождении города Полоцк и других населённых пунктов. В дальнейшем корпус выполнял задачи по расчленению и уничтожению курляндской группировки немецко-фашистских войск.

   После войны А.Н. Ермаков продолжал командовать 23-м гвардейским, затем 36-м гвардейским стрелковыми корпусами(1945 1949)Ленинградского и Прибалтийскоговоенных округов. В 1950 году окончил Высшие академические курсы при Высшей военной академии имени К. Е. Ворошилова, командовал 2-м гвардейским стрелковым корпусом (1950—1953), был старшим военным советником командующего Восточно-китайского военного округа Народно-освободительной армии Китая (1953—1957).

   Умер 25 октября 1957 года в Москве, похоронен на Новодевичьем кладбище города.