Родился 18 (31) января 1902 года в Москве. В 1924 году по окончании школы при 3-й студии МХАТа вступил в труппу Московского Художественного театра. Первая значительная роль Грибова — мистер Крегс («Битва жизни» по Ч. Диккенсу, 1924). C 1935 года начал сниматься в кино.

Как отмечают театроведы, «Грибов был мастером разнообразнейших вариантов русского национального характера». Среди созданных им образов — Фрол Баев («Земля» Н. Е. Вирты), Непряхин («Золотая карета» Л. М. Леонова), Глоба («Русские люди» К. М. Симонова). Играя в пьесах А. П. Чехова, артист тонко передавал чеховскую поэзию (Чебутыкин — «Три сестры», Фирс — «Вишнёвый сад»). Сыграл галерею персонажей в пьесах Горького, в том числе Достигаева («Егор Булычёв и другие» и «Достигаев и другие»), Луку («На дне»), Левшина («Враги»).

Грибов — первый актёр, воплотивший на сцене МХАТа образ В. И. Ленина («Кремлёвские куранты» Н. Ф. Погодина).
Часто выступал и в сатирических ролях Собакевича («Мёртвые души» по Н. В. Гоголю), Хлынова («Горячее сердце»), Епиходова («Вишнёвый сад»). Именно комедийно-сатирические персонажи принесли ему успех в кино.
Одной из главных театральных удач Алексея Грибова был Фома Опискин в спектакле по сатирической повести Ф. М. Достоевского «Село Степанчиково и его обитатели» (1970). В 1973 году вышел одноимённый мхатовский телеспектакль.

Много лет Алексей Грибов виртуозно озвучивал мультфильмы на студии «Союзмультфильм». С 1970 года Алексей Грибов преподавал актёрское мастерство в школе-студии МХАТ. Во время гастролей театра в Ленинграде в 1974 году, исполняя роль Чебутыкина в «Трёх сёстрах», актёр пережил инсульт, однако по его просьбе спектакль, в итоге оказавшийся последним в его карьере, был доигран. В течение следующих трёх лет Грибов заново учился писать и говорить, начал ходить с палочкой и приступил к занятиям со студентами школы-студии МХАТ, однако осенью 1977 года состояние здоровья вновь ухудшилось.

Скончался Алексей Николаевич Грибов 26 ноября 1977 года от инсульта. Похоронен в Москве на Новодевичьем кладбище (участок № 9).