Улица получила своё название (вместе с Малой Оленьей улицей, по сравнению с которой она длиннее, и Малым Оленьим переулком) в XIX веке по расположению близ Оленьих прудов и Оленьей рощи (последняя вошла в городскую черту Москвы в 1879 г.). Названия прудов и рощи связаны с местами, где устраивались царские охоты при царе Алексее Михайловиче. Ранее часть улицы носила название Большой Олений проспект.