Первоначально назывался Головин переулок по находившемуся в этом районе в середине XVIII века ведомству Московской полицмейстерской канцелярии капитана Ивана Головина. При этом переулок получил определение Малый, когда в 1906 году бывший Соболев переулок на противоположной стороне Сретенки был переименован в Большой Головин переулок. Малый Головин переулок начинается справа от Сретенки напротив Большого Головина, проходит на восток и заканчивается на Костянском переулке.