В 1960 году город достиг пика населения до 178 320 жителей, но со временем безработица, преступления и прочее заставили жильцов покидать город. Гэри стал приобретать статус неблагополучного города. Ближайшие пригороды стали сосредоточением нищеты. Увеличивающийся отток людей оставлял массивы свободных земель и бесчисленное количество пустующих зданий. На центральных улицах на многие километры заколочены магазины и рестораны. Редко где можно было найти открытый пункт быстрого питания с мерцающими огоньками.

В 1979 году в городе осталось меньше 40 предприятий. Открытый в 1978 году Sheraton Hotel, обанкротился в течение 5 лет и закрылся в 1984 году. Расходы на содержание отеля за пару лет после открытия превысили доход, и владельцы убыточного гостиничного бизнеса были вынуждены передать отель в собственность города в счёт погашения долгов. Но в 1983 году сам город уже был тоже не в состоянии оплачивать свои счета за коммунальные платежи отеля, и последовало увольнение около 400 сотрудников.

В период с 1980-1990, население города сократилось на 25%. Перепись 2000 года показала, Гэри имел населения 102,746 человек, среди них 25,8% граждан за чертой бедности. Сотрудники бюро переписи населения также отметили, что Гэри имеет самый высокий процент афро-американских жителей, чем в любом другом городе США с населением в 100000 и более.

Сейчас Гэри настоящий город-призрак. Люди его почти полностью забыли, оставив разрушаться множество красивых зданий и улиц.