Название переводится с крымско-татарского языка как «еврейская крепость» (Çufut — еврей, Qale — крепость), потому что татары считали живущих там караимов евреями из-за сходства их религии с иудаизмом.

Город возник предположительно в V веке как укрепленное поселение на границе византийских владений. Начиная с XIV века в городе и стали селиться караимы, которые к моменту образования Крымского ханства составляли уже большую часть населения города. Чуфут-Кале так и остался главным центром караимов Крыма до середины XIX века, но постепенно опустел — жители переселились с маловодного плато в более удобные для жизни места.

Город расположен на плато мыса Бурунчак.