Главная особенность этой усадьбы заключается в том, что построена она на месте старого города Перемышль, который, как говорят, превосходил по размерам Дмитров и Звенигород. К сожалению, со временем, необходимость в этом городе отпала, и уже к XVII веку он исчез с лица земли. Как же появилась здание усадьбы? Ходит много легенд. Одна из них гласит, что хозяин дома, московский булочник Дмитрий Филиппов, построил её для своей возлюбленной. Это была цыганка Аза, которая, узнав, что Дмитрий полюбил другую, не выдержала горя и погибла, бросившись со смотровой башни.