Орлов хотел построить огромный и грандиозный дворец, который был бы похож на дворцы английских лордов. Позже тут располагался санаторий «Семеновское» военно-медицинского управления Федеральной Службы контрразведки Российской Федерации. В 1980 году началась реставрация усадьбы, но за недостаточностью финансирования все работы были остановлены.