При Петре I здесь размещалась одна из первых в России арифметических школ, в советское время - квартиры и учреждения. Конечно, здание перестраивали много раз. Однако в ходе реставрации 1968-72 годов была выявлена историческая основа памятника, скрытая под стенами поздних построек. Таким образом, сегодня мы видим тот облик палат, который они имели в 17 веке. Внутри здания сохранилась Поварня - кухня с печами 16 века, а также Казенная палата, где проходили деловые приемы.