Музей создавался при непосредственном участии Александра Борисовича и принял своих первых посетителей в 1959 году. Первое время Александр Борисович сам проводил экскурсии, а после его смерти в 1961 г. руководителем музея стала его ученица, помощница и супруга Е. И. Гольденвейзер (1911-1998). Музей-квартира А. Б. Гольденвейзера сегодня, по сути, представляет собой «музей в музее» - единый мемориальный, фондово-экспозиционный, научно-исследовательский, музыкально-просветительный и справочно-методический комплекс.

Помещение музея поделено на две зоны - мемориальную и камерный музыкальный салон. В мемориальном отделе ведется просветительская и экскурсионная работа, в музыкальном салоне проходят встречи с учениками А. Б. Гольденвейзера, концерты фортепианной, вокальной и инструментальной музыки, а также вечера видео- и звукозаписи. В музее проводятся научные чтения, методические семинары, консультации и рецензирование научных работ по музыкальной тематике, имеется возможность для работы исследователей и ученых.