Дом для Дворянского депутатского собрания был построен по проекту известного петербургского архитектора А. И. Штакеншнейдера в 1851 г. Пострадавшее в годы Великой Отечественной войны (1941−1945 гг.) здание было реконструировано в 1950-е гг.

Был надстроен третий этаж, уничтожен фасадный декор, пристроен массивный колонный портик. Внутри здания частично сохранена первоначальная планировка. Здание Дворянского собрания в советское время занимали совпартшкола, техникум электронной промышленности, политехнический институт и другие организации.

В 2001 г. в здании Дворянского собрания открыт Музей изобразительных искусств, где располагается экспозиция «Русское искусство XVIII−XX вв.». Экспозиция позволяет познакомиться с богатой коллекцией русской живописи XVIII−XX вв., графики и скульптуры, коллекция портретной миниатюры представлена во всем жанровом и стилистическом многообразии.

Основная часть музейной коллекции была сформирована в 1920−1930 гг. из закрытых дворянских усадеб, Государственного Русского музея и Российского музейного фонда. Собрание художественных произведений включает картины Д. Левицкого, В. Боровиковского, Ф. Рокотова, К. Брюллова, В. Тропинина, И. Репина, И. Айвазовского и др. Среди замечательных образчиков скульптуры музея – произведения М. Антокольского, Ф. Шубина, М. Врубеля, П. Трубецкого.

Посетителей встречает полотно Б. Виллевальде «Открытие памятника «Тысячелетию России». Коллекция позволяет в достаточно полной мере представить основные пути развития отечественного изобразительного искусства. В здании Дворянского собрания проводятся торжественные церемонии бракосочетания и зимние балы.