За годы своей деятельности музей внес большой вклад в развитие культуры Мордовии, способствовал возрождению национального искусства и в настоящее время является одним из крупных культурных центров Поволжья. Так же это туристически привлекательный объект Республики Мордовии.

Музей открылся 10 января 1960 года в бывшем здании пожарного депо и назывался «Мордовская республиканская картинная галерея им. Ф.В. Сычкова». В 1976 году, к 100-летию со Дня рождения С.Д. Эрьзи, было построено новое здание, с 1995 года музей носит имя Степана Эрьзи.

Базовыми коллекциями являются работы классиков национальной художественной культуры: великого сына мордовского народа скульптора Степана Дмитриевича Эрьзи (1876-1959) и «певца радости бытия», нашего земляка, выпускника Императорской академии художеств, живописца Федота Васильевича Сычкова (1870-1958). Обе эти монографические коллекции, по сути, были сформированы самими авторами. Кроме того, музей хранит работы уроженца Саранска Академика портретной живописи Ивана Кузьмича Макарова (1822-1897), подаренные музею внуком художника.