Картинная галерея расположена в здании бывшей мечети. В 1913 году по инициативе мусульманского общества Ставрополя архитектор Г. П. Кусков приступил к возведению здания соборной мечети. Вскоре белокаменное строение, выполненное в лучших традициях восточного зодчества, стало одним из украшений города. Здание мечети является памятником истории и культуры и охраняется государством.

В 1987 году здесь была открыта картинная галерея пейзажей заслуженного художника России, почетного гражданина Ставрополя П. М. Гречишкина (1923–2009). Поводом к ее открытию послужило преподнесение художником в дар городу коллекции своих картин. Первоначально коллекция насчитывала 167 полотен, но, благодаря активной деятельности художника, фонды галереи пополнились и теперь насчитывают 490 живописных и 50 графических работ. Основной жанр в творчестве П. М. Гречишкина – пейзаж.