Открытие музея состоялось в 1938 году, но формирование собрания имеет более давнюю историю. Еще в начале ХХ века в Ростове-на-Дону было создано Ростово-Нахичеванское общество изящных искусств, на выставках которого экспонировались произведения художников из разных городов России, вошедшие затем в частные коллекции местных меценатов, а после революции, поступившие в музей.