Основана галерея знаменитым художником, академиком И. К. Айвазовским. Маринист заботился о развитии культуры в родном городе, и его глобальной целью было - сделать свой дом центром художественной жизни. В 1880 году к дому, где он жил и работал, пристроили большой зал, в котором постоянно выставлялись его картины. Позже, этот зал этот стал одной из первых периферийных картинных галерей России.