El edificio histórico que alberga el museo fue originalmente el Colegio Seminario San Pío V, fundado en 1683 por el arzobispo de Valencia, fray Juan Tomás de Rocabertí. El edificio ha tenido varios usos en su historia: academia militar de cadetes, casa de beneficencia, tienda de suministros del ejército, hospital militar, hasta que en 1946 fue elegido como sede del Museo de Bellas Artes.
