Victoria se conoció primero como "Fort Albert" y siempre se ha presentado como una meca para acuerdos y negociaciones. De hecho, fue rebautizado como "Fuerte Victoria", en homenaje y adulación a la Reina de Inglaterra, en 1843, en previsión del Tratado de Oregón de 1846, que pretendía poner fin al conflicto entre estadounidenses e ingleses por la frontera de Oregón. Unos años más tarde, los songhees, el pueblo indígena que vivía en el emplazamiento de Fort Victoria, levantaron un nuevo poblado alrededor del fuerte. Después, entre 1850 y 1854, se firmaron en el lugar otra serie de tratados, los Tratados Douglas, en referencia a James Douglas, el primer gobernador de la Columbia Británica.
