Construido en el siglo XI por iniciativa de los monjes de Lérins, instalados en la isla de Saint-Honorat, el castillo es uno de los pocos vestigios de la Edad Media que quedan en Cannes. Edificio conventual, es decir, monasterio masculino, consta de un edificio principal, una torre y una capilla. La torre cuadrada de 21 metros servía para vigilar la bahía en caso de ataque.
El castillo fue destruido en el siglo XVIII por el obispo de Grasse. Durante la Revolución Francesa, fue vendido a una familia adinerada que lo renovó y vivió en él hasta 1878.