En 1652, Luis de Vendôme, primo del rey Luis XIV, fue enviado a Provenza para pacificar la región y reforzar la autoridad real. Este hombre gentil y piadoso fue muy apreciado por los habitantes de Aix y fue nombrado Gobernador de Provenza en 1654. Diez años más tarde, le ofrecieron 20.000 francos para construirse una mansión privada en el corazón deAix-en-Provence.
Cuenta la leyenda que la construcción del Pavillon de Vendôme estuvo motivada por el amor del duque hacia Lucrèce de Forbin-Solliès, también conocida como "la Belle du Canet", que se reunía allí con él al caer la noche. Murió allí en 1669, con sólo 57 años, y se dice que fueron sus "ejercicios" con la Belle acabaron matándole...