La historia del barrio de Panier comenzó hace casi 2.600 años, cuando se fundó la ciudad de Marsella con el nombre de Massalia. Los griegos eligieron este lugar para depositar su equipaje por su posición elevada y su proximidad al mar. El ágora, desde la que los ciudadanos podían vigilar las actividades del puerto, estaba situada en la actual plaza de Lenche, mientras que en la Butte des Moulins se encontraba la acrópolis dedicada a Atenea.
El barrio siguió desarrollándose a medida que Marsella crecía. En el siglo XII, la Confrérie du Saint-Esprit construyó un hospital, que más tarde se convirtió en el Hôtel Dieu y ahora se ha transformado en un hotel de lujo, el InterContinental Marseille de 5 estrellas. En el siglo XVIII, se construyó aquí un gran hospicio: la Vieille Charité.