Les Pénitents Blancs achetèrent en 1654 au notaire Anglès un terrain situé dans le quartier St-Jean, pour y construire une nouvelle chapelle. La construction est confiée à Jean Jaubert et Laurent Vallon. La première tranche se déroule de 1657 à 1663. Mais le percement trop large des contreforts nuit à sa solidité et en 1664 sa reconstruction quasi-totale a lieu jusqu’en 1672.
Orienté N-S, son plan ne comporte qu’une simple nef de trois travées avec abside pentagonale, précédée d’un vestibule. Son originalité vient de ses voûtes sur croisée d’ogives sur les 3 travées et à liernes et tiercerons dans l’abside. Plusieurs éléments sont restés épannelés sur la façade jamais totalement terminée. Quatre pilastres cannelés d’ordre dorique soutiennent une frise et un large fronton en demi-cercle. Depuis d’importantes transformations ont eu lieu : les trois oculi destinés initialement à éclairer le vestibule ainsi que les niches, transformées en fenêtres, sont murés.
Vendue sous la Révolution puis rachetée par la Ville, de 1866 à 1876 elle abrite la collection Bourguignon de Fabregoules. Puis successivement jusqu’en 1970, une école communale, une école d’arts ménagers et une partie de l’école des Beaux Arts.
En 1971, la Ville transforme la chapelle en centre des congrès puis la ferme en 2001 pour travaux de désamiantage. En 2007 un projet de réhabilitation voit le jour qui s’achève au printemps 2013 avec la réouverture de la chapelle comme annexe du musée Granet et la présentation de la collection Jean Planque sous l’intitulé « Granet XXe »