En 416, le moine Jean Cassien fonda un monastère sur l'emplacement de l'ancienne nécropole grecque, où l'on arrivait par la Via Sacra (actuelle rue Sainte), et lui donna pour patron le saint marseillais Victor.

«L'église supérieure, ou église d'Isarn, fut agrandie (...) au XIVème siècle, par les importantes constructions du pape d'Avignon Urbain V. Celui-ci (...) était abbé de Saint-Victor au moment de son élévation au pontificat, et garda toujours une prédilection pour son abbaye. Il lui donna l'aspect de forteresse du palais des Papes...» (André Bouyala d'Arnaud, Évocation du vieux Marseille).