La bastide fut construite en 1755 par Louis Borély, descendant d'une riche famille de négociants originaire du Queyras. Elle fut vendue bien plus tard à Paulin Talabot, l'un des promoteurs du chemin de fer de Lyon à la Méditerranée (le futur PLM) .
Talabot ayant besoin du Jardin des Plantes des Chartreux pour y faire passer la ligne ferrée de Marseille à Toulon, il l'obtint de la Ville en échange de sa propriété Borély.
Le château devint musée d'archéologie en 1883.