Le Château de Ners était autrefois le Casteou Vieilh ou Viei, ou encore château de la Reine Jeanne. Une double muraille fut construite sous l’évêque Raimond 1er (1073-1122).
On ne connait pas la date de construction du château mais en 1164, d’après un titre du monastère de Saint-Victor, le lieu appartenait déjà aux évêques de Marseille, qui y entretenaient un bureau de péage ; or on sait que l’institution du péage est fort antique, ce qui donne à penser que les premières constructions furent élevées à l’époque gallo-romaine. Une église dédiée à Saint-Étienne aurait été construite dans son enceinte et expliquerait le nombre important de maisons en ruine retrouvées autour du château.
L’évêque de Marseille percevait pour son compte les droits payés par les voyageurs marchands qui circulaient sur le chemin entre Marseille et Peypin.