Bâti sur un haut lieu de la Préhistoire, il doit son nom aux 2 menhirs érigés à proximité et signalés dès 1070.
Le château fut construit au XVIIIème siècle par Luc Pezot. Bourgeois riche et ambitieux, il fut tour à tour l’un des grands Argentiers de la ville, armateur, échevin et receveur des tailles. C’est dans les années 1770, qu’il décide de se faire construire une maison de campagne au lieu-dit « La Pierre Levée ».