La maison de maître est construite en 1825 par le Cercle Vespasien. Sa vocation est alors d'accueillir les membres de la Société, un musée et de servir de logement.
Le bâtiment annexe est construit la même année. Au vu de l'architecture, il est fort possible que ces bâtiments soient l'œuvre de l'architecte Henri Perregaux. En 1830, ces espaces servent de casino, avant de passer en mains privées en 1840. En 1968, la maison de maitre est agrandie à l'ouest par une extension. Le style néo-classique trouve sa source dans intentions du Cercle Vespasien d'exposer des œuvres antiques dans un décor digne d'elle et lui fasse échos. Cette Volonté se manifestait également dans jardins, ornés semble-t-il au départ d'hémicycles.