Cette demeure du XVIIe siècle fut la propriété du Maréchal de Ségur, du Prince Borghèse, et du Comte de Boigne. Son épouse, la Comtesse de Boigne, y écrit ses mémoires et y tint de nombreux salons, entourée de diplomates, savants, poètes et amies telles que Madame Récamier qui y séjourna à plusieurs reprises. Le château devint la propriété de M. Roland-Gosselin, agent de change, en 1829. Après avoir acquis le parc, il le fait aménager par l'architecte Vare, responsable du Bois de Boulogne. En 1866, à la mort de Roland-Gosselin, sa fille fonde un orphelinat réservé aux jeunes filles nécessiteuses. En 1941, l'État devient propriétaire des lieux et y implante l'École Normale Supérieure d'Éducation Physique de jeunes filles, qui deviendra en 1975, le Centre d'Éducation Populaire, puis le Centre de Ressources, d'Expertise et de Performance Sportives (CREPS).