Le déclin de la résidence vicomtale

Au milieu du 15ème siècle, Ségur et la Vicomté de Limoges passent aux mains de la famille d’Albret suite au mariage d’Alain d’Albret avec la nièce de Jean de l’Aigle. Le couple élit domicile à Ségur où naît leur fils Jean, futur roi de Navarre.
Par la suite, Ségur perd peu à peu son rôle stratégique de place forte et de résidence seigneuriale. Au 16ème siècle, les d’Albret vendent le château à leurs fidèles serviteurs, les Pérusse, devenus seigneurs des Cars. Ces derniers vivent dans leur château des Cars, dont le site se prête à des aménagements tels que jardins et boulevards d’artillerie que ne permettent pas les espaces restreints et accidentés de Ségur.
Au siècle suivant les Pérusse cèdent Ségur à la famille Hautefort, qui elle aussi réside ailleurs, dans son château en Dordogne. Après la Révolution, les Hautefort revendent le château à l’un de leurs fermiers, Gabriel Dumas-Lavareille, devenu maire de la commune.