Construit sur les ruines d’un ancien château en grande partie détruit par les guerres de religion, ce palais est la création de François II de Salignac de la Mothe Fénelon, il a été modifié à de nombreuses reprises.
Élevée vers 1660, cette demeure est d 'un style très sobre qui caractérise la période classique française. Elle sera implantée sur l'emplacement de l'abbaye.
Les élégantes tourelles qui parent les angles des bâtiments sont des escaliers intérieurs. Le grand escalier central a disparu. Les peintures de la salle des fêtes sont de Pierre Belvès illustrateur du Père Castor (classé au patrimoine mondial de l'UNESCO).
Il abrite en son rez-de-chaussée l'Office de Tourisme.