Construit entre le XIIIe et le XVIe siècle et bénéficiant d’une situation défensive sur un éperon rocheux, le château se compose d’un château médiéval et d’un vaste corps de logis accolé à la Renaissance. La visite de Gramont permet de passer de la période du Moyen Age (château à tour carrée et corps de logis à meurtrières) à celle des Temps modernes (château Renaissance, porte d’honneur et fenêtres sculptées, grand escalier droit, cheminées monumentales).
Une collection diversifiée de meubles et de tapisseries XVIe et XVIIe siècle reflète le mode de vie seigneurial. Un jardin dessiné de parterres est soigneusement entretenu.