Guillaume VIII, conte de Poitiers, édifia un premier château sur ce site vers 1060. Il passa dans le giron anglais suite au mariage d’Aliénor d’Aquitaine avec Henri II de Plantagenêt dit aussi Edward de Woodstock, d’où vient le nom de Prince Noir. On ne sait si ce nom vient de la couleur de l’armure du prince ou bien de celle de son âme… Il y résida durant la Guerre de Cent Ans dont le traité de paix aurait été signé sur place. Ce château toujours occupe une place étonnante en balcon sur le fleuve et le pont d’Aquitaine.