La présence de vignes dans les Graves de Bordeaux au lieu-dit « aux monts » est attestée dès 1429. Jean de Pontac a reçu en dot de son épouse des terres au lieu-dit Haut-Brion. Il y construit le château éponyme en 1550. C’est à l’origine un corps de logis rectangulaire cantonné de tours, dont une en encorbellement. Une aile en retour d’équerre lui est adjointe au XVIIe siècle supprimant une tour et l’escalier en vis d’origine. Les représentations anciennes du domaine montrent comment la silhouette du château classé Premier Crus des vins de la Gironde s’inscrit dans un paysage agreste au-devant des vignes fuyant à l’infini comme l’étendue illimitée de la richesse qui a permis d’édifier cette demeure.