Il doit son nom aux Archevêques de Sens qui y organisèrent le concile dit "de Sens" où fut condamnée l'hérésie du moine Luther. Il connut ensuite des fortunes diverses, transformé et parfois défiguré. La reine Margot l'habitat à partir de 1604, après sa répudiation par le roi Henri IV. Sa façade à tourelles en fait un monument tout à fait pittoresque.