Ces tours faisaient partie au moyen-âge des remparts de l'abbaye réalisés à partir de 1423 par l'abbé Simon de Torcenay pour répondre aux inquiétudes dues à la guerre de Cent ans.
La tour Oysel:
Un plan très précis de l'abbaye, daté de 1690, signale la « tour d'Oysel » sous le nom de « colombier de l'abbaye ». Cette transformation d'une tour de défense en pigeonnier prouve que ces installations de défense n'étaient plus prises en considération en cette fin du XVIIème siècle.
L'appellation « tour d'Oysel » vient du mot « oiseaux » et de la transformation de la tour en colombier, appellation ancienne venue jusqu'à nous par la tradition populaire.
La tour des Chaux (ou tour des Choues):
Cette tour, avec la tour d'Oysel au bord de la Bèze, sont les seuls éléments restants des fortifications du XVème siècle.
Son appellation ancienne « tour des chaux » proviendrait soit de la situation d'un trou à chaux près de sa base, soit de la présence de chouettes dans les combles d'où chaux ou choues en patois local.
Tour maîtresse de défense, faisant office de tour de guet et de corps de garde, elle est à trois étages, avec des murs de deux mètres d'épaisseur et un diamètre intérieur de sept mètres. Un escalier, aménagé dans l'épaisseur du mur, conduisait sur le chemin de ronde des remparts.
