Avallon wurde bereits vor rund 2 000 Jahren als gallische Festung der Haeduer ausgebaut und erwies sich aufgrund seiner Lage auf einem Granitplateau über dem Tal des Flusses Cousin als strategisch bedeutsam. In dieser Zeit trug es den Namen Aballo. Im 1. Jh. n. Chr. errichteten römische Händler einen Außenposten über dem Cousin. Nach der Niederlage des anglo-romanischen Heerkönigs Riothamus im Jahr 470 n. Chr. gegen die Goten, wurde Avallon zu dessen Fluchtsitz, wo er wahrscheinlich auch verstarb. Das Leben dieses Königs und Legenden um seine historische Gestalt machten ihn zu einem der Vorbilder für die frühmittelalterliche Artus-Sage. Während des hohen Mittelalters wurde Avallon zu einer bedeutenden Festung ausgebaut und mit einer hohen, von zahlreichen Türmen verstärkten Stadtmauer umgeben.

Während der Zeit des Absolutismus verlor Avallon zunehmend an Bedeutung, zur Zeit der Französischen Revolution war die Landwirtschaft der bedeutendste ökonomische Faktor der Region. Als im 19. Jh. mit der Romantik die Begeisterung für mittelalterliche Stadtbilder erstarkte, entwickelte sich Avallon zu einem wichtigen Zentrum des Fremdenverkehrs, was es bis heute geblieben ist.