Construite en bois au 13e siècle, elle est renversée par une tempête en 1606. Sa reconstruction entre 1610 et 1611 affiche un style composite : les quelques arcs brisés du rez-de-chaussée de la façade rappellent le style gothique, le premier étage est de type Renaissance et les gâbles sont baroques. La cour à galeries intérieures, réalisée en 1616, imite les cours italiennes. C’est dans cet espace que s’installaient les marchands d’étoffes.
Après son effondrement en 1881, l’édifice est reconstruit à l’identique. Il servira de musée communal. Les bombes incendiaires de 1940 ne l’épargnent pas. La Halle-aux-Draps doit à nouveau être restaurée. Enfin, dans le cadre des travaux de rénovation urbaine, sa façade est remise à neuf en 1998. Jouxtant le bâtiment, se trouve également la très belle conciergerie.
Actuellement fermé pour de gros travaux de rénovation, cet édifice accueillera à nouveau dès 2024 expositions et autres activités de type évènementiel.