Das Dorf Labrespy hat sich im Mittelalter um ein befesstigtes Haus herum entwickelt, das einen kleinen Pass zwischen dem Arnettetal im Osten und dem Linoubretal im Westen überwachte, da sich dort mehrere wichtige Wege trafen. Sein Name leitet sich von dem Weissdorn ab, den man als Zäune um Wiesen und Felder pflanzte, aber auch als Beschützung um die zerstreuten Weiler. Der wichtigste Weg war der « Chemin du Sel »  (Salzstrasse), denn Eselskarawanen transportierten diese kostbare Ware über die Montagne Noire von den Salinen der Abtei von Caunes Minervois im Süden bis nach Albi im Norden durch Hautpoul. 

Labrespy beherrscht das Linoubretal, dessen Wasser die Räder vieler Mühlen antrieb. Auf seinen feuchten Ufern baute man Lein an, daher sein Name. Der Lein sowie die Wolle der auf den Heidenflächen der Hochlagen gezogenen Schafe wurden von den Bewohnern Labrespys und der umliegenden Weiler versponnen. Im 16. Jh. hatte Labrespy etwa 15 Häuser und einen Bauernhof. Anfang des 20.Jh.s ersetzten zwei Woll- und Lederfabriken die Mühlen. Im Ort gab es damals mehrere Handwerker, ein Gasthaus, einen Wein- und Kohlehändler, eine Bäckerei und einen Lebensmittelladen. Heute sind Labrespy und die umliegenden Weiler zu Wohnvierteln der Peripherie von Mazamet geworden.