Construction maintes fois remaniée qui débuta par un morceau de l'Hôtel royal Saint-Pol, qui devint ensuite l'Hôtel d'Herbault (début XVIIe). Transformé et agrandi par Jules Hardouin-Mansart au milieu du XVIIe siècle, il devint la demeure de Gaspard de Fieubet, conseiller d'Etat.
De 1814 à 1857, il abrita une raffinerie de sucre, jusqu'à ce que le comte de Lavalette le fit restaurer dans un style assez fantaisiste. On voit sur la photo la partie du bâtiment qui fait l'angle avec la rue du Petit Musc, avec sa décoration baroque chargée d'influence espagnole.