Edifié en 1724 par l’architecte Aubry, l’hôtel de Brienne fut acheté en 1802 par Lucien Bonaparte qui le fit restaurer. Puis il fut la résidence de Madame Mère de 1806 à 1814.
Il a conservé sa décoration originale dans plusieurs pièces, notamment dans le salon Empire et dans le petit boudoir de Letizia. Parmi les collections Empire, il est à signaler quelques sièges ayant appartenu à Marie Walewska, des sabres de Joseph Bonaparte, Murat, Bernadotte et Kléber. Depuis la Restauration, il est la résidence du ministre de la Défense.