La rue de Lille è l'asse principale di quello che anticamente era il giardino della Regina Margherita di Valois, consorte ripudiata da Enrico IV; alla morte della sovrana, nel 1615, la tenuta fu divisa in lotti e venduta. Nel quartiere sorsero delle residenze private mentre, sulle sponde del fiume, fu creato un porto detto “la Grenouillière” che accoglieva tronchi di legno trasportati dalla corrente della Senna. Il quai d'Orsay, vide la sua costruzione nel 1708 partendo dal Pont Royal e fu terminato solo in epoca imperiale. Tra il 1782 e il 1788, la costruzione dell'Hôtel de Salm (oggi museo della Legione d'Onore) consacrò definitivamente il carattere aristocratico del quartiere.

Nell’Ottocento, il sito, su cui sorgerà la futura stazione d'Orsay, era occupato da due costruzioni: la caserma della cavalleria, e il Palazzo d'Orsay, costruito tra il 1810 e il 1838 da Jean-Charles Bonnard e da Jacques Lacornée. Dapprima sede del Ministero degli Affari Esteri, fu assegnato poi alla Corte dei Conti e al Consiglio di Stato. Durante la "Comune" del 1871, l'intero quartiere fu dato alle fiamme e per 30 anni, le mura carbonizzate del Palazzo d'Orsay furono le muti testimoni degli orrori della guerra civile.