La Compagnia ferroviaria d'Orléans, progettò di costruire, al posto del Palazzo d'Orsay, un capolinea ferroviario più centrale in vista dell’esposizione Universale del 1900; l’eleganza del quartiere e la vicinanza con il palazzo del Louvre e quello della Legione d'Onore imponevano una sfida ardua agli architetti chiamati a dare vita al progetto, ossia l’inserimento di una stazione ferroviaria in un sito urbano così pregevole. Nel 1897 tre architetti: Lucien Magne, Emile Bénard e Victor Laloux presentarono le loro proposte architettoniche e l’anno successivo l’idea di Victor Laloux fu preferita a quelle degli altri due colleghi.
In soli due anni furono costruiti la stazione ed un albergo di lusso che furono inaugurati proprio per l'esposizione Universale, il 14 luglio 1900. Laloux coprì la gigantesca ossatura metallica della stazione con un rivestimento in pietra di stile eclettico e l'interno della stazione fu una pura esibizione di modernismo: piani inclinati e montacarichi per i bagagli, ascensori per i viaggiatori, sedici attraversamenti sotterranei, i servizi di accoglienza al pianterreno, la trazione elettrica. La grande hall, alta 32 metri, larga 40 e lunga 138, era preceduta per tutta la lunghezza del binario da un vestibolo e da un androne aperto.
Questa stazione, dal 1900 al 1939, ebbe una posizione di prestigio per la linea ferroviaria sud-occidentale francese. L'albergo della stazione d'Orsay accolse un numero sempre più cospicuo di viaggiatori, di associazioni e di partiti politici che lì organizzavano assemblee e ricevimenti. Però dal 1939, la stazione conobbe il suo declino poiché garantiva solo i collegamenti con le zone periferiche dato che i suoi binari divennero obsoleti, non riuscendo più a coprire l'intero tragitto di percorrenza a causa dell'elettrificazione progressiva delle linee ferroviarie e dell'allungamento dei treni.
Negli anni successivi, lo stabile fu adibito a vari usi finché nel 1961, sotto il governo Pompidou, ne fu decisa la demolizione, ma un movimento di cittadini favorevoli alla sua salvaguardia ottenne la salvezza dell’edificio che fu promosso a monumento nazionale. Dopo essere stato sede di un teatro e di una casa d’aste, nel 1978, sotto la presidenza di Giscard d'Estaing fu finalmente decisa la trasformazione in museo.