Inicialmente a construção do edifício do Palácio destinava-se à realização de exposições industriais, agrícolas e artísticas.
O edifício foi inaugurado a 3 de Setembro de 1861 pelo rei D. Pedro V. Este edificio era constituído por uma grandiosa obra de pedra, ferro e cristal. Media 150 metros de cumprimento por 72 metros de largura e era dividido em três naves.
Ao fundo da nave central erguia-se um magnifico órgão, justamente considerado como um dos melhores do mundo e cujo destino se desconhece.
A 18 de Setembro de 1865 é realizada a primeira Exposição Internacional Portuguesa em que participaram mais de 3000 expositores nacionais e estrangeiros. Depois desta houve ainda a Exposição das Rosas em 1879 e a Exposição Agrícola em 1903.
Mas em 1933 a Câmara Municipal comprou o Palácio e os seus terrenos, e sob a presidência do Coronel Lícinio Presa, o edifício de Cristal foi demolido em Dezembro de 1951, dando lugar a um Pavilhão dos Desportos que iria permitir a realização dos Campeonatos Mundial e Europeu de Hóquei em Patins em 1952.
No entanto todo o que envolvia o palácio permaneceu, os jardins cobertos de magníficas plantas e árvores, são, ainda hoje, dignas de vere assim como as longas avenidas da entrada decoradas com plátanos e tílias frondosas.
No interior dos jardins foi mandado edificar, pela princesa de Montléart, a capela de Carlos Alberto da Sardenha, que lá repousa desde 1849, data da sua morte. A capela de granito, em linhas e adornos de influência italiana, encontra-se junto ao lago.
Actualmente e preservando no coração da cidade um lugar de grande atracção turística, o Pavilhão dos Desportos é um lugar de passeio das famílias portuenses. Na parte inferior do parque foi construído um parque infantil e um pré-fabricado para receber as crianças e para que estas estejam em contacto com a natureza.