As obras começaram no século XVI, pelo duque D. Jaime, por ocasião do seu casamento. Do paço quinhentista subsistem algumas dependências no andar térreo. Com uma arquitectura ainda de sabor gótico, são utilizadas, actualmente, para expor a colecção de armaria da Fundação da Casa de Bragança. O actual aspecto do palácio resulta de obras levadas a cabo por D. Teodósio, filho de D. Jaime. Mais de cem anos depois, será deste palácio que D. João, duque de Bragança, encabeçará a revolta contra o domínio espanhol, tornando-se, assim, após a Restauração no rei D. João IV. No final do século XIX, o palácio foi muito utilizado pelo malogrado rei D. Carlos que aqui passou os seus últimos dias antes de ser assassinado, em 1908, no Terreiro do Paço, em Lisboa. Aberto ao público, o palácio tem importantes colecções de cerâmica e ourivesaria, e mantém praticamente inalterado o mobiliário do tempo de D. Carlos, bem como a maior parte dos quadros pintados por este monarca.
Dia(s) de Encerramento: Segundas, Terças (de manhã). Nos feriados nacionais o palácio encontra-se fechado bem como no feriado municipal