Este edifício foi construído no século para habitação dos prelados de Lisboa, como D. Luís de Sousa. No século seguinte o palácio sofre bastantes alterações, através da decoração com azulejos, pinturas e tapeçarias, graças a D. Tomás de Almeida, o 1º Cardeal Patriarca de Lisboa. No entanto, este edifício sofreu várias alterações ao longo do tempo, deixando de ser palácio e passando a ter diversas funções como fábrica, asilo, biblioteca municipal, museu da cidade até que nos dias de hoje é ocupado por vários serviços da Câmara Municipal de Lisboa e pelo Grupo de Amigos de Lisboa. Deste modo a única coisa que resta da construção original é o jardim que possui um painel rococó tardio.
