Localizado no centro histórico da vila de Oeiras, a sua construção remonta ao século XVIII, tendo sido o edifício mais importante e nobre, até à edificação do Palácio do Marquês. Foi mandado construir pela família Rebello de Andrade e estava, então, integrado na Quinta de Recreio Nossa Senhora do Egipto.
Nos finais do século XIX, pertencia ao Dr. Zeferino Pinto Coelho, cujos herdeiros, nos anos 20 do século passado, venderam o edificado e a quinta ao Sr. Álvaro António dos Santos. Em 1980, o Palácio foi vendido à Câmara Municipal, fazendo desde então parte do espólio e património municipal. Em 2009, foi criado o atual Centro Cultural Palácio do Egipto, que integra uma sala de exposições temporárias, a livraria municipal e o Posto de Turismo de Oeiras.
