Pertencente aos Duques de Lafões, o Palácio do Grilo foi edificado a seguir ao terramoto de 1755 por D. João Mascarenhas da Silva, 2º duque em título e fundador da Academia Real das Ciências. O projecto do edifico é atribuído ao arquitecto Eugénio dos Santos, embora não haja certezas.O projecto original, que tinha como objectivo transformar a quinta de veraneio dos duques na sua residência permanente na capital, incluía a casa, com capela, rodeada de jardim e alameda. O arquitecto procurou ainda integrar a estrutura seiscentista já existente. Tirando partido do declive do terreno, construiu-se um grande edifício de três pisos e planta em L. Os interiores caracterizam-se pela riqueza decorativa, nomeadamente os conjuntos de pintura mural da autoria de Cirilo Wolkmar Machado, e a azulejaria dos séculos XVIII e XIX, que ornamentam as salas temáticas do palácio (Sala da Academia, Sala de Vénus, Sala Chinesa). A capela alberga um retábulo de talha dourada e policromada da segunda metade do século XVIII. Em 2011 o Palácio do Grilo foi classificado como Monumento de Interesse Público.