O Castelo de Portel foi construído em pleno século XIII, por João de Aboim. No reinado de D. Manuel I procederam-se a obras e melhoramentos da autoria do arquitecto Francisco Arruda, sendo construídos o Paço dos Duques de Bragança; a Igreja de São Vicente de estilo manuelino-mudéjar, agora em ruínas; quartéis; cavalariças e uma cisterna. A torre de menagem continua a atrair o visitante, pela sua dimensão, de planta quadrangular, com porta ogival e com janelas góticas em mármore.
Estado de conservação: Médio.