O que resta hoje deste castelo é apenas uma cerca urbana com troços de muralha que unem cubelos, mas estes vestígios contam uma história de muitos séculos, decorrida no período romano e muçulmano. Em 1160, D. Afonso Henriques conquistou a povoação - então baptizada como Arminho - aos mouros e doou o castelo aos Templários. Este manteve-se intacto até 1970, data da derrocada de um troço da muralha e parte de um cubel. (Imóvel de Interesse Nacional)
Estado de conservação: Mau.