Embora se admita a existência de fortificações romanas e mouras no local, o mais provável é que este castelo tenha sido construído no século XI. Foi pertença das ordens dos Templários (que aqui tiveram a sua sede) e de Cristo, sendo alvo de várias demolições e reconstruções ao longo dos séculos, até passar finalmente para a posse da autarquia.
A arquitectura é do tipo medieval, românica, com influências góticas e manuelinas. É um castelo simples e de pequenas dimensões, onde subsistem os restos da alcáçova, definida por quatro torres nos ângulos, uma porta suevo-visigótica e uma janela moçárabe.
