Aljustrel foi um antigo castro lusitano, ampliado por altura da ocupação romana. Deste, restaram apenas ruínas que os árabes transformaram em castelo. Da ocupação islâmica também só restam alguns tramos de muralha de taipa. No topo da colina está situada a Igreja de Nossa Senhora do Castelo, de construção setecentista, a que se acede por uma ampla escadaria que começa a meio da encosta.
Conta uma antiga lenda que Nossa Senhora terá aparecido sobre uma rocha pertencente ao castelo e que apenas se conseguiu construir o templo quando se incluiu a dita pedra na sua estrutura. (Imóvel de Interesse Nacional)