Os primeiros vestígios deste castelo remontam ao século II a.C., com a ocupação do castro pelos romanos e a sua consequente transformação numa importante base política, administrativa e militar. Já a fortaleza de origem árabe, reconstruída no século XIII, possuía muralhas impressionantes, parte das quais ainda se podem ver actualmente, e três torres de alvenaria que ligam directamente à alcaidaria, onde funciona actualmente o museu e biblioteca municipais.
O castelo foi conquistado definitivamente pelos portugueses em 1249 e, após a sua ampliação, procedeu-se ao povoamento do local. Tem como característica particular o facto das suas muralhas encontrarem-se integradas em edifícios, restando alguns panos de muralha (por exemplo, junto ao Jardim dos Amuados) e uma torre em pleno centro urbano. (Imóvel de Interesse Público)
