O castelo situa-se no ponto mais alto da cidade, construído em grés vermelho e próximo das torres da antiga sé.
É provável que as suas primeiras fortificações sejam de origem fenícia, embora tenha começado a tomar forma apenas durante a ocupação árabe, época em que Silves era a capital do Algarve.
O castelo foi bastante danificado por terramotos sucessivos, sendo que nas décadas de 1930 e 1940 foi alvo de importantes obras de restauro. É constituído por muralhas de taipa e tem planta de polígono irregular, na qual salientam-se quatro torres: a do Centro, a das Mulheres (por ter servido de prisão feminina), a de menagem (também conhecida por Aben-Afan) e a do Segredo (onde eram colocados os presos incomunicáveis).
No interior do castelo encontram-se numerosos vestígios da ocupação muçulmana, como uma cisterna árabe, enquanto o caminho de ronda permite dar a volta ao castelo observando os meandros do rio Arade, os laranjais e as colinas que anunciam as serras de Espinhaço de Cão e de Monchique. Em evidência tem também uma estátua do rei D. Sancho I. (Monumento Nacional)
