O castelo situa-se no ponto mais alto da cidade, construído em grés vermelho e próximo das torres da antiga sé. É provável que as suas primeiras fortificações sejam de origem fenícia, embora tenha começado a tomar forma apenas durante a ocupação árabe, época em que Silves era a capital do Algarve.O castelo foi bastante danificado por terramotos sucessivos, sendo que nas décadas de 1930 e 1940 foi alvo de importantes obras de restauro. É constituído por muralhas de taipa e tem planta de polígono irregular, na qual salientam-se quatro torres: a do Centro, a das Mulheres (por ter servido de prisão feminina), a de menagem (também conhecida por Aben-Afan) e a do Segredo (onde eram colocados os presos incomunicáveis). No interior do castelo encontram-se numerosos vestígios da ocupação muçulmana, como uma cisterna árabe, enquanto o caminho de ronda permite dar a volta ao castelo observando os meandros do rio Arade, os laranjais e as colinas que anunciam as serras de Espinhaço de Cão e de Monchique. Em evidência tem também uma estátua do rei D. Sancho I. (Monumento Nacional)
Horário de visita: Aberto todos os dias (exceto Dia de Natal e Dia de Ano Novo)Inverno (1.outubro a 31.maio): 9h00 - 17h30 (última entrada até às 17h00)Verão (junho e setembro): 9h00 - 19h00 (última entrada até às 18h30)Verão (julho e agosto): 9h30 - 20h00 (última entrada até às 19h30)
