É um dos mais bem conservados castelos portugueses, erguendo-se no topo de um cabeço contornado pelo curso do rio Côa. Anterior à fundação de Portugal, foi ocupado, em 1296 por D. Dinis, estatuto que só seria reconhecido um ano depois com o Tratado de Alcanizes. Restaurado no reinado de D. Manuel, recebeu as suas armas que encimam, ainda hoje, a porta de entrada do castelo. Em 1811, durante a III Invasão Francesa, as tropas luso-britânicas instalaram-se aqui para preparar o ataque aos franceses em retirada.
O recinto fortificado apresenta quatro torres nos vértices, a alcáçova e a torre de menagem, com mais de 20 metros de altura acima das muralhas. O visitante mais atento reparará ainda na profusão de aberturas para facilitar o tiro dos defensores, primeiro com bestas e arcos, depois com incipientes bocas de fogo.
É imprescindível fazer o perímetro da muralha e subir às torres, sobretudo à de menagem, para contemplar a vista. Aqui, a ascensão faz-se através de uma escada em pedra, que nos troços superiores passa a madeira. Existem diversos patamares dando acesso aos quatro balcões com mata-cães (cujos buracos no pavimento permitiam a defesa vertical da torre). O último andar tem tecto de madeira trabalhado, seguindo-se o acesso final ao terraço. Daqui de cima tem-se uma ideia da topografia da região, avistando-se uma parte do curso do rio Côa, bem como o labirinto de curiosas casas de xisto que rodeiam o cabeço onde foi implantado o castelo. Para sul, as montanhas que se avistam assinalam já o território da Reserva Natural da Serra da Malcata, uma sugestão de visita a ter em conta.
