O Castelo de Algoso ocupa uma posição privilegiada sobre um promontório, no topo do Cabeço da Penenciada, a uma altitude de 681 metros. É rodeado pelos profundos vales dos rios Angueira e das Maçãs que confluem nas proximidades. Tão alto se situa que dali se conseguem identificar alguns pontos do planalto transmontano como Vimioso e Outeiro para norte, ou Penas Roias e Mogadouro, para sul. Não se conhece a data exata da construção, supondo-se que terá sido mandado edificar por Mendo Rufino (no final do reinado de D. Afonso Henriques ou já nos tempos de D. Sancho I), no século XII. Subsiste a torre de menagem, no interior da qual são visíveis três registos de ocupação, sendo os dois primeiros de uso para habitação e o último de defesa. O Castelo de Algoso reabriu ao público em Fevereiro de 2012, após obras de restauração.
Acessos e estacionamento: EN 219, a 15 km a sul de Vimioso.