O granito é o suporte para todas as edificações desta aldeia histórica, desde as casas ao empedrado das ruas estreitas, passando pelas muralhas do castelo que se ergue a 760 metros de altitude. Este foi mandado reconstruir por D. Sancho II e sofreu vários restauros (nos reinados de D. Dinis, D. Fernando e D. Manuel) depois de alguns tremores de terra que afetaram a sua estrutura.
Sortelha ainda se conserva rodeada de fortes muralhas circulares, que se estendem pelos declives naturais, envolvendo a aldeia como um anel. Na sua urbe destaca-se o recinto da cidadela no cimo de um penhasco mais elevado, com a torre de menagem quadrada ao centro. Daqui abarca-se um amplo horizonte em que se distingue a serra da Malcata e a linha final da serra da Estrela. Além do castelo, são notáveis, igualmente, a igreja matriz do século XIV, dedicada à Virgem das Neves, um conjunto de sepulturas medievais escavadas na rocha e o pelourinho manuelino. Bastante curiosos são as formações graníticas conhecidas como Pedra do Beijo e "Cabeça da Velha", dois penedos graníticos com formas invulgares.
