No reinado de D. Afonso V o castelo foi mandado construir em 1481 pelo primeiro barão do Alvito, numa ligeira elevação de terreno junto à Praça da República. De planta rectangular, tem torreões nos vértices. A noroeste eleva-se, a meio da muralha, a quadrada torre de menagem com paredes grossas e janelas gradeadas. As características apalaçadas são dadas pelo estilo manuelino das janelas, com arcos duplos de ferradura em tijoleira de assentamento rendilhado e mainéis de mármore branco. Foi recentemente recuperado e transformado em pousada.
