Situado junto ao mar, foi edificado em 1640 após a Restauração, com o objectivo de substituir o castelo de Ferragudo. Como foi construído sob rocha maciça, esteve entre os poucos que não foram devastados pelo terramoto de 1755.
Em 1896 foi vendido em hasta pública e, aproximadamente, um século depois a Junta de Freguesia solicita a cedência do Forte para lá instalar um centro cultural.
A arquitectura é do tipo militar da época moderna, a sua planta trapezoidal com várias construções adossadas, escalonadas em altura. Tem como característica particular o facto da Torre de Menagem ser ameada. (Imóvel de Interesse Público)
