Em comparação com o fronteiro Castelo de São João Baptista, a Fortaleza de São Sebastião parece tão pequena e frágil que foi apelidada de "Castelinho". De traça italiana, graças à assinatura do arquitecto Tomaz Benedito de Pesaro, foi construída por volta de 1570, assumindo o lugar de primeira fortaleza de defesa do Porto das Pipas contra as armadas vindas do Oriente. Destaque para a vista que se obtém a partir dos seus baluartes e para a galeria coberta destinada às peças de artilharia e para as suas imensas masmorras. Está a ser convertido numa Pousada de Portugal.
