Foi mandada construir por um conde da Vidigueira para ali ser colocada a imagem de S. Rafael que acompanhou Vasco da Gama na sua viagem à Índia. Depois de ter sido destruída, no século XIX, a imagem foi levada para diversos locais, estando agora no Museu da Marinha. Na década de 80 do século passado, o Município recuperou todo o interior da ermida.
