Procurando refúgio das invasões francesas, Almeida Garrett viveu nesta casa com a sua família, enquanto adolescente, entre 1811 e 1816. Durante o período que passa na Terceira, Garrett convive com o Bispo D. Frei Alexandre da Sagrada, seu tio, sendo influenciado pela sua cultura clássica. É também nesta época que conhece a inglesa Isabel Hewson, cuja lembrança irá estar presente na sua obra. Regressará novamente à Terceira anos mais tarde, altura em que reside no Palácio dos Capitães Generais e trabalha com Mouzinho da Silveira na preparação de importantes reformas introduzidas no país. Mais tarde, como ministro, é ele quem virá a assinar o decreto que acrescenta "Heroísmo" ao nome da cidade de Angra.
