O belíssimo edifício onde este museu se encontra instalado data do final do século XIX e foi adquirido pelo Governo Regional em 2001 com o propósito de aí expor as doações de João Carlos Nunes Abreu. Este Universo de Memórias é, pois, um reflexo da vida deste enquanto viajante, jornalista e figura pública.
O espólio é constituído por cerca de dez mil peças, tais como livros, cerâmicas, pinturas e objectos de bronze dos quatro cantos do mundo, em exibição nas várias salas que constituem o conjunto do edifício, incluindo uma casa de chá de acesso livre.