O próprio Tomé de Souza não escondia as saudades da mulher e da filha. Em carta de 1552, tenta convencer o rei, "por amor de Deus", que o devolvesse às duas, em Portugal. Mas, antes de voltar, ele teria de percorrer a costa para vistoriar as capitanias do Sul. Ao lado de Manuel da Nóbrega, foi até São Vicente, passando por Ilhéus, Porto Seguro, Espírito Santo, Rio de Janeiro, Angra dos Reis."Todas as vilas e povoações de engenhos desta costa fiz cercar de taipa com seus baluartes (...) e lhes dei toda a artilharia que me pareceu necessária", diz, em carta ao rei de junho de 1553. A missão estava cumprida. O seu mandato, que inicialmente duraria três anos, já havia passado de quatro.De fato, desde março daquele ano, ele já não era governador-geral. A seu pedido, o rei nomeou para o posto Duarte da Costa, que chegaria à Bahia em julho. O meirinho correu para avisar Tomé, que, apesar de ter pedido tanto para partir, não reagiu com alívio, mas perplexo. "Vedes isso, meirinho? Verdade é que eu desejava muito, e me crescia água à boca quando cuidava em ir para Portugal; mas não sei que é que agora se me seca a boca de tal modo que quero cuspir e não posso", teria dito, segundo frei Vicente.Assim terminava mais uma demanda daquele fidalgo - nas palavras de Gabriel Soares de Souza, "honrado, ainda que bastardo, homem avisado, prudente e mui experimentado na guerra da África e da Índia, onde se mostrou mui valoroso cavaleiro em todos os encontros que se achou". Tomé de Souza pôde, então, voltar a Portugal.