Em virtude da oposição de membros do governo favoráveis à aliança política e militar com a França, demitiu-se em 1803, afastando-se da vida pública, retornando ao governo em 1807 como conselheiro de D. João VI, sendo considerado um dos principais articuladores do alinhamento aos ingleses e da transferência da corte para o Brasil, onde foi nomeado para a Secretaria de Estado dos Negócios Estrangeiros e da Guerra.[5]
Nenhum de nós escolhe o nosso fim, na verdade. Um rei pode induzir um homem, um pai pode assumir um filho, mas lembre-se disto, mesmo que aqueles que o induzirem forem reis ou homens de poder, sua alma pertencerá apenas a você. Quando estiver perante Deus não poderá dizer mas outros ‘me disseram para fazer isto‘ ou que a virtude não era conveniente no momento não será suficiente.
