Os primeiros moradores do casarão foram João de Almeida Pedroso e sua mulher, Isabel Caetano de Pilar, filha do sargento-mór Antonio Loureiro da Silva e de Ana de Almeida Leme. Pelos estudos de Aluísio de Almeida, uma das filhas deste casal, Ana, casou-se com o capitão-mór de Itu, João de Almeida Prado e conforme o costume da época, veio dar a luz na casa paterna em 1802, a João de Almeida Prado Junior, que ao estudar em Portugal, como outros brasileiros, adotou o nome de João Tibiriçá Piratininga.
Foi este quem vendeu as terras ao então coronel Rafael Tobias de Aguiar, pouco antes de 1842, pois nesse ano aqui residia o seu cunhado, Francisco Xavier de Barros, o famoso "Capitão Chico", que casou-se primeiro com Rosa Cândida e, após o falecimento desta, com sua irmão Anna Fausta Maria de Jesus de Aguiar. Com o falecimento de sua segunda esposa, casou-se pela terceira vez, com Andreza Lopes de Oliveira. [p. 7]
