Luiz Castanho de Almeida investigou também sobre a residência de taipa de pilão que o rico sertanista fez construir em sua chácara à margem do rio Sorocaba. Informa que foi avaliada por Luiz Saya quando técnico do Patrimônio Histórico e Artístico Nacional, concluindo este que era autêntica construção do século 17. Adolfo Frioli acrescenta que a casa consta no inventário de Izabel de Proença, a segunda esposa de Baltazar Fernandes. Após a morte do sertanista em 1667, as suas terras deveriam ser herdadas pela ordem de São Bento, que transformaria a capela na igreja e mosteiro de São Bento.A Câmara da vila, porém, embaraçou o direito dos padres, distribuindo as terras aos moradores, questão só resolvida pela Justiça de São Paulo em 1724 a favor da Câmara. [FRIOLI, Adolfo. Sorocaba: registros históricos e iconográficos. São Paulo: Laserprint, 2003. p. 34.]

Entre 1835 e 1855 foi residência do padre Florentino de Oliveira Rosa e, quando Almeida estava investigando as ruínas do Lajeado já em 1938, ouviu de seus moradores que eram assombradas pelas almas de padres que vinham ali rezar missas à meia-noite. Almeida passou a defender que as tais ruínas, já desaparecidas na atualidade, eram os resquícios finais da grande residência do sertanista Balthazar Fernandes. Além dessa residência, o Capitão Balthazar teria erigido a capela de Nossa Senhora da Ponte, o verdadeiro núcleo da povoação, tendo mandado construir os edifícios da Câmara e Cadeia da vila e conduzido em 1661 o pleito de criação da freguesia. [p. 152]