Após os problemas com os prussianos, o governo ainda investiu na mão-de-obra estrangeira para aumentar a produtividade da fábrica. O então diretor Major João Bloem contratou, em 1838, 227 trabalhadores provenientes da Alemanha. No entanto, a medida foi desastrosa, porque os operários abandonaram o estabelecimento um ano depois de sua chegada, devido aos mesmos motivos dos prussianos.

Na realidade, os conflitos entre os trabalhadores e a direção foram uma constante dentro do estabelecimento, seja através dos protestos dos operários livres estrangeiros, pela falta de pagamentos, ou dos escravos e africanos por meio das fugas. Embora Ipanema tenha contado com diversas categorias de trabalhadores, em toda a sua trajetória há reivindicações dos grupos, devido às condições de trabalho e o tratamento cotidiano oferecido.

Assinou contrato por cinco anos com o governo da província de São Paulo, representado pelo major Bloem, em Bremen no dia 1° de agosto de 1838, e por esse documento percebe-se que, ainda que nele fosse qualificado como agrimensor, com diploma, sua responsabilidade no Brasil seria a de um verdadeiro engenheiro, pois deveria elaborar planos, fazer orçamentos e dirigir as obras da abertura de uma estrada de rodagem entre São Paulo e Santos.