Para fundar o mosteiro foi preciso conseguir licença que foi concedida pela Câmara de Santos em 1649, confirmada em 1650. A doação feita por Bartholomeu Fernandes Mourão e sua mulher Isabel Barbosa estabeleceu a base econômica para o mosteiro, pois a Regra de Bento exige que haja recursos suficientes para que um mosteiro seja fundado.
A fachada da ermida é voltada para o leste, tal como a do Monte Serrat. Não se sabe quem fez o projeto do mosteiro, mas ele tem grande semelhança com as plantas dos mosteiro da Bahia, em especial com o Mosteiro da Graça. De acordo com D. Clemente M. da Silva-Nigra, Fr. Gregório de Magalhães (1603-1667) projetou o mosteiro de Santos. Este apresenta os três arcos característicos da arquitetura beneditina tal como o mosteiro do Rio de Janeiro. Para D. José Lohr Endres, Fr. Gregório de Magalhães não foi o arquiteto, por nada constar na biografia deste Provincial, escrita por Fr. Tomás de Aquino, no livro fonte de 1767, Elogios dos gerais da Congregação Beneditina de Portugal.Em um escrito que remonta o século XVII está registrada a instituição da Capela de N. Senhora do Desterro, que foi lavrada nos seguintes termos:
Declaramos que ambos marido e mulher por serviço de D.s e devoção particular que tínhamos a Virgem do Desterro, de comum consentimento começamos a fabricar-lhe a Ermida; conforme nossa posse e haveres fomos dando o aumento que foi possível e avimos por bem empregado o que de nossos bens gastamos em seu aumento, serviço e honra da dita Virgem. E para que sempre vá em crescimento e não em diminuição, ordenamos que nossas terças, de ambos, por falecimento nosso fiquem vinculadas a dita S. do Desterro e sua capela; e por falecimento de ambos a dita terça de ambos pertencente a dita capela ficará vinculada em nosso filho Antônio Fernandes Mourão, para que ele administre a dita terça; em proveito e bem da dita capela, ordenando-a, e augmentando-a sempre. E o que sobrar depois de ter bem ornada de todo o necessário, de ornamento e os ornatos para o culto divino, ele poderá gozar como coisa própria o que lhe deixamos para que assim com mais vontade augmente a terça da dita capela porque vá em crescimento. O que deixamos como obrigação de que por morte ou falecimento, a metade das terças dos seus bens a deixará vinculada à dita terça que deixamos por nosso falecimento a dita capela; e da outra metade fará e disporá como e porque quiser. “E acrescentam que assim ira ficando aos descendentes do filho na linha masculina” com a mesma obrigação de por seus falecimentos todos deixarão a metade de suas terças vinculadas a dita capela na maneira que declarada, e sendo que faltem herdeiros na linha masculina entrarão em tal caso herdeiras fêmeas com as mesmas obrigações lá declaradas “faltando sucessão” em tal caso deixarão nossos herdeiros a quem lhes parecer deixando-lhe os bens para augmento da dita capela com obrigações, que assim nosso filho como os mais que lhe cederem e emq.tº deixar a dita capela, serão uns e outros obrigados a nos mandar dizer três missas a cada mês a Nossa Senhora por nossas almas e pelas almas do purgatório com seus responsos sobre nossas sepulturas as quais missas serão ditas as terças, sábados e domingos. E assim mais se dirá uma missa cantada todos os anos à Assumpção de Nossa Senhora dos céus. Assinou por ambos que não sabiam fazer Ignácio Duarte em 11 do mês de abril de 1644.
