O historiador Francisco Martins dos Santos, no livro "Lendas e Tradições de Uma Velha Cidade do Brasil", assim relata a história da gruta de Nossa Senhora do Desterro, em Santos:
Anos antes de morrer, Mestre Bartolomeu começara uma grande obra para a Vila - era o que sempre dizia a todos - mas nunca chegara a revelá-la e muito menos a exibi-la, talvez por não haver conseguido terminá-la em vida. Ao morrer, porém, declarou aos amigos que sua grande obra estava quase terminada, e que um dia saberiam dela.
Chegaram a pensar mal de Mestre Bartolomeu, o lutador, que tantos e tão bons serviços prestara a Santos e à colonização, fabricando todas as ferramentas que trabalharam o chão, que fizeram os objetos de uso e levantaram as casas de toda a região vicentina. Muita gente pensou que fosse cousa da idade, mania de um velho de oitenta anos. Seu filho, porém, recebera dele uma secreta incumbência e prometera cumpri-la.
Fazia agora dez anos da morte do ferreiro. Corria o ano de 1590, quase ao fim. Bartolomeu Fernandes, o filho, acabara de completar a obra prometida por seu pai, e declarava estar para breve a sua revelação ao povo de sua terra.
Um acontecimento forte e imprevisto viera precipitar as coisas. Na noite de 16 de dezembro daquele ano, noite escura e tormentosa, Cook, corsário inglês, lugar-tenente do famigerado Cavendish investia a barra de Santos, penetrando a luzes apagadas em seu porto. A manhã de 17 veio encontrá-lo no porto, em frente ao Forte da Praça, baterias assestadas contra a pequena fortificação, que, intimada a render-se, em breve assim procedia, convencida sua gente da inutilidade da resistência.
Os sinos da Capela de Santa Catarina, do Colégio, de Nossa Senhora da Graça e do Conselho soaram a rebate, desesperadamente. A Vila inteira despertou assustada, preparando trouxas com mantimentos e valores, para a debandada, como sempre acontecia nas invasões.
Um homem surgiu então, em toda parte, gritando às famílias que o seguissem, com todos os seus valores, pois estariam todos salvos... Era o filho de Mestre Bartolomeu, era o Messias surgido na polvorosa da Vila.
Confusamente, enquanto os homens válidos, com João de Abreu e Diogo de Unhate à frente, resistiam aos piratas com seus bacamartes afeitos à luta, velhos, mulheres e crianças se reuniam em torno de Bartolomeu Fernandes, seguindo, varados de sustos e temores, de indecisões e desconfianças, atrás dos passos do filho do ferreiro, rumo a esse ponto certo e distante, onde ele dizia estar a salvação do povo e de seus valores dali por diante. Muitos murmuravam e descriam do auxílio do moço.
Surgiam em frente deles, o morro e a Capela de Nossa Senhora do Desterro. Que aflição para todos! Parecia-lhes que a gente corsária já lhes vinha no encalço. Eram mais de trezentos, e rezavam, e lastimavam-se em voz alta, pronunciando os nomes dos santos da devoção.
Bartolomeu galgou uma rocha solta. Estava a cavaleiro de todo o vasto cenário santista, a perder-se ao longe, em todas as direções, no círculo azul da cordilheira. O moço saltou, lépido, da rocha em que estava, deu alguns passos e, recuando as folhas balouçantes das bananeiras, mostrou a todos, entre as rochas do talude, a entrada ampla de uma gruta.
- É a obra de meu pai! A gruta de Nossa Senhora do Desterro! Penetrai por ela! Vai para a floresta livre, caminho seguro e desconhecido para São Vicente!
Naquele momento, os bárbaros de Cavendish acabavam de tomar posse da Vila, saqueando os armazéns, incendiando o que lhes era inútil, procurando as mulheres, jóias, a prata e o ouro que supunham existir... Apesar da estadia de mais de um mês em Santos, não puderam os piratas compreender o desaparecimento parcial e misterioso de sua gente, nem descobrir o seu esconderijo, entrando a fazer represálias contra a propriedade imóvel e até contra os pobres animais da terra, por despeito.
E assim, dez anos decorridos sobre o desaparecimento de Mestre Bartolomeu, pôde o povo santista compreender a promessa do "Ferreiro", arrepender-se do juízo que fazia do bom velho e prestar públicas homenagens à sua memória, concentrando-as na pessoa do filho.
Pelo tempo adiante, ao rebate das novas invasões corsárias e tamoias, o refúgio seguro do povo santista, passou a ser a famosa gruta de Nossa Senhora do Desterro, ignorada dos invasores, cavada em vinte anos, com as últimas ferramentas fabricadas pelo ferreiro de Martim Affonso.
