Em março de 1542, um fenômeno marítimo ou simples desvio do canal, produziu um desmoronamento da praia, próximo à ‘Ilha do Mudo” (hoje Ilha Porchat), derrubando e tragando a primitiva vila de Martim Afonso.
Esse fenômeno – desmoronamento da praia – ainda se reproduz na praia de São Vicente, em certas épocas, como aconteceu nos anos 20 e 40 -  fato bem conhecido de todos os moradores dessa época.
A igreja com o título de Nossa Senhora da Assunção ou da Praia, Casa do Conselho, Cadeia e todas as mais obras públicas necessárias, inclusive o Pelourinho, desapareceram sob as águas.
Frei Gaspar cita, nas suas Memorias ... que “a 3 de janeiro de 1545 levaram a Pedro Colaço, procurador do Conselho, no ano antecedente, a quantia de 50 réis, que se havia gasto em tirar os sinos e o pelourinho da praia; 20 a quem o conduziu para a vila e 250 satisfizera Jerônymo Fernandes por dar a pedra, o barro e água necessária para novamente se levantar o dito pelourinho” (arquivo da Câmara de São Vicente, Cad. De Vereações, ano 1542). Mas, o ilustre cronista se esqueceu ou não copiou que também foram pagos 300 réis a Jorge Mendes, que os merecera, no pelourinho da praia.
Em outro local, mais elevado, o pelourinho foi ereto de novo e com toda a solenidade, no pátio da nova Casa do Conselho e da nova Matriz, que, por ordem do capitão Pedro Colaço Vilela, cavalheiro fidalgo, estavam sendo erguidas, em face da primitiva igreja de Santo Antonio, que já ali existia há dez anos, construída pelos religiosos franciscanos vindos de Lisboa, na companhia de Martim Afonso de Sousa, em 1532.
Esse pátio ou largo, no qual se erigiu de novo o pelourinho, chamava-se com justa razão “Largo de Santo Antonio”, pelo fato de estar ali edificada a primitiva igreja desse nome que, em 1544 até 1559, serviu de Matriz e de Casa do Conselho, conforme documentos antigos da Câmara de São Vicente, citados por Frei Gaspar.
O colégio dos padres jesuítas que se fundou na vila de São Vicente, de 1549 em diante, anterior ao de São Paulo e ao de Santos, como é bem conhecido, estava também construído em um dos lados desse “Largo de Santo Antonio”, próximo ao morro da Biquinha, que era, então, igualmente denominado “Morro de Santo Antonio” (atual morro dos Barbosas).
Hoje toda essa área, que já se chamou “Largo da Matriz” e Largo Batista Pereira”,  é a Praça João Pessoa e parte da Rua do Colégio (antiga Conselheiro Nébias) e popularmente conhecida como “Rua dos Velhacos”.
O velho pelourinho, cuja coluna se compunha de três seções octogonais de granito, o qual há trezentos anos vinha assistindo aos fatos e às vicissitudes da vila memorável, se conservou por muitos anos no “Largo Santo Antonio”.
Apesar de ser considerado como a “coluna infamatória, onde se puniam os delinquentes expostos à ignomínia pública, era, entretanto, o símbolo da jurisdição e do poder.
São Vicente, apesar do seu ódio ao antigo despotismo colonial, ainda conservou, por algum tempo após a Independência, esse símbolo da antiga e vasta jurisdição de seus governadores. Mas a Câmara, menos tolerante e mais radicalmente inspirada em idéias liberais e patrióticas, no tempo em que a vila de São Vicente descia ao último degrau de sua decadência, ordenou que esse “símbolo ignominioso” fosse derrubado de seu pedestal.
Homens antigos de São Vicente, como os Srs. João Marcelino de Azevedo e Capitão Arlindo das Neves, ainda viram esse pelourinho, em seu respectivo local, após a Independência, conforme informaram a Benedito Calixto.
De 1891 a 1900, por ocasião da comemoração do IV Centenário da Descoberta do Brasil, Calixto procurou indagar o paradeiro de algumas peças do antigo pelourinho e conseguiu, com o auxílio do Sr. Antonio Militão de Azevedo e outros vicentinos de boa vontade, descobrir esses três blocos de granito, por indicação do velho João Marcelino de Azevedo, os quais se achavam servindo de pilar ou frade (marco de pedra à esquina das casas ou à entrada de ruas ou becos, etc.) nos ângulos do muro que guarnecia o adro da atual Matriz.
Posteriormente, foram confiados à guarda da Câmara Municipal vicentina. Por inspiração de Benedito Calixto – cuja idéia foi vivamente apoiada pelo prefeito municipal, Cel. João Francisco Bensdorp e pelo vereador Pérsio de Souza Queiroz – resolveu a municipalidade vicentina, em setembro de 1917,oferecer tão venerável relíquia ao Museu Paulista.

Fontes: CALIXTO, Benedito – Notas de Arqueologia Paulista – Tip. Do Diário Oficial – 1918 – MADRE DE DEUS, frei Gaspar da – Memórias para a História da Capitania de São Vicente – Lisboa – Tipografia da Academia – 1797 – 1ª Edição

Jaime Mesquita Caldas – Boletim do IGHSV.