O Museu Conceição de Itanhaém, ou a antiga Casa de Câmara e Cadeia, tem suas origens no processo de colonização da antiga Vila de Nossa Senhora de Conceição. Durante a suposta data de fundação da Cidade, já estava ereta apenas a parte inferior, onde funcionava a Cadeia. O primeiro povoamento ocorreu em 1560. Em 1561, foi erigida a primeira cadeia, o pelourinho e uma pequena igreja no Morro do Itaguassú.
A cadeia que ainda hoje existe é um sobrado, a qual foi construída sobre as ruínas da primitiva em 1829. Por economia, ou talvez por amor às tradições, aproveitou-se as paredes então existentes da velha Cadeia – que já tornara-se também Casa da Câmara. E é por tal motivo que vemos hoje esse edifício, em desalinho completo com as outras ruas e com o pátio da Matriz de Sant’Ana, do qual ela ocupava outrora, o Centro.