A antiga Casa de Câmara e Cadeia teve sua construção inaugurada em 1624, servindo apenas como Cadeia, uma das três construções obrigatórias para alcançar o título de Vila (além do Convento e do Pelourinho). Mas foi apenas em 1829 que, após uma grande reforma, o segundo andar passou a ser utilizado como Câmara Municipal da Villa Conceição de Itanhaém, dando outro enfoque à construção, que aparentava abandono, segundo documentos da época. A Cadeia teve suas atribuições encerradas em 1964, por conta da Ditadura Militar. Já a Câmara Municipal mudou de espaço em 1971. Em 1973 o CONDEPHAT (Conselho de Defesa do Patrimônio Histórico, Arqueológico, Artístico e Turístico) tombou a construção, embora seu documento traga informações como a arquitetura, baseada em taipa de pilão, ela também deixa claro que é quase impossível remeter aos primórdios de sua construção, já que houveram muitas reformas ao longo dos anos. Apenas as grades e as portas das celas internas possivelmente são originais, de ferro fundido, trazidas de Portugal. A Casa de Câmara e Cadeia, juntamente com o Centro Histórico da Cidade, foi recuperado pela Prefeitura em 2005, com recursos provenientes do Departamento de Apoio ao Desenvolvimento das Estâncias (DADE). O Museu Conceição de Itanhaém foi inaugurado em 22 de abril de 2010, em comemoração aos 478 anos do Município.