Il palazzo prende il nome da una antica famiglia probabilmente originaria di Monte Marcello e si colloca sulla sommità del paese, nel punto di maggior visibilità. Sulla parete della cappella interna ancora si legge, su una tavola d'ardesia, il nome del Marchese Andrea Remedi, il primo proprietario e colui che volle il palazzo nelle sue forme attuali. La data certa di costruzione non si conosce, ma si evince dalla tipologia d'impianto che il primo intervento risale presumibilmente al XVII secolo. Il palazzo presenta due affacci importanti: uno sul versante di Sarzana, a Sud, e l'altro sulla Piazzetta dell'Immacolata, considerato l'ingresso principale non solo perché immetteva direttamente alla corte interna ma piuttosto per l'affaccio che consentiva una visione globale della vallata sottostante. L'edificio fu progettato come struttura autonoma dal paese: è possibile, infatti, notare una cisterna atta a contenere una grande quantità d'acqua.Nel corso del Settecento e dell'Ottocento, il palazzo continuò ad essere abitato dalle generazioni successive della famiglia Remedi i cui esponenti tra l'altro ricoprirono molte cariche pubbliche.