Vanaf het midden van de 18e eeuw was er een joodse gemeente in Schoonhoven actief. Zij kocht in 1823 het 17e eeuwse koopmanshuis Brandenburg aan de Haven en liet deze verbouwen tot synagoge. Voor de verbouw van het pand werd de plaatselijke aannemer Willem Littel ingehuurd. De synagoge kon door geldgebrek pas in 1838 worden gewijd.
In 1868 werd de synagoge opnieuw verbouwd, nu door aannemer Jacob Hendrik Littel. Ook zijn 73-jarige vader Willem werkte nog mee aan de verbouwing. Het gebouw kreeg onder meer een nieuwe neoclassistische voorgevel met middenrisaliet en rondboogvensters met gietijzeren traceringen.
Het Nieuw Israëlitisch Weekblad (vol. 3 (1868), nr. 32, p. 126) schreef hierover:
Schoonhoven, 24 Febr. De voor 44 jaren alhier gebouwde synagoge werd 14 jaren later herbouwd, en heden door het kerkbestuur de werken tot belangrijke verbetering en verfraaijing van ditzelfde gebouw aanbesteed voor f 1740, zijnde de laagste inschrijver de heer J.H. Littel.
Als bijzonderheid verdient vermelding, dat de nog in leven zijnde vader van den tegenwoordigen aannemer bij de daarstelling en verbouwing, nu 30 jaar geleden, aannemer was, en thans aan het kerkgebouw werkzaam is, alsmede, dat dezelfde schilder, de heer D. Goedhart (Israëliet), woonachtig te Lekkerkerk, die laatstelijk dit werk aannam, ook nu als zoodanig optreedt.
Tijdens de Tweede Wereldoorlog werd het interieur van het gebouw vernield. Op twee personen na, werd de joodse bevolking vermoord. De gemeente werd daarom in 1947 opgeheven. In 1952 werd de voormalige synagoge, na een restauratie, door het Gilde St Eloy in gebruik genomen als Edelambachtshuys. Tegenwoordig is er een museum gevestigd, dat een collectie Schoonhovens zilver herbergt.