Prvá zmienka o Židoch v Leviciach pochádza z roku 1713. Masové usádzanie Židov sa však začalo v 30. rokoch 19. storočia. V roku 1840 v meste založili prvú náboženskú obec a zriadili židovskú školu. O dva roky neskôr sa levickí Židia obrátili na úrady s prosbou o poskytnutie miesta na židovský cintorín. V rokoch 1848 žilo v Leviciach 100 Židov. Na prelome 19. a 20. storočia tvorili Židia približne 15 % Levičanov. Takmer polovica z nich pracovala v obchode, pätina v priemysle a remeslách, zvyšok tvorili často vynikajúci právnici, úradníci, bankári, lekári, učitelia, umelci a iní. Smutnou kapitolou dejín mesta bolo tzv. konečné riešenie židovskej otázky počas druhej

svetovej vojny. Po obsadení Maďarska Nemcami (Levice boli jeho súčasťou) v roku 1944 aj levických Židov nahnali do geta. Natlačení v kasárňach, neskôr v židovskej škole a sklade tabakovej továrne čakali na transport do Osvienčimu alebo iných koncentračných táborov.

Podľa doterajších odhadov bola synagóga postavená v 50-tych rokoch 19. storočia. V roku 1854 mala synagóga na štíte fasády dva malé obelisky a po jeho stranách cibuľovité vežičky. Neskôr boli obelisky odstránené. Na priečelí bola vytvorená bohatá plastická výzdoba, nad ktorou bola umiestnená mramorová doska s hebrejským textom Božích prikázaní. Po odsune obyvateľov židovskej národnosti v povojnových rokoch prestala synagóga slúžiť na liturgické účely. Po druhej svetovej vojne sa istý čas využívala aj ako sklad nábytku.