Synagoga byla postavena v letech 1904–1905 v secesním slohu s orientálními prvky podle projektu architekta V. Weinzettela jako náhrada za starší modlitebnu v rabínském domě v ul. Rokytanského čp. 67, který byl zbořen v 60. letech 20. století. Kromě vlastního modlitebního sálu byl v budově byt rabína, šámese, domovníka a zasedací síň s archivem. Bohoslužby se zde konaly do druhé světové války, po ní byla krátce využita jako modlitební prostor obnovené židovské náboženské obce. Po roce 1960 byla adaptována pro potřeby Státní vědecké knihovny, která ji využívá dodnes.