Малая синагога входит в единый синагогальный комплекс на Лермонтовском проспекте, 2, вместе с Большой Хоральной синагогой. Общий проект комплекса утвердили в 1883 году, а здание Малой синагоги закончили первым: торжественное освящение состоялось 13 октября 1886 года. До открытия Большой синагоги в 1893 году Малая служила временной синагогой.
Внутреннему убранству уделили особое внимание: лепной потолок создал скульптор Моисей Анолик, а Арон Кодеш изготовили столярный мастер Берман и позолотчик Соломон Антовил. С 1884 года здесь размещалась хасидская Купеческая молельня, и синагога остаётся хасидской до сих пор.
В 2011 году здание закрыли на четырёхлетнюю реставрацию: обновили фасад и кровлю, полностью отреставрировали интерьер, включая Арон Кодеш, узорчатые потолки, паркетный пол, исторические люстры и светильники. Торжественное открытие состоялось 17 сентября 2015 года. Сегодня в зале проходят не только богослужения, но и концерты.