W drugiej połowie XIX w. Karaimi zaczęli licznie osiedlać się w miastach imperium rosyjskiego, w tym także w Warszawie. Byli to przede wszystkim pochodzący zarówno z Krymu, jak i z Litwy kupcy, jak Borys i Irena Szyszmanowie czy Szymon Chorczenko, właściciel sklepu tytoniowego przy Wierzbowej 5, oraz urzędnicy, jak na przykład Mojsiej Pilecki, zajmujący wysokie stanowisko w kancelarii gubernatora. Na początku lat 90. XIX w. karaimska społeczność była już na tyle liczna, że zaistniała potrzeba utworzenia na miejscu cmentarza – powstał on w 1891 r.