Pierwsza wzmianka o szkole karaimskiej w Trokach pochodzi z 1576 roku. Wtedy to wojewoda trocki Stefan Zbaraski uprawomocnił budowę szkoły na terenie należącym do gminy karaimskiej. Niestety, na niemal 100 lat wiadomości o Midrasz nikną. Kolejnym dokumentem jest przywilej wydany przez króla Jana Kazimierza w 1665 roku. Na jego mocy Karaimi odbudowali zniszczone wojnami budynki kienesy oraz szkoły. Wystawione dzięku pomocy Karaimów z Nowego Miasta budynki przetrwały niewiele ponad wiek, gdyż spłonęły w 1794 roku podczas pożaru Trok.

Od czternastego wieku znajdowała się w centrum dzielnicy karaimskiej zwanej Karaimszczyzną. Była wielokrotnie niszczona i odbudowywana – spalona na początku szesnastego wieku, odbudowana w 1533 r., w latach 1727 i 1773 zniszczona, odbudowana i ponownie spalona w 1794 r., odbudowana dzięki łuckim i krymskim Karaimom, po czym ponownie spalona podczas przemarszu wojsk francuskich w roku 1812. Odbudowana ponownie spłonęła w roku 1824. Po raz kolejny odbudowana w połowie dziewiętnastego wieku, stoi do dziś.

Początki osadnictwa karaimskiego w Trokach tradycja wiąże z osobą Wielkiego Księcia Witolda, który u schyłku XIV w. z wyprawy na Krym miał sprowadzić, jak głosi legenda, 383 rodziny Karaimów, które następnie osiedlił jako załogi zamków obronnych w Trokach i w innych miejscowościach wzdłuż granic Księstwa Litewskiego z ziemiami Zakonu Kawalerów Mieczowych.