Początki osadnictwa karaimskiego w Trokach tradycja wiąże z osobą Wielkiego Księcia Witolda, który u schyłku XIV w. z wyprawy na Krym miał sprowadzić, jak głosi legenda, 383 rodziny Karaimów, które następnie osiedlił jako załogi zamków obronnych w Trokach i w innych miejscowościach wzdłuż granic Księstwa Litewskiego z ziemiami Zakonu Kawalerów Mieczowych.
Najstarszym zachowanym dokumentem dotyczącym karaimskiej społeczności z Trok jest przywilej Kazimierza Jagiellończyka z roku 1441 nadający jej prawo magdeburskie. Karaimi mieli odtąd własnego wójta, który kierował gminą i rozsądzał spory wśród współwyznawców, a odpowiedzialny był jedynie przez księciem i jego sądem.
Według obrachunków pogłównego z 1556 r. Troki zamieszkiwało około 300 Karaimów, a według spisu z 1795 r. – 169. Na zmniejszenie się ich liczebności wpływ miały wojny i epidemie. Z tych ostatnich najstraszliwsza była dżuma z 1710 r., która doprowadziła niemalże do wymarcia trockiej społeczności.
Choć pierwotnym zajęciem trockich Karaimów było rzemiosło wojenne, zasłynęli oni także jako obrotni kupcy cieszący się opinią solidnych i uczciwych kontrahentów. W późniejszych wiekach zajmowali się również rolnictwem i ogrodnictwem – w XIX w. zasłynęli jako hodowcy wyjątkowo smacznych ogórków.
Gmina trocka była także ważnym ośrodkiem życia duchowego Karaimów. Stąd wywodzili się teolog i filozof Izaak syn Abrahama z Trok (1525 – ok. 1586) czy Ezra syn Nisana zwany ha-Rofe (1595–1666), uczony zajmujący się teologią i egzegezą biblijną, matematyką i medycyną – nadworny lekarz Radziwiłłów, a następnie króla Jana Kazimierza.
Po rozbiorach, gdy Troki znalazły się pod panowaniem rosyjskim, wielu trockich Karaimów szukało nowych możliwości w różnych, często odległych regionach imperium. Karaimscy kupcy, urzędnicy, wojskowi, naukowcy prowadzili interesy, zdobywali wiedzę, pięli się po szczeblach kariery w Wilnie, Kownie, Warszawie, Moskwie, St. Petersburgu, Kijowie, Pskowie, a nawet w Charbinie w Mandżurii. Zachowywali przy tym kontakt zarówno z rodzimą gminą, jak też z rodakami z Krymu, z którymi znaleźli się w obrębie granic jednego państwa. W czasie I wojny światowej trockich Karaimów ewakuowano wraz z innymi mieszkańcami w głąb Rosji. Po powrocie musieli odbudować zarówno materialne podstawy bytu, jak i życie społeczno-religijne.
Muzeum Historyczne. Karaimska wystawa etnograficzna w Trokach