Įkurtos XVIII amžiaus antroje pusėje. Čia amžinojo poilsio atgulė pirmasis Marijampolės rabinas Haimas Perelmuteris Šeršoveris, apie 1825 metus pastatęs pirmąją mūsų mieste medinę sinagogą. Kapinės sovietinės okupacijos metais buvo sunaikintos. 1991 metais buvusių kapinių teritorijoje pastatytas paminklinis akmuo.