Cmentarz funkcjonuje prawdopodobnie od 1535r. Njastarsze zachowane nagrobki pochodzą z 1552r.

Położony jest przy synagodze Remuh, pomiędzy ul. Szeroką (wejście) a Jakuba. Nekropolia ma powierzchnię ok. 0,75 ha.

Pochowany tu jest Mojżesz Isserles (zm. 1572) – krakowski rabin, talmudysta, filozof. Legenda mówi, że w miejscu późniejszego swojego pochówku zakopał swoją książkę, przy której wyrosło drzewo.

Podczas II wojny światowej na terenie cmentarza funkcjonowało wysypisko śmieci. Ocalało wówczas zaledwie 10–20 macew. W 1959 na terenie cmentarza przeprowadzono badania archeologiczne, podczas których odnaleziono kilkaset kamiennych macew, 700 stel nagrobnych. Cmentarz został odnowiony. W okalający cmentarz mur wbudowano fragmenty płyt nagrobków, tworząc tzw. Ścianę Płaczu.