Fue creado en 1800, en unos terrenos vendidos por los padres agustinos. Ocupa 4.5 hectáreas, y está situado cerca del histórico barrio judío de Kazimierz. Está considerado como cementerio monumental debido a su buena conservación.
A partir de 1932 el cementerio se llenó por completo, por lo que desde entonces los entierros se llevaron a cabo en otros terrenos en el barrio de Wola Duchacka. Con la invasión nazi, estos cementerios fueron demolidos y usados para crear el campo de concentración de Plaszów, por lo que ya no existen. Todos los judíos del guetto de Cracovia fueron enviados allí.
Además, los alemanes cerraron el acceso a este cementerio y vendieron las lápidas más valiosas a los albañiles locales. Algunas de esas lápidas se utilizaron como material de construcción, principalmente para pavimentar el suelo del camino que llevaba al campo de concentración.
Los huesos de los cadáveres se dejaban al descubierto y se diseminaban por el cementerio. La ciudadora del cementerio, que se llamaba Pina Ladner, fue directamente ejecutada en Plaszów.
Poco después de terminar la guerra, un ingeniero local superviviente del campo, llamado Jakub Stending, recuperó algunas de las lápidas usadas en Plaszów y se reinstalaron en el Nuevo Cementerio.
En 1957, el cementerio fue renovado, y en 1999, caído el comunismo, se inscribió en el registro de monumentos históricos de Cracovia.
Actualmente hay unas 10.000 tumbas, siendo la más antigua de 1809. En él podemos ver las lápidas rescatadas y muchos monumentos que conmemoran la muerte de los judíos asesinados durante el Holocausto.
