Obecny cmentarz ziębicki jest trzecim cmentarzem w mieście: po cmentarzu przykoscielnym i po cmentarzu z połowy XVI i XVII wieku, który był ulokowany za murami miejskimi przed Bramą Paczkowską. Obecny cmentarz  ulokowana przed Bramę Nyską.

W 1606 roku wybudowano tu kościół cmentarny pod wezwaniem świętego Mikołaja, który istniał do 1938 roku. Zamiast koscioła wybudowano obecną kaplicę cmentarną.

Nieliczne ocalałe niemieckie nagrobki rozlokowano wzdłuż cmentarnego muru. Przy jednej z bram wejściowych wmurowano pamiątkową tablicę umiejętniającą przedwojennych mieszkańców, obok umieszczono zachowane tablice nagrobne niemieckich księży.