Cmentarz Wojskowy utworzony został w 1912 roku z przeznaczeniem na groby zmarłych żołnierzy carskiego garnizonu wojskowego. Po odzyskaniu niepodległości, w latach 20. XX wieku uzyskał rangę Cmentarza Wojskowego, gdzie grzebano zmarłych wojskowych oraz ich najbliższe rodziny.
Spoczywają na nim uczestnicy powstań śląskich, wojny polsko-bolszewickiej i walk o polskie granice, żołnierze polegli we wrześniu 1939 roku oraz powstańcy warszawscy. W okresie PRL-u pochowano na nim działaczy komunistycznych m.in. Bolesław Bierut i Władysław Gomułka, których skrzętnie zakryto roślinnością! Są też kwatery poległych w 1920 roku i Kwatery Żołnierzy Polski Walczącej, groby żołnierzy Szarych Szeregów i Armii Krajowej m.in. Tadeusza Zawadzkiego „Zośki”, Janka Bytnara „Rudego”, gen. Antoniego Chrusciela „Montera” i wielu innych.
Jednym z ostatnich ważnych pomników jest upamiętniający katastrofę 10 listopada 2010 roku na Cmentarzu Wojskowym na Powązkach, ku czci 96 ofiar katastrofy polskiego Tu-154 w Smoleńsku.
20 listopada 2010 r.