江戸時代は、寺請制度により各寺院がその付属墓地に各檀家の埋葬を行ってきましたが、明治維新後の明治7年6月、明治政府は東京都心部での埋葬を禁じる代わりに、青山神葬祭地など9か所を市民のための公共墓地として指定し、東京会議所により、青山、谷中、雑司ケ谷、染井とその他4か所の墓地が明治7年9月1日開設されました。（その他4か所の墓地については後に閉園）
その後、明治から大正にかけての東京市街の急激な発展に伴い、既存4墓地がほぼ満杯になり、新しい墓地を造成する必要に迫られることとなりました。
これを受けて第1号として大正12年（1923年）4月多磨墓地が開設されました。
多磨墓地はドイツの森林墓地を参考にしながらも我が国古来の習俗を基本とした、日本初の公園墓地です。
続いて昭和10年（1935年）7月千葉県松戸市に八柱霊園、昭和23年（1948年）5月に小平霊園、昭和46年（1971年）4月に八王子霊園が建設され、現在に至ります。
青山、谷中については昭和35年8月以降返還墓所等の再貸付は行っていませんでしたが、平成15年度から青山霊園、平成19年度から谷中霊園において一部の墓所の貸付を再開したため、新たに利用の申込を行うことができるようになりました。
なお、雑司ケ谷霊園、染井霊園については、将来の公園化の予定などにより、昭和37年6月以降返還墓所等の再貸付が行われておらず、新規申込はできません。
