Der er i årenes løb fældet en ret så hård dom over arkitekt, professor Ludvig Fengers kapel fra 1902. Professor Fenger dyrkede efter tidens smag de historiske stilarter. Matthæuskirken på Vesterbro byggede han i romansk stil, Jakobskirken på Østerbro i gotisk. Til forbillede for kapellet på Holmens kirkegård valgte han den norske stavkirke.
Forud for dette kapel var der gået en række kapeller. Det første kapel anlagdes i 1666, men allerede i 1701 var det første "formedelst Ælde ganske bortraadnet". Samme år byggedes et nyt i bindingsværk med et lille tårn med to klokker. Det afløstes 1754 af et kapel, som brændte 1807. 1 1811 fulgte igen et kapel af bindingsværk. Dette nedbrændte imidlertid i 1884, hvorefter L. Fenger opførte den nuværende inspektørbolig ved Dag Hammerskjölds Allé på den brandtomt, kapellet havde efterladt. Alle de nævnte kapeller har altså stået på den nuværende inspektørboligs plads ved Hovedindgangen.
1 1862 byggede P. Malling et kapel på den plads, hvor Holmens Kirkegårds kapel af L. Fenger står i dag.