一套山西黑墓碑的主要組成部件有碑板、碑頂、碑柱、欄板、蓋板、圍板、其他配套部件等等。碑板是最核心的部件，是必不可少的。逝者有關的信息內容以碑文的形式在碑板上呈現；碑頂不一定在所有墓碑的款式中大多數藝術墓碑是沒有碑頂的，傳統式墓碑的碑頂通常全是以瓦蓋或是別的機蓋的款式出現；碑柱通常就是指碑板兩邊的柱頭，或許一些款式非常復雜的墓碑會有多對碑柱。同樣，這一部分大多數藝術墓碑沒有呈現；顧名思義，欄桿板是墓碑背面兩側的欄桿，一般雕刻形式以線雕和浮雕居多；作為放置骨灰盒上部穴位的遮擋，蓋板可根據單穴和雙穴配置一塊或多塊；圍板是指垂直設置在墓碑底端支撐整個墓碑結構的規格板；其他支撐部件:如柵欄柱、一般圓形球柱、獅子柱等。握鼓，通常放置在半圓形石雕柵欄板的前端；地板、臺階、欄桿等。由此可見一套墓碑真的沒有那么簡單，所需要的石材制度各方面必須滿足雕刻需求。