胡志明去世後，1969年11月29日，當時北越官方發佈瞭關於建造胡志明陵墓的決議以及陵墓設計和建造的基本要求，當時北越全國有77個設計方案，最後胡志明陵以模仿莫斯科列寧墓設計，獲得越南黎筍和范文同等人的支持。
設計定稿後胡志明陵墓並沒有馬上動工，本打算1972至1973年的旱季開始建設。然而在1972年，美國轟炸北越，因此建設被推遲瞭。最終北越與美國簽訂和平協議之後的1973年9月2日，胡志明陵舉行動土儀式。
胡志明陵建設建築材料來自越南全國許多地區和地區，如安南山脈的越南省份送來瞭16種珍貴的木材。
胡志明陵根據四個標準建設：民族、現代性、尊嚴、簡潔。陵墓的結構分為三個部分：平臺采用傳統風格的越南建築三層基座建造； 陵墓的四面都有柱子，可以像越南農村房間，建海還有越南古老建築特色。
陵墓是方形的，每邊30米，面向東，南，北的門有兩個65米長的平臺，供越南重大節慶時使用，在陵墓前面是巴亭廣場。
陵墓建在巴亭廣場中間的舊主席臺基礎上，胡志明生前曾在此主持過眾多獲得，如在此宣讀瞭獨立宣言，宣佈越南民主共和國誕生。隨著陵墓的建設，巴亭廣場也翻新和重建，最終使得巴亭廣場總面積為14公頃，是越南最大的廣場。
胡志明陵設計成能夠抵抗7級裡氏炸彈和地震的建築，此外在建造陵墓時，考慮越南多雨季的特征，使用花崗巖外立面。這些因素使得胡志明陵具有相當的高度。陵墓還設計瞭“特殊室”，以便在戰爭時能夠將胡志明的遺體保存好。
1975年8月29日，胡志明陵墓經過近2年的建設，正式落成，胡志明的遺體正式從北越山區轉移到瞭胡志明陵，而越南也特意設立瞭胡志明陵保衛司令部。
胡志明陵落成時胡志明葬禮扶陵四人（長征、黎筍、范文同、孫德勝）出席，1975年8月29日舉著花圈的越南官員在胡志明陵墓祭拜胡志明。
目前胡志明陵每周5天的上午開放（星期一和星期五除外），據統計平均每周有超過15000人前來胡志明陵瞻仰，許多個人和組織在重要節日和越南國傢周年紀念日訪問胡志明陵。每年胡志明陵墓在10月和11月關閉進行定期維護任務。圖為1970年代中後期落成不久的胡志明陵和巴亭廣場。