1928年6月4日，奉系軍閥張作霖在出關返遼途經皇姑屯車站時，被日本人陰謀炸傷，不治身亡，終年54歲。
張作霖死後10余天，少帥張學良才得以易裝秘密潛回瀋陽，處理張作霖的後事。8月5日，張學良暨東北軍政府為張作霖舉行了隆重的祭靈儀式。祭靈儀式後，將張作霖的靈柩從大帥府的西餐廳，轉放到大帥府的東廂房暫厝，並派人負責看守。
1928年11月，張學良為安葬其父，特派人在東北境內勘察，最後選中了撫順東面60華里的高麗營子村南一處向陽的山崗，起名“元帥林”。
山崗前有渾水環繞，隔水相望的就是著名的鐵背山，當年努爾哈赤在那裡修建過界藩城，是努爾哈赤為加強自己的軍事地位營建的第一個臨時都城。渾河南岸、薩爾滸河以東的薩爾滸山，是當年努爾哈赤殲滅明軍4萬多人的地方，努爾哈赤認為這一戰對清王朝的建立有重要的作用。
1929年5月，張學良夫婦及張作霖的五姨太和張作相、湯玉麟等人親自來到這裡踏勘。
據稱，張學良曾對於鳳至說：“這地方不錯，我看爸爸可以長眠於此了。”得到眾人的附和，陵址就這樣選定了。在張作霖週年祭典後，開始營建元帥林。
元帥林造價預算達1400萬元，東三省出資600餘萬，熱河100餘萬，張學良出資500餘萬，招募民工1200多人，而且還在崗北設立了火車站，修建了通往元帥林的道路，計劃三年完成。
元帥林所用石料有許多來自北京西郊圓明園、石景山五里墳的隆恩寺，以及附近的明代太監墓和清代饒餘敏親王及安親王的墓地。這批眾多的明、清兩代石刻，購置後用火車運送東北。其中包括影壁浮雕62件，都是用整塊漢白玉雕琢而成，雕鏤精工，造型生動精美。由於採用了許多現成的墓地裝飾、祭拜物，使得工程進度大大加快。經過兩年的緊張施工，整個元帥林的主體工程於1931年夏天基本完成。
張作霖生前曾找了一位姓楊的風水先生，為他勘探其祖墳的所在地，楊認為錦縣東北驛馬房最好，在挖地基時又掘出一塊青石板，楊說：“這塊青石板非同尋常，是個上上吉兆。”張作霖聽後大喜，於是破土動工，營建起墓園。
眾所周知，墓碑是記述墓主人姓名、生、卒、葬年月及生平事蹟的主要紀念性碑刻，通常由碑身、碑首和碑趺組成。規制比較高階的墓葬還要建造碑亭，以凸顯陵寢壯闊和墓主身份地位。然而，張作霖的元帥林不建碑亭已令人很費解，不立碑更讓人匪夷所思，對此眾人紛紛猜測。
是因為風水嗎？答案是否定的。
根據地形論，有大煞不立碑，如蛇形地、龜形地一般不立碑，還有石山煞氣重，也不立碑，如果反其道而行，必破壞墓地生氣，後果不堪設想。當年參與勘選地址的人認為元帥林“前照鐵背山，後座金龍灣，東有鳳凰泊，西有金沙灘”是塊風水寶地，不存在不足以立碑的道理。
是怕盜墓嗎？答案是否定的。
據說生性多疑的曹操怕墳墓被盜也是沒有立墓碑的。一代梟雄張作霖的元帥林佈置警衛，牆四角設定炮樓，恐怕任何盜墓者都難以靠近。
是風俗習慣嗎？答案是否定的。
有的地方迷信說法，長得像動物的墳如果立了碑就好像是讓動物的尾巴長在了前面，不吉利。當然這一點元帥林也不可能沾邊。
是祖制要求嗎？答案是否定的。
清朝祖制規定凡丟失國之寸土者，皆不得立碑。因此清朝皇帝除了怕死之外，死後不允許立功德碑就成他們的最怕。這條祖制，基本上都雷打不動地得以貫徹。自咸豐皇帝始，以後的清帝既不能禦敵於馬上，救民於水火，又不擅長料理內務，導致中國在世界之林的每況愈下，頻頻遭受列強的欺凌，所以清咸豐、同治及光緒諸皇帝的陵寢是沒有神功聖德碑。張作霖作為“新派”代表人物，清朝祖制對他來說是毫無約束的。
那麼張作霖的元帥林為什麼沒有立碑呢？真正的原因是什麼呢？
一是名不正言不順。張作霖生前名正言順的最高官職是奉天督軍兼省長，而“中華民國陸海軍大元帥”這一頭銜名不正言不順。國民政府只承認張作霖為“張大帥”的軍閥身份，並不承認其“中華民國陸海軍大元帥”身份。這種情況下如果給張作霖立碑，是南京國民政府自打耳光。為難糾結之下，索性跳出窠臼不立墓碑，只有這樣才能避免那些不可言宣的麻煩，估計這才是元帥林沒立墓碑的深層次原因。
二是時間糾結交錯。1928年12月29日，張學良宣佈“東北易幟”，服從南京國民政府，實現了名義上的南北統一。如果建陵先於易幟，那麼主政東北的張學良，凡事無需考慮南京政府的意見，以軍政府名義為“中華民國陸海軍大元帥”立碑是順理成章之事。
三是手下督軍們的意願。張作霖手下督軍們希望以“中華民國陸海軍大元帥”之職，為張作霖立碑，是緣於此事牽涉他們各自的名分。否則豈不都自貶身價？而若滿足張作霖手下督軍們的心願，就一定違背南京政府意願。如何為張作霖立碑，對於張學良而言是一道無解的難題，唯有在元帥林不立碑，才可排除因給父親立碑而帶來的諸多困擾。
總而言之，元帥林不設墓碑（或碑亭），非不為也，實不能爾，其間充斥著多少政治因素和爭鬥，蘊含著多少妥協交換的無奈，也只有建墓者自己才會清楚。
按計劃，1931年11月舉行張作霖安葬儀式，誰曾想“九一八“事變爆發，整個東三省淪陷。直至張作霖死後九年，1937年6月3日，日本人才將張作霖靈柩由奉天遷至遼西錦縣東北驛馬房張家墳塋地（距縣城78華里），與張作霖的原配夫人、張學良之母趙氏合葬。而氣勢恢宏的元帥林永遠成為了空穴一座。