元朝末年，受長期戰亂和自然災害影響，全國大多數地區人口稀少，土地荒蕪，朱元璋1368年建立明朝後，為恢復生產，決定把農民從狹鄉移至寬鄉，從人多田少的地方移至地廣人稀的地方，歷史上著名的洪洞大移民、江西填湖廣、湖廣填四川就發生在這個時候。

在全國大移民的背景下，洪武3年（1371年），李士英帶領他的兩個侄子李雲、李玉從湖北襄陽府棗陽縣碾盤莊遷到河南洛陽地區。後來，叔父士英生和一侄玉生活在洛陽南地區，一侄雲生活在洛陽北部。

在他們遷到洛陽的1300年前，也有人從棗陽到洛陽成就一番大業，他就是大名鼎鼎的漢光武帝劉秀。

家譜記載“始祖叔士英明洪武三年攜二侄雲、玉從湖北遷到洛陽西南青陽屯”“祖父雲隨叔士英同弟玉離湖北到洛陽住南陽寺”“祖叔玉住興都營”。後來有人寫詩道：“洪武三年災荒現，叔侄被迫離襄樊。逃荒要飯文百現，受苦受累到河南。舉目無親何依靠，各自異鄉安家園。叔住洛陽青陽屯，長侄養士在新安。洛西后營次侄在，自古而今綿延傳。”他們是否因為逃荒才背井離鄉已無從考究，但是當時的洛陽地區確實是適合生存、生活的地方。根據《新安縣誌》記載：洪武24年（1391年），全縣民籍2911戶，共計人口17192人，民籍移民就有將近0。9萬。也就是說明朝初期，新安縣有一半人口為外來移民，這些人以山西移民為主。

雲到達洛陽北地區後，二世雲後有三代人的名諱失緒。根據家譜記載：六世進山生子孟夏和孟冬，孟夏的後代為東門，孟冬的後代為西門；另有七世孟秋（三至六世失緒）、八世桂花和繼芳兄弟二人（三至七世失緒）以及九世三益的後代為北門。

從雲往後十三世的先人均葬於村東東凹墳地。後因家族規模擴大，東凹祖墳無地可入，於是在其他地方尋地為家族墳地。

自明洪武3年，二世雲到南養士後，李氏在這片土地上扎地生根、繁衍生息，到清嘉慶年間已發展到百餘戶的規模，隨著人數的增多，對祠堂的需求也變得迫切。

嘉慶20年（1815年），李氏子孫修建了祠堂，此時距離二世雲到這片土地已有444年。祠堂建成後，在道光年間進行了一次重修。後人於道光3年（1823年）農曆2月25日在祠堂內刻了石碑，上面記載了從二世雲到十五世後人的名字，經對照該碑文和家譜，兩者相差無幾。

到了光緒年間，祠堂已經破舊不堪，光緒31年（1905年），族長秀春召集族人商議決定重修祠堂，眾族人籌款重建。曲牆村李氏因本人沒有後嗣，召集族人決定將自己的十幾畝田地捐給祠堂作為公田。祠堂修繕完成後，坐北向南，建築為青磚藍瓦，上房三間，東西廂房六間，弘架二門，前門走馬門樓，院內青磚鋪地，四顆翠柏，挺立院中。

決定家族的宗派詩為（從十六世始）：

清向至正文化遠，先志追崇世永傳。

誠光照榮家聲振，道明德立幫國選。

後人於宣統元年（1909年）農曆7月15日在祠堂正房西邊刻石碑，記錄了重修祠堂緣由，曲牆李氏捐田情況，確定的宗派詩，以及擅自進入東凹老墳處罰和捐資重修祠堂情況。

據說三家遷到洛陽地區後沒有一直保持聯絡，民國時期，洛陽北地區遇到了洛河南地區刀客的搶劫，到了祠堂後看到碑文，原來是同根同族，刀客沒有對村裡進行搶劫，只是燒了幾個麥稈垛，至此一叔二侄的後人有了聯絡。1937年春，三村重修了家譜，增加排行詩二十字，洛陽北地區16世至20世為“清向至正殿”，二十世後三村歸一排詩文“孔乃通家子，周廷傳道長。萬言光可繼，吾知作人良。”