戚氏宗祠始建于清乾隆四年（1739年）。头门七间；中进正屋五间，悬“敦伦堂”匾，左右楼房各三间；后进正屋五间，奉阖族历代神主，左廊三间为节孝祠，右廊三间为螟蛉祠。中进东墙外有朝西平屋七间，南四间由管祠人居住，北三间作厨房，朝南有小墙门以便管祠人出入。祠前照墙石埠，后进墙外并池外余地。戚氏宗祠毁于抗日战争时期。
另有《余姚湖隄戚氏支谱》（光绪二十三年修，民国三十二年手抄本）记载：“宗祠后进五间自民国二十八年（1939年）中日战争被兵焚烧”。

今湖堤村罗塘自然村东尚有一座戚氏房支祠堂，又名小祠堂，现存门厅、正厅及两侧厢房，占地面积640平方米。目前被占为厂房所用，保护状况不佳。