霊山には、慈覚大師が開山した霊山寺が山頂にあり、南奥州の信仰の中心地としたと考えられています。

南北朝時代、北畠顕家が義良親王を奉じて霊山に立てこもった祭、山頂に砦が築かれました。南北朝の合戦は全国的なもので、霊山城、藤田城など伊達郡内でも行われ、霊山城は貞和3年（1347年）8月ごろ落城、霊山寺も全焼したといわれています。

◎北畠顕家（1318－38）親房の長男。建武中興後、義良親王（後村上天皇）を擁し多賀国府に下る。鎮守府将軍として足利尊氏蜂起後は奥羽宮方の柱石となる。のち拠地を霊山城に移すが、暦応元年、和泉国で討死。