霊山は古来より、神が降りてくる山として人々の信仰を集めていました。貞観元（859）年、天台宗の僧・慈覚大師円仁は山上に霊山寺を開山、最盛期には3600もの僧坊を持つ大寺院へと成長しました。やがて南北朝の動乱期を迎えると、南朝の拠点となり霊山城が築かれます。霊山の険しい岩肌は、10年もの間、北朝軍の侵攻を食い止めましたが、最後は包囲されて炎上。480余年におよぶ栄華の幕を閉じました。当時の遺物は手つかずのまま山中に眠っています。

霊山登山口から約1時間、国司館跡を少し登ったところに霊山城跡があり、石碑が建立されています。
ここにはトイレもあり、多くの登山者が休憩をとっています。