神仙山作为五岳之北岳很早就是中国祭祀的名山。《舜典》：岁十一月朔，巡狩至于北岳。《尚书》中“岁二月，东巡守，至于岱宗……五月，南巡守，至于南岳，如岱礼。八月，西巡守，至于西岳，如初。十月一月，朔巡守，至于北岳，如西礼。《周礼职方》中，并州，其山镇曰常山（恒山）。
司马迁著《史记封禅书》中也提到五岳。汉武帝时正式创立五岳制度。《汉书郊祀志》载，汉宣帝神爵元年(公元前61年)颁诏，确定泰山为东岳，华山为西岳，霍山为南岳，恒山(大茂山)为北岳，嵩山为中岳。《尔雅》：恒山为北岳祠典，五岳之一也。北岳初称“北岳神”执掌一方，周礼视五岳三公，以公侯待之。初唐时北岳被称为 “北岳府君”，中唐起五岳始加封号：天宝六年（公元784年），唐玄宗李隆基下诏封“北岳神为安天王”；宋真宗于大中祥符九年（公元1016年）加封北岳安天王为“北岳安天元圣帝”并封帝后之号；元代在前几代基础上复又对北岳安天大贞元圣帝加封“北岳为安天大贞元（玄）圣帝”；明洪武三年（公元1370年）北岳又改封为“北岳恒山之神”。
北岳神的形象，《云笈七签》说：“北岳神君服元流之袍，戴太真冥冥之冠，佩长津悟真之印，乘黑龙，领仙人玉女七千人”。今天，人们所见到的北岳神，河北曲阳北岳庙壁画上的样子：身穿衮服，头顶王冠，胡须飘然，丹凤眼炯炯发光，挺胸正坐帝王作派一付威严，与文献记载相差无几。《古今图书集成北岳恒山之神外部编》记载：“北岳恒山君领仙人玉女七千人，北岳君服元流之袍，戴太真冥灵之冠，佩长津悟真之印乘黑龙”。还有，河北省怀安明代建筑昭化寺壁画中的五岳神祗群像，《五岳大帝江河淮济四渎王众》组图中前排位置可以看到“五位岳神均头戴朝天幞头，圆领中袖朝服，腰束玉带，足蹬黑履，均挺胸叠肚，三缕短髯。或作禀事状，或作静听装，或回首状，态度安详自然，一幅幅王公形象”。
目前神仙山主峰峰顶仍然保留有北岳庙，为清代所修建，面阔三间。在阜平县千亩台出土明朝嘉靖年间《重修北岳庙碑记》，现存阜平县子毅中学。居考古人员依据《水经注》记载推测，阜平县千亩台为北岳上庙遗址（相对于曲阳县下庙）所在；同时另外出土碑记中载有“盖谓大茂山前有一古刹玄都观一座，建立北岳神祀，与内有四五座大殿，自尧以来重修不计其数矣”。居老人所讲，北岳庙毁于抗日战争时期，本地有四进院落北岳庙，松柏成阴，碑刻林立。 神仙山是中国最著名的道教圣地。其道教文化历史悠久，高道众多，理论宏富，首创宗派，影响深远，是我国的宝贵的人文资源。其中早起为方士活动，后茅山派，天师道和全真教等道家派别均有活动。道教视恒山为神仙所居，是道士 修行的洞天福地，称其为三十六洞天之第五洞天，名总玄洞天。司马承祯《天地宫府图 三十六小洞天》曰：“第五北岳常山洞，周回三千里，号曰总玄洞天。在恒州常山曲 阳县，真人郑子真治之。”《北岳真行图》说北岳恒山，在定州曲阳县（山即神仙山），是长桑公真人得道之处，天涯、崆峒二山为副。岳神姓晨讳咢，封号“安天元圣帝”。北岳者，主世界江河淮济，兼四足负荷之类，管此事也。
女道士昌荣隐居之地，昌荣自称殷女，食松柏籽，饮山泉水，采挖中草药，为山下百姓治病，往来山上山下二百余年，容颜如童，百姓们非常感激她，热情称她为少容姑娘。茅山派祖师茅盈 “年十八，遂弃家委亲入于恒山，读老子《道德经》及《周易传》，采取山术而饵服之。汉明帝时，恒山道士桓文度等人反对佛教在中国传播，上书朝廷。史书《后汉书襄楷传》：“顺帝时，琅邪宫崇诣阙，上其师干吉于曲阳泉水上所得神书百七十卷，皆缥白素朱介青首朱目，号《太平青领书》。李皎为寇谦之弟子，遂服气绝粒数十年，隐于恒山。年九十余，颜如少童。《大唐新语》载，张果老先生者，隐于恒州枝条山，往来汾晋。时人传其长年秘术，耆老咸云：“有儿童时见之，自言数百岁。”则天召之，佯尸于妒女庙前，后有人复于恒山中见。八仙之一张果老在河北还有很多仙迹，其中较为著名的还有过赵州桥的故事。
金元时，有更多全真教道士住神仙山。张三丰在恒山修道十六年，作《恒宗》《悠悠歌北岳作》等时至元三十一年（1294）甲午岁也。陈志益，号重显子，师邱处 机。曾住持葛公山清虚宫，后来恒山，于大定九年（1169）建渊静观以居。大定十二年 卒，年八十一。此外，见于金元碑刻者，又有任恒山各宫观之提点道士多人，如杜志 寥在蒙古宪宗时任真君观（庙）提点，于宪宗二年（1252）至世祖至元二年（1265）间 重建真君观。孙道微、赵道祥、彭正忠在元英宗、泰定帝间任北岳庙住持、提点，代皇帝建醮祭祷北岳。曲阳恒山旧时建有一批宫观搜趣网。最 早者为北岳观。
一说认为白毛女的原型出自神仙山周边广为流传的白毛仙姑。 神仙山与佛教也有较深的渊源，佛家称神仙山为青峰埵。东晋十大名僧之一的释道安（公元312—385年），于永和十年（公元354年）率500名信众至恒山山建寺院传教说法。后为一代佛坛宗师的慧远及其弟慧持，亦来神仙山学道受戒，形成以道安为核心的恒山佛教僧团。所建金龙寺内建有万余尊铜佛像，其中一弥勒佛，体型硕大无比，堪与乐山大佛比肩，一只耳朵眼内即能容下四个人坐着打牌。遗憾的是，后来由于连年征战，天灾频繁，道安师徒无法在河北立足，遂率信众迁往河南。从此，古北岳恒山上的寺、庵日趋冷落。现存佛教寺院遗迹36处，除金龙寺外，还有石猴寺、上寺、石城院坡寺、观音庵、菊花石堂庵等。有意思的是，这些古代佛教遗址的MRaajThzgv名字，现在成了古北岳恒山周围村庄的名称。
五台山与神仙山相邻，一直视神仙山为青峰埵，有“左邻恒岳，秀出千峰”之说。《广清凉传》载有无恤台。常山顶是也。昔赵简子，名无恤，曾登此山观代国。下瞰东海蓬莱宫。观神仙之宅。此是普贤菩萨。于中止住。云霞出没。往来五台。登台者。多见灵瑞。绿斯圣迹故。号为东埵也。徐霞客游五台山时，老僧石堂说“其正东稍北，有浮青特锐者，恒山也。”明确指出神仙山就是北岳恒山。 神仙山具有浓厚的军事色彩，古代中国常常面临来自北部草原的威胁，恒山也成为守卫中国的一道屏障。从恒山载入历史以来，就伴有浓厚的军事色彩。《史记赵世家》：赵简子告诸子曰：吾藏宝符于常山上。诸子驰之常山上，求无所得。毋恤还曰：已得符矣。简子曰：奏之。曰：从常山上临代，代可取也。又《楚世家》：张仪说楚曰，秦地半天下，席卷常山之险，必折天下之脊。同时神仙山本身地势险要有倒马关，是长城内三关之一。 以后历朝历代中，常有关于战争的描写，刘琨在五胡乱华之后，曾收恒山中山之兵，力图恢复中原在恒山北侧飞狐（涞源）一代活动。其中唐朝郭子仪在恒山之南击溃安禄山最为著名。
神仙山率然蛇还衍伸出了常山蛇阵，常山阵是中国历史上最为有明的阵法之一。《孙子九地》：“故善用兵者，譬如率然。率然者， 常山 之蛇也。击其首则尾至，击其尾则首至，击其中则首尾俱至。” 三国 魏 曹植 《魏德论》：“惟我圣后，神武盖天，威光佐扫，辰彗北弯，首尾争击，气齐率然。”
神仙山也衍伸出忠义文化，由于神仙山所处位置，在抵御外族中，常常起到华夏精神支柱作用。冠以常山为名的人有常山赵子龙和颜常山颜杲卿，两人皆以忠义称著，受到历代尊崇。同时北宋期间，神仙山成为宋辽边界线，是抗辽最为激烈的地方，有关于杨家将抗辽的历史故事，并在倒马关旁建有六郎庙，纪念杨家将抗击辽国的事迹。同时汉化后的金国在面临蒙古人入侵之时，封最具实力的抗元势力首领武仙为恒山公，以期能够抵御蒙古人入侵。 抗日文化是神仙山军事文化的自然延伸，继宋辽守边后又一次抵御外辱。晋察冀抗日根据地依托神仙山得以建立，很多机关曾在神仙山一代隐藏。萧克将军指挥神仙山保卫战，创造了步枪击落日军飞机的奇迹。
神仙山保卫战由成少甫将军直接指挥，其当时是晋察冀军区第3军分区42团团长。1943年日军发动长 达叁个月的扫荡，军分区命令成少甫率领42团留在神仙山，坚持内线作战。扫荡开始后，42团渐渐被日军合围，42团团政委率一个连掩护后方机关跳到圈外，成少甫和团参谋长马卫华（后授少将衔）坚持山区。当时日军有2000人，成少甫只有6个连 ，他指挥部队占据天险金龙洞，日军进攻叁天，寸土未获。成少甫预测到日军会攻击一个叫九里十八湾的天险，布置了地雷阵。日军进入了地雷阵，遭到42团伏击，九里十八湾的九里路，日军整整爬行了一天。日军第一次围攻神仙山，伤亡200余人，成少甫的42团仅伤亡17人。日军第二次围攻神仙山，采用了闪击方式， 军分区机关、学校、工厂、医院和42团又被围住了。成少甫派出的侦察员侦察到西南方向有两叁里的空隙，当晚，机关、学校、工厂、医院从这个空隙中转移了，成少甫命令四个连留下四个班、排，自己带着团指挥所上了神仙山主峰，坚持到日军撤退。