军山相传曾为秦王屯兵之地，因形似伏象，又名象山。俯瞰军山，山水相依自然构成一幅八卦图。明代山西高僧法空驻锡军山，创建普陀禅院，狼山总兵题榜出门，著名书法家董其昌撰写了《军山普陀别院碑记》，认为于浙江普陀山相比“不减珞珈真境”。寺庙、宴堂曾多达百余处，为昔日东南佛门胜地。山上古迹有：燕真人洞、白云泉、四贤祠、包公祠、董其昌碑刻及中国历史上较早的民办气象台等。

浙江普陀山是观音菩萨的道场。军山，正是观音菩萨在南通的道场。军山山顶上，在明代崇祯三年（公元1630年）建成了普陀别院，主要供奉观音菩萨、普贤菩萨和文殊菩萨，已有将近400年历史；2002年，毁坏多年的普陀别院得到重建，并请来了一尊世所罕见的翡翠观音座像作为镇山之宝。凡到军山的信众，大慈大悲的观音菩萨都会用杨柳枝蘸净瓶水洒向他们，表示热烈欢迎。