紫尾山を神体山とする信仰は、孝元天皇(前214-前158)の御代に開山された紫尾山の山頂に熊野の神である伊弉冉尊、事解男命、速玉男命の三柱を祀ったのが創始とされています。
継体天皇の御代(507-531)、山中で修行をしていた空覚聖人の夢の中に神が現れ、「われはこの山の大権現なり」、「わがために社寺も建てて法を広めよ」と告げます。翌朝、上人が教えに従って紫尾山の山頂に立つと、どこからともなく山の神々が紫の雲のごとく尾を引いたようにたなびき現れたことから、山を「紫尾山」と名付けます。そして、阿弥陀如来の来迎の別当寺として山頂に「上宮権現(現・上宮神社)」。紫尾山の麓に里宮として「紫尾山祁答院神興寺」を当地と高尾野町に建て、「中宮権現祠(現・紫尾神社)」とします。そして「宮権現祠(現・古紫尾神社)」を建て、三所権現と称しました。古紫尾神社は、一説では宝治2年(1248)に創建とも伝えられることから、一般に当社は、紫尾山山頂の上宮に対して下宮と称されますが、古紫尾神社を下宮とする際は、中宮と称されています。
史書に見えるのは、貞観8年(866)の「日本三代実録」にて「貞観丙戌四月七日薩摩国正六位上紫尾神に従五位下を授く」とあり正六位上から従五位下に昇叙されています。
中世には繁栄を極め、承元年間(1207-1209)には源実朝から御神体の鏡三面を寄進されます。神興寺は、西国の高野山とも称されて繁栄を極め、仁王門内に14の坊のほか、菩提院、瑞雲院、徳寿庵、奥之院などもあったとされています。遠近を問わず、多くの信仰を集めていましたが、天正年間(1573-1593)の干魃や数回の火災などにより出水領主の島津義虎により神田八町余りが献ぜられるも寺院や僧坊は荒廃しました。
万治2年(1659)には、紫尾神社に参籠した宮之城領主・島津久通の神夢に依り永野金山が発見されたことから銀500両の寄付を受け復興されますが、以後も盛衰をくりかえします。元禄2年(1689)には宮之城神照寺の快善法印が当地の温泉に静養するのと共に、住職となり社寺を造営し復興したことから中興の祖とされています。山ヶ野、永野両金山を教え賜いし御神徳の高い神として、祁答院九ヶ郷の宗社として、毎年9月29日に奉幣使が巡拝され、巡拝当日は、鉱山関係者を始め各地からの参拝者で賑ったとされています。
正徳4年(1714)に神興寺は、島津吉貴により鹿児島南泉院の末寺となります。神興寺の位置は、転々としたとされますが、境内裏の駐車場付近から寺院の瓦が出土しています。
文化元年(1804)年正月元旦に全焼しますが、文化5年(1808)に再建し、文久2年(1862)にも社殿の造営が行われました。明治2年(1869)に廃仏毀釈により寺院、仏像、宝物、仁王門など破棄消失。明治5年(1872)に県社に列せられ、昭和12年10月29日に現在の社殿が竣工されました。
拝殿の賽銭箱下からは、温泉が湧き出て「神の湯」と称され、近郷近在はもちろん出水地方からの湯治客が多く、山の湯として親しまれています。温泉は、元禄2年(1689)に中興の祖とされる快善法印が湯浴みしたのが始まりとされ、泉質は無色透明、微弱硫化水素臭アルカリ性、温度は源泉で摂氏55℃です。浴用としては、神経痛、リウマチ、糖尿病、慢性皮膚病、慢性婦人病などによく効き、飲用としては、常習便秘、慢性リウマチ、痛風、慢性金属中毒、神経マヒに効き目があります。境内のすぐ東にある「紫尾区営大衆浴場」をはじめ、「神の湯」を源泉とする温泉旅館で繁栄しています。
境内には、菅原道真を御祭神とする紫尾天神が鎮座し、学問の神、牛馬の神、武道の神として信仰されています。その西側の奥には、継体天皇の御代(507-531)の御代に紫尾権現・紫尾山神興寺を創建した空覚聖人の供養塔として四面に梵字が刻まれた五輪塔。鎌倉時代末期から当地を支配した祁答院氏の第4代の祁答院行重が第3代の祁答院重松の供養のため建てたとされる阿弥陀如来と薬師如来の二柱の方柱石塔婆。そして戦没者の慰霊碑と招魂碑が祀られています。
境内後方には、六道に迷う死後の俗人が仏力によって救われるとの信仰から寺や基所の入り口に建てられた六地蔵塔と経塚が残されています。この六地蔵塔は、県内で最も古いものと推定されています。