藩祖・高虎は、75歳で亡くなったとき「寒松院殿道賢高山権大僧都」と諡されたので、「高山公」と呼ばれる。

　明治期になって藩祖を祀る神社として建てられたのが、高山神社である。但し、同神社は、戦災によって一部を残して焼失し、昭和45年iに至って都市計画復興事業に伴い現在の位置に移築された。

　大坂夏の陣で戦死した藤堂仁右衛門高刑、桑名弥次兵衛一孝が着用していた血染めの鎧が奉納されていたが、社殿と共に焼失。

​

　由来や社歴は「津市史第５巻」に詳しいので以下抜粋する。

​

『祭神と由緒

藤堂高虎が祭神で「社伝」には「恭しく高山神社の創始を按するに、従来旧津藩主藤堂家に於て、祭神高虎朝臣が百戦偉功を奏せられし際、冠せられたる兜鍪を奉鎮して神霊代と為し、之を津城内に齋祀し、藩士も皆共に尊奉崇敬の誠意を尽し来りし所にして、大政維新の後、神社創建の議起り計画多年、遂に明治九年（一八七六）四月朝臣の諡号高山の二字を取り以て神号と為す。

神祠を伊勢国津市大字下部田字広明千七百七十五番地両社八幡神社境内に建立せんことを請願し、同年九月十三日允許の命を得たり。是に於て藤堂家及旧藩士族等曽て恩義に浴せる者各貨財を献じ以て之を経始す。旧藩主の一門藤堂帰雲等総裁となり励精尽力し、同十年八月神殿（神明造型十尺横十四尺階段六級巾六尺高欄二尺五寸三方折廻し）瑞垣（竪八間横八間）中門（白木造）拝殿（平屋造竪四間横八間左右の二ヶ所に二間四方の角屋付）悉く竣工す。

同年九月五日在津旧藩士等挙って仮りに奉安せる本市藤堂家事務所より神霊代に扈従奉送して拝殿に至る。是に於て神宮古式に法り遷宮鎮座の典を執行せり。爾来毎年春秋二季祭祀を行ひ、四月五日を春祭と為し、十月五日を例祭と為す。

而して旧藩士族居住の町々其他市街散在の士族は悉く氏子と為り後、中茶屋町、栄町、万町、新立町、塔世西裏の五ヶ町も亦氏子と為り、神徳を景仰する者日に多きに赴くを以て、同十一年四月社格昇進の儀を申請し、同十二年七月四日県社に列せられたり。既に社格昇進の恩命あり。然るに従前神社所在の地は神域頗る狭隘なるのみならず、他の神社境内に寄寓し、大にその当を失せるの感あり。殊に同三十年三月官より氏子坤区を定められ津市の内丸ノ内、西堀端、南堀端、北堀端、一番町、二番町、三番町、五軒町、枕町、松ノ下町、中新町、西新町、玉置町、新道、西検校町、東検校町、新立町、塔世西裏、栄町、中茶屋町二十一ヵ町の産土神と為せり。然るに其の鎮座地は下部田なる村社ハ幡神社の氏子地区内なるを以て、更に地を卜し津市大字丸ノ内二千八十四番地へ移転の議を発し、其の顛末を具し、之を旧藩主に告く。

抑も此地は祭神高虎朝臣以来、藤堂家歴世居城の旧趾にして祭神に最深密の縁故を有する土地にして現今藤堂家の所有に属すれは藤堂家に於ても速に採用せられ、社殿建立の地千五百八坪の寄付を得、議遂に決し同三十三年九月廿九日、氏子一同より右遷祠の請願を為し、同三十四年四月十七日允許を得て直に工を起し、同年十二月廿五日、遷座式を執行せり。

而して本殿、瑞垣、中門其他、神庫、社務所、手水屋形等、遷徏営造方に正遷宮の典を挙けんとするの計画なりき」

とあり、明治三十四年一〇月調製の「明細帳」には、「明治三十四年十月二十日拝殿移築、同年十二月二十五日下部田旧社殿より仮神殿へ遷宮、同三十六年四月四日本殿移築に付、正遷宮式執行、同十月四日鎮座式大祝祭典執行す」とある。

昭和二０年七月の津市空襲によって本社は全焼（境内社八幡社は残る）、同二十一年二月「宗教法人令」によって、神社本庁に属する宗教法人となり、県社格は廃止された。その後、仮本殿、仮拝殿を建築し、わずかに焼け残った絵馬殿を仮社務所に充てて今日に及んでいる。』

​