雲州大守堀尾忠氏公の次男小次郎君(吉晴公の孫)が慶長14年(1609)8月6日夭折し、忠氏公の後室御母長松院殿がその菩提を弔うために、翌慶長15年(1610)8月能義郡広瀬富田郷桜崎に一宇を建立し、戒名に因み「桐岳寺」と称し、御開山(初代住職)に伯耆国倉吉、定光寺8世龍岳道門大和尚を勧請したのが始まりです。
開創当初は「龍虎山」と称していましたが、後年故あって「龍渕山」と改称されたと伝えられています。
松江城完成より少し後、慶長18年(1613)城下の北の護りを担って現在地に移転されました。
元禄4年(1691)百姓町大火の折り祝融の災に遇い、宝暦8年(1758)10世大和尚により本堂が再建されました。
桐岳寺の寺小屋は明治5年(1842)の学制発布により松江第12番小学(通称桜崎小学)となり、後に北堀小学校、現在の城北小学校となりました。