住職の住まいですが、中には開山遠谿祖雄禅師や中国の中峰国師・天皇などを御祭りする開山堂もあります。
（非公開）法要・座禅・法話等はここで行われます。また納経などの受付も方丈にあります。
高源寺には本殿はないので一般の寺院の本殿にあたります。