全長236キロ、四国最大の吉野川が阿波の北部を貫流している。阿波中央橋を南に渡り、およそ3キロの山麓に十一番霊場の山門が見えてくる。三方を山に囲まれ、渓流の清らかな仙境に心を惹かれた弘法大師が、この地で護摩修法をされたのは弘仁6年のことと伝えられている。大師は42歳の厄年に当たり、自らの厄難を祓い、衆生の安寧を願って薬師如来像を彫造して、堂宇を建立した。その地からおよそ200メートル上の8畳岩に、金剛不壊といわれる堅固な護摩壇を築いて、一七日間の修法をされた。その堂宇の前に5色の藤を植えたという由緒から、金剛山藤井寺と称されるようになった。
寺は、真言密教の道場として栄え、七堂伽藍を構える壮大な大寺院と発展した。だが、天正年間（1573〜92）の兵火により全山を焼失、江戸時代初期まで衰微した。その後、延宝2年（1674）に阿波藩主が帰依していた臨済宗の南山国師が入山して再興し、その折に宗派を臨済宗に改めている。天保3年（1832）に再び火災に遭い、本尊以外の伽藍はすべて灰燼に帰した。現在の伽藍は、万延元年（1860）に再建されたもの。本尊は、「厄除け薬師」として親しまれており、国の重要文化財に指定されている。藤井寺から次の十二番・焼山寺までは、往古の姿を留める「へんろ道」が通じている。弘法大師が修行中に休息したという遺跡や石仏、標石が残される貴重なへんろ道である。
2011年11月10日参拝。駐車場は寺にはないが寺の手前にある。

見所：藤の古木・雲龍の天井画・遍路ころがし（次の12番札所までは細く嶮しい山道で約13キロ。男8時間、女9時間かかるといわれる遍路の難所。）