真言宗智山派総本山智積院末に属し、曼荼羅山 金胎寺 遍智院(まんだらさん こんたいじ へんちいん）と言うのが正式名称である。大神宮の字、小塚にあるところから一般に『小塚の大師』と言う名で親しまれている。また、東京の西新井大師・神奈川の川崎大師と共に、関東厄除三大師として知られている。
当山は、弘仁六年（815年）に弘法大師が東国行脚の際、静寂で霊験あらたかなこの山に立ち寄り、密教の道場として、一字の草庵を建てたのが始まりである。
ある日、布良崎に鎮座する太玉命（ふとだまのみこと）が現れ大師に告げた。
「師がこの地に来たり給うは、土民の願い、師は今年四二歳の厄年に当たる。一つには自分のため、一つには衆生のためにどうか災難除けの勝業を営むべし。師の住む庵の後峯に霊木がある。これを用いて師の形像を刻み祈誓したならば、あらゆる災難やわざわいはその像が身代わりとなって、師の心身は安らかである。なお、あらゆる衆生を救うとの誓いを像にこめ、永くこの地にのこし結縁の者に厄難を除かしめられよ。私もまた師の影に随って擁護しよう」
と語り終えると、たちまち姿が見えなくなった。お告げに従い霊木を探し、自ら二体刻み開眼供養をして、
「願わくは有縁の衆生と共に福智円満せしめん。当所鎮守を始め奉り、本朝の諸大神祇・三世十方の諸仏・諸菩薩証明加護し給へ」
と誓い、その内の一体を布良崎の浜より流した。その後、幾年かたって対岸の武州橘樹郡に流れ着き、現在の川崎大師平間寺に祀られたと伝えられている。
もう一体は神託により当山に安置された。この時、遠近各地から集まった武士や庶民は、大師の徳に帰依して浄財を寄付し、まもなく数宇の殿堂が完成したという。
その時、金泥をもって金胎の法曼茶羅二幅と弥陀六字の大名号『佐野の名号』を親写される。法曼茶羅を写していた時に、井戸の中から黄金がわき出たと伝えられ、その井戸は、現在本堂裏にある閼伽井（あかい）のことである。しかし、大師が親写した大名号は文安年間（1444～1448年）の兵乱の際に、何者かによって奪い去られたと伝えられている。
大師は、堂宇が立派に完成したので伝法灌頂（でんぽうかんじょう）を修し、法会もおごそかに厳修した。見聞の道俗は皆感激し、大師に心から帰依したという。
今に至るまで遠近の憎俗に祈願すると、干ばつに甘雨を注ぎ、流行の病をはらい、また水火の厄難を免れた者はかぞえきれないという。その顕著なものを挙げると、昔、源頼朝は初め以仁王（もちひとおう）より令旨を承り、義兵を挙げたが機運が熱さず、石橋山の戦いに敗れ、船で当国にのがれた時、まず当山に参拝して武運長久を祈願すると、軍大いに振るい、諸国を征服し遂に征夷大将軍の位についた。
そこで頼朝は深く霊感を感じ天下平定後、香華料として水田若干を寄進し、旧堂を修理し新殿を増築すると共に、彫甍朱欄善美（ちょうげ しゅらんぜんび）を尽くし、金碧（こんぺき）あいえいじてその荘厳なること、東関東無比の名刹となったという。
それ以来、開山より1200年たつが、幸いに寺宝である霊像と金泥両界曼荼羅は保存され、弘法大師の霊場として、また災難厄除け大師として檀信徒の信仰を集めている。以上が縁起の伝えるところである。
