少林寺は西暦４９５年、中国の歴史上の南北朝時代に北魏の孝文帝（拓跋宏）により太和 １９年に建てられました。魏孝文帝は、全国統一を手に入れる為にインドの高僧跋陀和尚に意見を求め、その褒美として少林寺は造られたのです。
当時、中国は南北朝の時代。北魏の王朝である少数民族鮮卑族は、揚子江の北側、中国の全体の６，７割の土地を支配していました。南の宋王朝は、揚子江の南側の中国全体の３，４割の支配でした。
拓跋宏が天下の時に国の力は段々とすごく強くなっていきました。西はイランイラク、トルコ迄、東は韓国迄とかなり広い地域に勢力を伸ばしていました。もし拓跋宏に従わなければ、北の方の小さい国や民族はすぐさま砂漠の北まで追い出されます。ただ、南朝の劉宗の統一までは及んでいませんでした。
その時期、インドの高僧の跋陀は中国の雲崗石窟で仏教を伝えていました。孝文帝は天下統一について跋陀に意見を求めました。跋陀和尚は自分の考えを話しました。
北の魏の発展は天時によるものです。これは運命的という意味です。また、恵まれた場所により、自分の軍隊の兵力が発展しました。この地利ということにより、国の６，７割もの地域を統一できたのです。
ただ、人和ということが足りません。だから全体的な天下統一はできないのです。中国は昔から政治的な最終到達には天時・地利・人和の３つが揃わないと統一はできません。もし人和があるならばもっと統一はできます。この話を聞くと、孝文帝は非常に喜びました。
また、跋陀は人和の為の４つの提案をしました。第１は、先祖である太武帝が行なった仏教弾圧の政策を変えてやり直すことです。そのためには自分の国の中にたくさんのお寺を作り、大勢の僧侶と尼僧を援助します。そしてみんなが仏教を信じる心を育て、人間の心を安定させるのです。皇帝自らも在家弟子となり、仏教の信者であることを国民に表わします。そしてお経を読み、国民みんなの安定を願うのです。
第２は、国民みんなに土地や食料を平均的に与える制度を作ります。食料を充実させ、毎日の食事が安定するとみんなの心も安定します。
第３は、漢民族の心を掴むことです。国の中では漢民族が一番多く、国全体の安定には漢民族の心を抑えることが大事なのです。その為には、漢民族の習慣と礼儀を尊敬しなければなりません。まず漢民族の学校を作り文化を学びます。そして皇帝は少数民族ですから、自分の民族の女性は漢民族に嫁ぎます。異なる民族間の結婚は許されませんがこれを一切許すのです。特に、皇帝自らと親族がまず始めに漢民族の衣服、礼儀、言葉、漢語、姓を取り入れます。これにより、漢民族と自分の民族との壁を取り去り、こうして全体の国の統一をするのです。第４は、首都の場所を、皇帝のもともとの北の少数民族の場所ではなく、国の中心部である洛陽に遷します。いい国は、みんなの心が中心を向き統一の意識が生まれるのです。だから必ず最後は全体の天下統一とは、心に戻るのです。孝文帝は４つの意見を聞いて感心しました。ただ、第３の提案には少し難しそうな顔色を見せました。
跋陀は続いて話しました。昔の孔子について有名な話があります。天下統一とは何よりも王が大事です。もし皇帝は自分の周りにいる人達ばかりを気に掛け多くの国民の平和や幸せを願うのを忘れてしまったら、それは国のリーダーではありません。跋陀は言いました。あなたが自分の民族の平和だけを思うのなら第３と４の提案を実行せずに統一をしなくてもいいでしょう。
この最後の言葉で孝文帝は目が覚めました。それからは非常に頑張り、周りの親族の妨害も乗り越えて、４つの提案を実行しました。
自分を始めとして仏教を信仰し在家弟子となり、漢民族の文化を取り入れ、姓は元という漢民族のものに変えました。国の元々の首都の山西省、から洛陽に遷しました。そうすると国はどんどん発展しました。しかし、皇帝はことを跋陀の意見を実行したら国が発展したので１日もインドの高僧から離れなくなってしまいました。そして跋陀に山西省の雲崗石窟から出て来て洛陽に住む事を願いました。でも跋陀は、洛陽は賑やかすぎるし自分は静かな所が好きですから嵩山に住んで世の中の喧騒からは離れたいと言いました。
皇帝はどんな場所が良いのか訪ねると跋陀は“竜虎相親地、如来身下辺、睡蓮花心内、シュアン（車へんに環の右側の字）轅古道前”と答えました。皇帝は洛陽に引越し後すぐに大臣と一緒に嵩山を探し法王寺に泊まった時に管長である道登和尚からその意味をを教えてもらいました。
そこで皇帝は跋陀和尚の為にお寺を作り、このお寺は少室山の林の中にあるので少林寺という名になったのです。跋陀和尚は、３０数年間少林寺の管長になり、その間に多くの弟子もできました。この様に少林寺初めての管長は達磨大師ではなく跋陀和尚でした。また名の有る管長としては慧光、僧周のふたりも知られています。