公元495年，孝文帝为感念跋陀高僧恩德，于嵩山少室山北麓敕建寺庙，取佛珠所刻“少欲清心，林下正风”每句首字为名，曰“少林寺”。
北魏孝昌三年，达摩祖师为传经送道，远涉重洋，抵达中土。后经梁武帝由广州遣使请至金陵，谈经论佛。由于梁武帝只注重人天小果，有漏之因。相互谈论甚是不投心意，终不欢而散。达摩祖师遂一苇渡江，北上嵩山，下榻少林寺，面壁九年，创立中土禅宗。公元536年，达摩祖师于空相寺圆寂。
就在达摩祖师圆寂之后，少林寺内发生了一件惊天动地的大事。
北周建德三年，武帝禁佛，少林寺内大量寺宇被毁。大象年间，有召惠远、洪遵等120余僧人化名“菩萨僧”隐秘修建少林寺，于达摩洞（达摩祖师面壁之所）中采取土石。一日，洞中墙壁忽然坍塌，露出一道暗格，暗格上方刻有“天”字，下方刻有“地”字，左侧刻有“星”字，右侧刻有“辰”字，正中刻有一个“日”字，落土碎石上隐约可见一个“月”字。暗格内置有一铁盒，约一尺见方，盒上无锁，众僧人却无法打开，后用火烤之，有液体流出，原来是用石蜡密封，打开铁盒，内置经书两本，用梵文撰写，外加一封书函，内容大致如下：
“汝等得此铁盒，必定已遭劫难。吾在面壁悟道之时，创出两本武学，一本名曰《易筋经》，主修易筋锻骨之术，以阳刚之气为盛，修习者，小成可强身健体，百病不侵；大成者，可内壮神勇，外壮神力，单手举鼎，开山劈石。另一本则名为《洗髓经》，主修内神之气，以阴柔之气为形，习成者可移形换位，摘花飞叶，无所其及，修习者，需心中无杂念，清五脏之气，净六体之神，否则经脉逆行，走火入魔，非日月颠倒，难以制止，凡未悟我修禅真谛者，不得擅自修习。汝等得此两本经书，可潜心钻研，循序渐进，不可操之过急，待百年花开之时，可再重振我少林声威。达摩多罗以此嘱之。”
众僧读毕，皆感叹达摩祖师修为，可通晓百年之事。后由二祖慧可禅师将《易筋经》翻译为汉本，同书函留在少林寺。因未在寺内觅得修禅真人，慧可禅师携带梵本《洗髓经》，云游天下，以求有缘人。后其踪迹，无人可知。
百年之后，众僧不负所望，修习《易筋经》各有小成，后又衍生出各类武学，包括拳术、棍术、枪术、刀术、剑术等。最为有名的乃少林七十二绝技，各有神通，各路武林好手无不敬佩，江湖之人更是望其项背，争相借鉴，更有“天下武功出少林”一说。至此，少林门派的江湖地位已无可撼动。