相传自然门徐始祖乃四川人氏，人皆不祥其名，只知姓徐。因其身形矮小，下颌刚甫桌面，故俗称"徐矮子"、"徐矮师"。在此之前，中华武术有南北二派，内外两家、少林武当峨嵋三大门，武林中三百六十拳种，其中均未闻有自然门者。"徐矮子"自幼年起即习练各种软硬功夫，翻筋斗、走软索等无所不习，内外家、南北派无所不通。成年后遇奇人传授，并开始闯荡江湖，遍访名师高士，技艺始得大成。因其身材矮小且貌亵，不为人重，故而隐居深山大川，潜心研究技艺，综其所学，对各种门派的武术进行潜心研究，并独僻蹊径，熔合各派精纯之长于一炉，始创独特武术拳法，并自命名为自然门。自然门武术创世至今约有二百年历史。虽然时间不长，徐矮师却挟此自然绝技闯荡江湖，不断对自然门拳法套路进行完善，使其功夫已臻出神入化。据传徐矮师能踩水而行，如履平地，一夜之间常飞步往返于湘川大山之间，可谓天盘功夫。

    "人不可貌相。"这是古往今来的至理名言。身怀绝技的徐矮师就有高徒杜心五偷袭的故事。

    清末民初一代侠士杜心五，早闻徐矮师之侠名，并经友人举荐，拜门习艺。然而杜心五见“徐矮子”人猥琐幺瘠，故不甚礼待。而徐矮师并不计较，终日手持小旱烟袋蹲于凳上吸烟而已。杜心五心里一直想试探其艺深浅虚实。一日，徐矮师熟睡之机，杜心五持单刀潜入房中，见其卧睡正酣，猝然劈下，眼见砍着其身！然而徐矮师忽然翻身里向，鼾声如故，不加丝毫理睬，而杜心五的刀却砍断了徐的枕头。杜心五后来还有几次在训练或切磋中都有意试探偷袭徐矮师，却从未能一沾徐矮师之衣襟。杜心五自此五体投地跟随习艺八载，恭谨尊师，成为门内弟子流传的佳话。

    据传，杜心五是徐矮师收授的最后一个弟子，师徒情深八年，至峨嵋山修行后不知其所终。

    杜心五(1869～1953)武术家,又名星武，字慎愧，号儒侠，道号"斗米观"居士。湖南省慈利县人。家世业儒。自幼文武双修，9岁拜师从严克习文练武；后又从数名拳师习少林拳械与鹰爪拳、梅花桩以及运气站桩等，13岁时已有武名。后从四川峨眉异人徐霞客(又称徐矮子)习自然门武艺8年，尤精此艺。自然门技击拳艺乃实实在在，无多余程式，无花拳绣腿，实用价值强。心五谨遵师命，走镖川、滇间，寻师访友，接受磨练与深造，功夫精进，以腿功著称，尤精轻功与速行术，世有"神腿"之称。

    参加了辛亥革命武昌起义，历任北京农业传习所气象学教授、北京西郊农场技正、民国政府农林部(亦说农矿部)佥事。第二次国内革命战争失败后，心五在家装疯，人称"杜癫"，至此闭门谢客，潜心学道。1939年复出，在重庆任全国人民动员会主任，赴各地发展党、会组织，与日伪军特周旋。30年代初始收徒传艺，弟子甚众，多怀绝技。名徒有万籁声、郭凤岐、陶良鹤、李丽久、胡亚夫等。

    1949年中华人民共和国成立后，定居长沙，任湖南省军政委员会顾问、省人民政府参事、省政协委员。晚年练辟谷功，并继续传授武术。德高望重，饮誉武林。1953年因旧伤复发，咯血而逝。

    万籁声是一代爱国武术家、武术教育家，省政协委员。他1903年出生于湖北，1926年毕业于北平国立农林大学，1942年入闽，1945年定居福州。他先后授徒3000名，培养出众多全国冠军和武林高手，1992年8月去世。

    武术家万籁声，1903年出生于湖北武昌，原名万常青。少年时代即住北京，十七岁考入国立大学森林系，毕业后留校任助教、讲师。他自幼爱好武术，在校期间，曾拜沧州神枪手刘德宽的高足赵鑫洲为师。赵鑫州是位彪形大汉，虎背熊腰，练得一身好武艺。

    万籁声学了三年少林六合之后，听说有个叫杜心五的，以前是湖南一带著名的武术家，因“神经不正常”流落到了北京。他抱着好奇之心前往拜访，从头到脚将杜心五打量了一番，见此人中等身材，体格削瘦，衣衫褴褛，满嘴疯话，行为放荡不羁，但两眼炯炯有神，知道不是等闲之辈，便要拜他为师。

    杜心五听后哈哈大笑说：“我根本不会什么武术，你还是赶快走吧。”

    万执意恳求，几次往访。杜心五终于被这位求学心切的青年的诚意所感动，便收了他。原来杜心五练的是自然门内功，此门功夫历来只单传不传其二。

    万得自然门内功秘传之后，又先后拜刘百川、王显斋、王荣标等名师，均得到了他们的传授。万当时在读书和任教的八个寒暑里，除了上课之外，几乎所有时间和精力都用到了练武上。他除了擅长少林六合门和自然门内功外，对其他各大门户如行意、八卦、太极、猴拳、劈卦、罗汉、南拳及枪器械、暗器等主要功法无不涉猎。