传说达摩将衣钵法器传给慧可以后，便离开少林去禹门（今洛阳龙门），禅栖在千圣寺，于东魏孝静帝天平三年端坐而逝。达摩死后，他的尸体按照佛教的礼仪装殓入棺，十二月隆重地移葬在熊耳山，在河南省陕县的定林寺内为他建造了一个墓塔，以作纪念。
达摩是北魏时期影响最大的禅师之一。达摩之死，对禅宗界来说，好象陨落了一颗明亮的星石，僧徒们为他顶礼祭拜，皇帝群僚为之合十赞叹。
达摩之死，世所共知。东魏使臣宋云因事出使西域久而未归，对于达摩辞世的事一无所知。达摩死后两年，宋云从西域返回洛京。在途经葱岭的时候，迎见达摩一手拄着锡杖，一手掂着一只鞋子，身穿僧衣，赤着双脚，由东往西而来。二人相遇后，宋云急忙停步问道：“师父你往哪里去？”达摩回答说：“我往西天去”。接着又说：“你回京以后，不要说见到了我，否则将有灾祸。”二人道罢，各奔东西。
宋云以为达摩给他说的是戏言，丝毫没有介意。回到京城以后，向皇帝复命交旨时，顺便提到了他途经葱岭遇见达摩老祖回西天的事情。谁知话音未落，东魏孝静帝就发了火，怒斥宋云：“人所共知，达摩死于禹门，葬于熊耳山，造塔定林寺，你怎么说在葱岭遇见了达摩，死人怎能复活？这分明是欺君骗联，岂有此理？”说罢，便令殿角侍卫把宋云扭出殿外，五花大邦投入南监。
事隔数日之久，一天，孝静帝坐朝审理宋云欺君一案。将宋云传上殿以后，孝静帝问道：“你在葱岭遇见达摩的事情，究竟是怎么回事，你要如实说来”。
宋云先叩头，后说话：“皇上容禀：葱岭见达摩，祖师光着脚，一手拄锡杖，一手提只履。僧衣随风飘，翩翩向西行。他说回西天，不让我吭声，假若说出去，灾祸必报应。臣觉是戏言，顺便奏主君。如今从实说，句句都是真。不敢欺皇上，万望是非分。”孝静帝听了以后，半信半疑，真假难辩，无所敌从。群臣们在殿角下，也是议论纷纷，有的说：“达摩在世，人所共知，哪有死人还阳魂？宋云犯的是欺君之罪，应当依法处置。”有的说：“达摩西归宋云见，监禁岂敢再欺天，既然真假是非难辩，可以开棺验证。”
孝静帝采纳了后一条建议，逐把达摩墓穴挖开，撬开棺盖一看，果然棺内没有尸体，只剩下一只鞋子了。宋云蒙受的不白之冤逐平反照雪。
现在少林寺碑廊内，还有一块《达摩只履西归圆碑》，上边刻有四句话：
达摩入天平年，熊耳山中塔庙全。
不是宋云葱岭见，谁知只履去西天。
达摩只履西归的神话故事，流传很广，历代游人留下不少赞颂诗词。明万历年间，金忠士在《题达摩面壁》的七言律诗中写道：
渡江一苇浪花飞，九载跏趺坐翠微。
面壁已知僧入定，巢肩亦是鸟忘机。
无生色相俱成幻，有漏人天总悟非。
何事宋云葱岭见，少林风雨怅西归。