明朝开国皇帝朱元璋是农民出身，起义推翻元朝，深得民心，老百姓称之为真命天子。相传，朱元璋曾到过义乌。据《（嘉庆）义乌县志》记载：明太祖下婺，先令胡大海攻取兰溪，西断喉咽；己亲提师旅，间从义乌躏入其深，而城随附。因此，义乌民间流传与朱元璋有关的故事很多。义驾山村名的来历就是其中之一。
义驾山村处于宾王市场东边，东濒义乌江，西靠稠州北路。原来，义驾山村的东西两边都有小山，东边小山至今犹存，西边的小山名叫义驾山，已推平建宾王市场了。
相传朱元璋率兵与元兵交战，朱军失利，被元军打得东逃西散，朱元璋一人落荒而逃，元兵穷追不舍。朱元璋逃到义乌江边的一座小山上，只见前面一江相隔，江水滔滔，无法过江，急中生智，就爬上山上的一棵大树，躲在树叶丛中，一动不动。元兵追至山上，只见无数蜜蜂围绕朱元璋躲的大树上下左右飞舞，发出雷鸣般的嗡嗡声，朱元璋却不见踪影。有的元兵怀疑朱元璋躲在大树上，有的元兵说，这么多的蜜蜂怎么爬得上去，即使爬上去还被蜂螫死？大多元兵怕被蜂螫，不敢靠近大树，就走下小山到村民屋里去搜捕了。元兵走后，蜜蜂也飞散了。
朱元璋一直躲到晚上，听不到动静，看不到元兵，才从树上爬下来，却已是饥肠辘辘，精疲力竭，就坐在树下背靠大树休息，竟不知不觉睡着了。朱元璋一觉醒来已是后半夜了。就沿江向南而行，过了东江桥，走过田野，才与失散的随从会合。
朱元璋做了皇帝后，百姓们就把他曾经藏身的这座小山命名为遇驾山。村名也以山命名。驾是搣古代帝王车乘的总称。引申为对帝王的尊称，遇驾山意即皇帝到过的山。随着时间的推移，遇驾山逐步演变成了义驾山，并一直沿袭至今。