南澳岛渔民都敬奉土地神，但是，南澳人一般只拜土地公，而台湾人却只拜土地婆。这里头有一段缘由。
传说很古时候，台湾一对土地公婆，有急事想渡过海峡到南澳岛。正当走至海边，忽遇一位妇人在树下痛哭，便问其故。原来，那妇人是海峡对岸南澳岛人，这次随夫出航，遇风翻船，丈夫死在海里，她侥幸漂至台湾海岸，孤苦零丁，今想在这株大树上吊。土地公听后，想救妇人一命，要赠送点钱给她，却遭土地婆反对，说：“渔夫遇风，死在海底，何止千万，你勿多管闲事，俺应赶紧过海峡，到南澳岛去，免得误了自己的事。”
土地公听后，对土地婆这种态度很恼火，于是，他只管给钱救济渔妇，并一气之下，单独奔往南澳岛了。
那位遇救的渔妇，返至南澳后，把遇到土地公婆一事，介绍给乡亲们听，自此，南澳人民就一般只拜土地公，对没有良心的土地婆就不理睬了。而台湾渔民，因土地公去南澳后没有返台，就只好拜土地婆了。