关于丫山地名的来历流传着一个美丽的传说：唐代地藏王到南方巡视，路过此地时，看见这里水秀山美，便有心选择这里作为建寺宝地。却不曾想他从云层落下时下脚过猛，将山峰踩为两半，状若“丫”字，丫山便由此而名。原本峻峭的山峰被踩踏成两半，地藏王好不后悔，只好另行选择不太远的九华山作为建寺之地。但他仍对丫山念念不忘，聪明的弟子洞悉了他的心思，便选了丫山斜对面的南山建立了一座寺庙，与九华遥相对望，甚至清晨驻足静听，九华钟声也隐约入耳。传说九华山的“僧会司”（和尚的法庭）曾设于南山，可见地藏王对南山寺的看重。南山有三宝：斑竹、无骨鱼和碧鸡鸟，无骨鱼长约三寸，全身乌黑发亮，无一刺卡，鱼肉鲜嫩，是宴席中的珍品，过去曾是皇家贡品。