“宝山”文字上的传名，最早见于章侁所作的《烹丁歌》：“某生不幸生北乡，此去宝山七十里”。《烹丁歌》是章侁于宋庆历年间(公元1041-1048年)任桂阳监判时所作，距今970多年，也就是说970年前就有宝山的称呼了。口头上称呼“宝山”的可能还要久远，只是现在无法考证。至于为什么叫宝山，从事宝山研究的人认为是自古名山多宝藏，取山中藏宝的意思。但近年来，随着宝山研究的深入，有学者提出宝山的得名可能与宝王庙有关，因为祭祀宝王庙是宝山特有的文化现象，而且宝王庙建在宝山上。《梁书》记载的后梁有关祭祀宝王庙的史实，清朝张九钺为我们留下的《祭大辏山文》等为宝王庙作了注脚。据《同治桂阳直隶州志》载，“州县专祀皆其地山川灵神也，各有主，桂阳最重银矿。矿有神曰‘三堂’。城北禹帝祠，曰镇龙堂，北堂也;西宝王祠，祀大凑山神，中堂也;南灵涧侯祠，南堂也。祠自唐始。”唐朝时就有宝王庙存在，据此推测，宝山在唐朝时就开始叫宝山了。据桂阳城一些健在的老人回忆，民国时期，宝王祠依然存有旧迹。自古山岭相通，而岭更注重两层含义：即山的干系，其次是经过人文开发利用的山，宝山有这两方面的因素，又被俗称为宝岭。

　　宝山的原始名称大凑山，而大凑山又源自大凑冈的记载。据清初顾祖禹《读史方舆纪要》的引自旧志阐述桂阳的一段话：“桂阳州产银。宋天禧三年，置有九坑，曰大凑冈，曰大板源、龙图、毛寿、九鼎、小白竹、水头、石笋、大富，今皆废”。然而未说明“大凑冈”的得名原因。大凑山得名原因目前都是根据《大明一统志》卷六十四，山川载有“大凑山”条目:“在桂阳州西，旧志云，出银矿，当其盛时，炉烟蓊然，上接云汉，烹丁纷错，商旅往来辐辏，因以为名。”在另一些史书又把“大凑”写作“大辏”。辏的含义是“车轮的辐聚集到中心”，引申为聚集。从训诂层面上讲，称大辏更为妥贴。

　　据桂阳州城当州四姓之一的何姓《桂阳西门何氏族谱》，称大凑山为“何家岭”。该族谱《培护后山碑记》记载：“城西一山周二十里，面面相似，出银矿。至宋时，开采盛衰不一。其最盛则炉烟蓊然，上接云汉，烹丁纷错，商旅往来辐辏，故名大凑山，又名宝山。我族于元至正间金化播迁，肇造兹土，得买宋职方郎黄照邻旧址，迄今分住四乡，十有余所。国朝雍正之初，乃建寝庙，其间枕凑岭面鹿峰，襟城带郭，雁塔对峙，为一郡西隅大观。因山产宝，日事锻炼，冶烟所过，草木不植。当春夏水涨，山土松崩，龙脉败坏，迩来倾颓已极，其上下左右住宅，深受其害者多，不独富贵难保，而人烟亦多萧条，有心者兹惧焉。道光辛巳暨甲午屡以培山为倡，因众论不合遂寝其事。”，《培护后山碑记》文末还附有地形图，宝山后标注了何家山，何氏一直视宝山为祖龙山。何氏族谱还记载了何植苕“打狗散场”的典故。

　　而桂阳州城当州四姓的其它三姓，即南门口李氏、城内曹氏、大北关刘氏都把宝山称为虎形山。为何叫宝山为虎形山呢?旧志从阴阳学的角度进行了分析：“桂阳城形势一僻壤耳。四山耸起，逼近城堞。升其山而内之虚实可指。五星相聚(　鹿峰为木星，芙蓉峰为火星，中阜为土星，果岭为水星，大凑山为金星)，锁断湖南第一关。隘塞巩固，遥接五岭，上控三湘。分九疑而大凑盘郁，汇岿舂而诸滩险折。丹峰插汉，紫嶂连云，信伟其哉!又云大凑山山势盘纡佛郁，上干青云，广袤三十里，俯群山若儿孙焉。”大凑山为右白虎，堪舆图上把宝山叫作虎形山。宝山山麓，桂阳人习惯于叫子龙。缘于三国时赵云(字子龙)攻略桂阳城时屯兵驻地而得名。解放前还有巨大的磨崖石刻“子龙屯兵处”，可惜后来被烧石灰烧化了，荡然无存。至今只有在《三国演义》第五十二回中“赵子龙计取桂阳”找到一些模糊的影子，而子龙这个地名却以非物质文化的形式在时序的变迁中传承了下来。

　　也许是对宝山的钟爱，乡土文人将宝山岭上的石林怀古、芙蓉雪霁、西寺蒙泉等三景列入“蓉城八景”。艺术家们以其独特的视角感受了“石笋翠微,秀戴灵土。峰上丹青鲜润,卷烟欲吐,如菡菡之蕊”的特质，因而宝山又有了芙蓉峰的雅号。大辏也好，蓉峰也罢，人们还是约定俗成地称“宝山”更加亲切。宝山是桂阳立城之本，历代都承认“实依大辏，爰置平阳”这一史实。