桂阳地处 “襟带湖湘，控引交广”之地，又矿产丰富，是宋代一个极具特色的矿冶重地，北宋称为桂阳监，南宋绍兴二十二年改为桂阳军。其建郡于万山之巅，风景秀丽， 《石林亭记》云： “湖南山水甲天下，桂阳又居其高”。而桂阳城亦是一座山城，西有大凑山、芙蓉山，东有鹿头山，北有金山，故有 “四山旋拱，浑如重城”之说。

　　宋乾德二年 (964)桂阳监拓城西地为城，城为二重城，外城墙周长二里，内有子城，即郡治。子城内有监 (军)的主要衙署和官员住宅，还有一个规模很大的衙署园林，简称郡圃，是桂阳监 (军)官员休息、 雅集、 游玩的主要区域，并定时向民众开放，纵民游观。郡圃内建有漱玉亭、抚松亭，又引城外丰湖水入郡圃，掘池，建假山，并栽有各种奇花异草，楼阁台榭，假山小桥，绕池次第罗列，是一座典型的宋代江南园林。内又有碧泉，味尤甘洌，是衙署官员取生活用水的地方。郡圃是衙署官产，作为一个形象工程，历任桂阳监(军)守都重视对其进行修复扩建。北宋元丰年间 (1083-1086)有甘露降于郡治，遂建甘露堂于郡圃。南宋淳熙间知军陈傅良亦对其进行了大规模的修葺，并扩建了拂云亭，有其 《和王教授谦叔述郡圃》一诗为证。

　　外城主要为居民居住区， 监 (军)学原在城东，绍兴十二年迁于城南，乾道四年复迁于城东旧址。内有七贤祠，祀东汉太守杨璆、卫飒、张隆、茨充、许荆、周憬和临武令唐羌，南宋嘉定年间军学教授周端朝又建有濓溪祠。城西有西池，其上有瑞莲堂、宝峰阁。城南有城隍庙。

　　宋代桂阳监 (军)城虽不大，常居人口1000余户，6000-8000人左右，但商品经济比较活跃，仅商税就达五千四百六十四贯一百文 (熙宁三年数据)。城中有专门进行交易的 “市”，市中建有玉液楼 (今古楼街)，市西大凑山下有报恩寺，寺前有书锦阁。

　　桂阳是一座矿冶城市，是宋代重要的产银基地，城周围坑冶林立。西南城内有太宜坑，城北二里金山有石燕场坑，城西大凑山更是 “炉烟蓊然，上接云汉，烹丁纷错，商旅往来辐凑”。在凑山上又有宝山庙，相传古有盘氏兄弟三人， “以凿山治银白业。既没，有灵，祷之矿溢，遂祀焉”。内有贞明四年 (918)后梁诰书。城西芙蓉山奇石如林，上有职方郎中黄照邻读书的职方岩，岩下有亭，号石林亭，淳熙五年 (1178)改为石林书院。城东山峰有石如鹿头，故曰 “鹿峰”，是桂阳的人文之山，历代文人多有题咏。上有桂阳监使孙颀建的七级佛塔和宋代皇帝御书的黄庭经石刻，山下有泉曰 “德泉”。宋监使孙颀有诗赞云： “青石环声，灵泉傍漱”。

　　宋代园林盛行，桂阳城承其风尚，加之桂阳监 (军)矿冶丰富，经济富裕，民众大多乐于修建园林阁楼，桂阳人犹喜筑亭，阁楼台榭遍布，城内有漱玉亭、抚松亭、拂云亭；西池上有风月亭、 得妙亭；城南二里有芳洲亭，越丹亭，亭旁有一株直径五六丈的山茶远近闻名；城东鹿峰上有石林亭，又有秀揽亭等。

　　宋代佛教道教在桂阳非常盛行，城外寺观不胜枚举，城东有万寿寺，城南有能仁寺，城西有玄妙观，城北有五云观。芙蓉山下有永宁寺，寺内藏殿之侧有一名泉，取“大易山下出泉，其象为蒙”之意，故曰蒙泉。其水甘冽，烹茶无垢，煮酒醇香，北宋庆历间一高姓桂阳监使建亭其上。