座落在桂阳城关步行街的胡腾阁，是桂阳县委县政府为纪念先贤胡腾而建的阁楼。胡腾阁建在原胡腾墓的基址上，俗称“阁老墓”，又称“悬棺廓”。1957年，湖南省文化厅拨款维修胡腾墓。1959年，胡腾墓被立为省级文物保护单位。后因建造县委办公楼，经省文物队勘测发掘后，动工兴建商业步行街，将墓地夷平，并掘得“东汉尚书胡公腾墓”汉玉石古石碑一块。县委、县政府决定，恢复东汉兵部尚书胡腾安放悬棺的“胡腾阁”，使胡腾的杰出事迹和桂阳的人文景观永远泽润故里，光照后代。现在，胡腾阁已成为桂阳步行街上一道亮丽的风景线。胡腾阁三副门联足以佐证这位令后人景仰的光辉事迹。

　　其中北门对联为：

　　亘古宏愿心悬地；

　　旷世希贤胆照天。

　　这副对联上联指胡腾最大的心愿是悬棺落地，下联赞扬胡腾是世间少有的贤达之士，忠心可照天，同时也说明胡腾心正胆大于天。相传胡腾过世时，嘱咐后人，将他的棺材用铁链悬起来，众人都不了解他的意思，只好照办打制了八根大铁链将棺材悬了起来。于是人们纷纷作出各种各样的猜想。有人说是胡腾将棺材悬起来是为了抬高自己，供后人祭拜方便是。也有人说可能是依照 “胡人”的风俗而采取的葬式，还有人说是他是有什么事放不下……等等猜想，莫衷一是。

　　就在人们还沉浸在各种猜想时，1889年猛然一声巨响，靠西北的一根铁链断了一个口子，棺材向一边倾斜。于是人纷纷作出这样的猜想：胡腾是为了激励后人才这样做的，如果后世出了一位名位超过他的人，棺材自然就会落地。西北角铁链断了后，有好事人作出判断：西北要出名人!但人们在高兴的同时也纳闷了，为什么不完全断而使棺材落地呢?这可能是胡腾还不怎样满意吧。

　　果然这年秋闱，桂阳莲塘大湾夏寿田被钦点榜眼，这是桂阳科举史上前所未有的大事。但夏寿田中了榜眼之后却没有做出比胡腾更出色的大事，这也许就是铁链没完全断裂的理由吧。

　　下联旷世希贤，指胡腾是这个世界是少有的贤达之士，胆量大。为了正义，他将生死置之度外，可以冒着杀头的罪名为自己的恩师收尸下葬，这是当时任何人难以做到的。同时希贤也特指桂阳邱氏的人文始祖邱希贤，邱希贤是时任桂阳太守，为兴教化、重人文，为胡腾墓修建了墓廓，将胡腾精神作了进一步传承，因而唐宋时邱氏在桂阳科甲基联蝉，累为缵缨大族。

　　东门对联为：

　　山水有传，恩波流帝版；

　　英毅无疆，德政壮龙图。

　　这幅对联上联讲的是胡腾“山水”有传，桂阳西水又称“胡腾水”，桂阳城郊新寨，又称“胡腾市”。胡腾的恩波流帝版，帝版即帝国的版图，这里泛指天下。英毅无疆的意思是英勇坚毅没有疆域，德政壮龙图，龙图指天子的雄图。下联指的是胡腾肃官护驾的事。一年，东汉桓帝刘志外出狩猎，大摆排场，左右近臣争相乘舆出幸，以向地方搜夺财帛，中饱私囊，沿途百姓不堪其苦。护驾从事胡腾看在眼里，向桓帝进谏：全国无地不在天子统辖之下，驾临之处即是京都。天子外出也应同在京师一样，不必兴师动众、劳民伤财。桓帝依议施行。胡腾获监督权利，颁发告示，严禁不法行为。地方官吏及广大民众，佩服胡腾正直无私，敢于止恶护民。

　　西门对联为：

　　名传西水，褒忠东汉；

　　义立南阳，口牌北地。

　　上联意思是胡腾名字象西水源远流长，为东汉忠心耿耿，受世人褒扬。下联的义立南阳是指其义立师门的故事。胡腾在年轻时是窦府的掾史。掾，古代属官的通称。“武府掾桂阳胡腾，少师事武”，说明胡腾早期是由窦武辟举的属官，就象唐宋以后“师爷”之类的官们，由职权较重的长官聘用。胡腾字子升，“初，桓帝巡狩南阳，以腾为护驾从事”。汉桓帝巡狩南阳，一定要有熟悉南方地域的人作保镖，这是情理中事。但这“南阳”却颇费猜度。《汉书·地理志》称“南阳郡，舂陵”，《后汉书·光武纪论》记述：“后望气者苏伯阿，为王莽使，至南阳，遥望见舂陵廓。东汉灵帝时，宦官曹节把持朝政，残害忠良。大将军窦武等大臣为人忠正，与阉宦拼死力争，后兵败自杀，窦氏家族均遭杀戮。士大夫中无人敢为窦武收尸。胡腾挺身而出，独自收殓窦武尸体择地埋葬，等待朝廷免官禁锢。后发现窦武一个两岁的孙儿窦辅幸存，胡腾冒死将窦辅抱匿他处，逃出京城，遁入家乡桂阳与宁远交界的深山中隐藏。自己改名谋生，以窦辅为己子，改为胡辅，费尽艰辛，向辅授以经书，养育成人，为他娶妻。后辅举桂阳孝廉。献帝建安年间，荆州刘表任辅为从事，才恢复辅窦姓。口碑北地是指胡腾的事迹在北地有口皆碑。北地，原指北地郡，其地域大致在今陕西、甘肃、宁夏一带，这里泛指当时的京城(长安)一带。

　　这三幅对联高度地概括了胡腾的一生，难怪从很多征联作品中脱颖而出。王闿运在《桂阳直隶州志》中评价说：“子升英毅，护驾肃官，誉显公府；养辅成人，义立师门”。