1938年，国家让粤汉铁路管理局的机构从别处搬来衡阳办公，还同时在这儿设立了湘桂铁路管理局。衡阳就这样同时拥有了两个铁路管理局，这种状况十分罕见。1949年8月份，国家把这两个局合并成了一个新的衡阳铁路管理局。该局先是在株洲成立，后来又把机关搬到了衡阳市，正式开始运作。这个新成立的管理局管理了湖北、湖南、广东、广西、贵州还有江西这6个省份的铁路，其影响力相当于南方地区的铁路总局，让衡阳达到了历史的巅峰。可惜这样的好日子没持续多久，衡阳铁路管理局只存在了三年多的时间。到了1953年1月份，它被分成了广州和柳州两个铁路管理局。衡阳就剩下了一个衡阳铁路分局，管辖范围也缩小到湖南南部以及京广铁路的部分路段。等到1986年11月衡阳铁路分局被撤销时，它只负责京广和湘桂铁路的一些线路。现在衡阳仅剩1条高铁。2005年武广高铁开始建设，到了2009年12月通车后，衡阳才进入高铁时代。武广高铁经过岳阳、长沙、株洲和郴州等地，给当地带来了变化。但武广高铁是目前唯一的一条高速铁路。怀邵衡铁路和衡柳铁路都是快速铁路。尽管规划了2条新高铁项目，却没有被列入国家计划里。现在推动的第一条高铁项目是衡柳高铁。它连接着永州、桂林和柳州等地，设计时速为350公里，永州至柳州段还会和呼南高铁共用一条线路。争取建设的第二条高铁是衡吉高铁。这条铁路连接衡阳和吉安两地，设计时速同样是350公里。它从衡阳东站出发后会经过衡东、攸县、茶陵还有井冈山市等地方。但是这两个项目都没有纳入国家中长期规划里面。