來雁塔位于衡陽市城北石鼓區五一街道來雁塔區委會石磯上，距市中心約3km，與回雁峰對峙。來雁塔為樓閣式磚石塔。占地面積268平方米，建筑面積1056.7平方米，是衡陽地標性建筑之一。塔座東北朝西南，東西長約17.4米。南北寬約17.4米。平面呈正八邊形，塔中空，通高約34.2平方米，共七層。