章武元年，刘备称帝，建立蜀汉政权，立刘禅为太子，霍弋被刘备任命为太子舍人。 　　章武三年，刘备去世，太子刘禅即位，任用霍弋为谒者，伴随刘禅左右掌管传达等事。 　　建兴五年，丞相诸葛亮北往驻守汉中，准备北伐事宜，于是征召霍弋到丞相府，担任记室，让他与自己的养子诸葛乔一道周游各处军营，与士兵们同甘共苦。 　　建兴十二年，诸葛亮病逝，霍弋担任黄门侍郎。 　　延熙元年，刘禅立刘璿为太子，任命霍弋为中庶子，成为太子的近侍。刘璿喜爱骑马射箭，出入没有节制规矩，霍弋引经据典，尽心规谏刘璿，甚为教育得体正导得力。 　　后来，霍弋担任庲降屯副贰都督阎宇的参军，又转任护军，管理军营事务照旧。当时永昌郡地区少数民族依恃险阻地势不臣服，经常进行骚扰，朝廷于是以霍弋兼任永昌太守，率领一部分军队征讨他们，终于斩杀他们的头领，攻破他们的村寨，永昌郡界便得到安宁平静。霍弋因功升任监军翊军将军，兼任建宁太守，回军后统管南郡政事。 　　尽管此时蜀国已经不再设立庲降都督一职了，但建宁太守霍弋虽然一郡太守，但依然能总摄南中七郡之军政，实际上还是代行着庲降都督的职权，只不过没有都督的名号而已。 　　霍弋的驻节地点当然也是在建宁郡的郡治味县，建宁郡以前叫益州郡，诸葛亮平定南中之后，才改名叫做了建宁郡。 　　建安郡堪称是南中之腹，他北接朱提郡和越嶲郡，东靠牂柯郡，南通兴古郡，西连永昌郡和云南郡，真正意义上的中心地带。 　　所以羊祜想要拿下南中，必须要拿下建宁郡。 　　蜀国在建宁郡驻守的兵力并不多，只有一万余人，主要也集中在建宁郡一带，而周围的几个郡，汉夷杂居，基本上都是各地豪强自己的部曲私兵，并不受建宁太守霍弋的直接管辖，各郡的独立性要强一些。 　　这无疑也给羊祜进军创造了一个机会，可以对南中的各郡人马实施各个击破。 　　交州与益州的兴古郡为邻，而魏军想要拿下建宁郡，首先便要攻下兴古郡。