在派出旭烈兀西征的同时，蒙哥开始了对他平生最重要的敌人——南宋的征伐战略部署。
对南宋该怎么打？蒙哥在窝阔台时期就已经进行过深入的思考。当时，窝阔台的几个儿子及一众蒙古将领在伐宋的战场上打得有些不伦不类。荆湖及两淮战场上，由于阔出的战死及南宋名将孟珙的崛起与他的“藩篱三层”战略防御体系的打造，蒙古人从战略进攻转入战略防御，塔察儿、察罕及汉军将领史天泽、张柔等人，接连丢城失寨，甚至连原先蒙古的土地也丢失了不少。和宋军的战争成了拉锯战，除了抢一些财物，根本就没什么作为。四川战场，在阔端返国后，塔海、汪世显的进攻也不顺。即便是在川北有一些根据地，对成都、重庆等中心地带，也只能以劫掠为主，根本守不住。
蒙哥觉得，从大方向上，窝阔台的战略部署是没错的。但他有几点失误：一是轻易出兵。对南宋的战争像是一盘大棋，要做好充足的准备，有一个全盘的部署。二是用人不当。窝阔台的几个儿子，无论是阔出还是阔端，都是不够大气的统帅，其他宗王及汉军将领没有主心骨，所以战争打得较散。三是窝阔台后期的不思进取。窝阔台后期，他本该及时调整战略，重新布置征宋计划的，但是他耽于酒色，任由蒙古军队在那里死缠烂打，白白等待孟珙率宋军坐大。四是战略不当。最初在荆湖、两淮、四川用兵，这是一种硬碰硬的做法，不易取得成效；后来，宋廷采用孟珙的策略，在蜀、荆、襄、鄂和两淮筑起坚固的防御体系，要取得成功就更难了。
其实，蒙古人有一条非常好的作战经验，窝阔台没有好好总结。这是从围猎中获得的，也是蒙古人屡试不爽的好办法，就是“四面合围，攻其腹背”的“斡腹之谋”。这既是一种战略，也是一种战术。小到一场具体的战役，比如佯装战败，把敌人引进埋伏圈，绕到敌人背后给予致命一击；大到对付一个国家，比如对金国，避开防守坚固的潼关、黄河，假借宋道，绕到金国背面，袭击唐、邓。
对付南宋也应该采用这个办法。具体该怎么运用呢？就是据守荆湖、两淮一带，绕道大理、安南等国北上，杀进南宋境内，从而调动宋军固守防线上的敌人。一旦调动，驻扎在这些地方的蒙古守军便可乘机向前，寻找战机，分进合击，消灭宋军有生力量，最终一举灭亡整个南宋。
蒙哥吸取了窝阔台时期伐宋的经验教训，把他的战略进行了重要的调整。他让荆湖、两淮、四川前线上的蒙古守军改变以前单纯的掳掠和袭击的策略，积极分兵屯田储粮、筑城列障，实施占一地就巩固一方的方针，同时加紧操练，准备军需，拖住宋军的主力部队。
“斡腹之谋”策略的第一步是拿下大理，把大理作为跳板。
这个任务，他交给了忽必烈。
大理国并不难打。蒙哥已对这个国家的历史和现状做过深入的了解。这其实只是个边陲小国，国家并不富裕，也不强大。从其太祖段思平建国以来，历代皇帝都是以儒治国，以佛治心，而且不好军事。对外一直奉宋皇为宗主，对内则被权臣制约。皇帝传到第十二代上德帝段廉义时，出现权臣杨贞义之乱，上德帝被杀。而另一权臣高智濂又起兵杀死杨贞义，扶立上德帝之侄段寿辉为帝，是为上明帝。但这高家并非真心护主，没多久，高智濂之子高升泰便废掉上明帝的儿子保定帝段正明自立为王，并改国号为“大中”。只不过高升泰只当了一年大中皇帝便一病不起，临死前恢复大理国，立保定帝之弟段正淳为帝，高家则做了“中国公”，仍然掌握着实权。到蒙哥决定攻打大理时，大理又传了七代，皇帝名叫段兴智，依然是高家的傀儡，高家的中国公是高祥、高和，君臣都没什么才能。这样的国家，要打并不是难事。
不过，蒙哥仍然相当重视，因为这是他整个伐宋大战略中相当关键的一步，不容闪失。于是，他共派出了三路大军。除忽必烈的中路军外，他还派兀良合台为西路军，宗王抄合、也只烈等为东路军。整个大军有10万之众。
兀良合台原本是被蒙哥派去随旭烈兀西征的，后来蒙哥又改变了主意，因为这毕竟是忽必烈第一次带兵，能不能顺利完成任务，他并没有把握，所以临时决定派身经百战的兀良合台转回来辅佐忽必烈。
为配合整个出征大理的行动，蒙哥还命令四川前线上的汪德臣、帖哥火鲁赤、带答儿等加强行动，拖住宋军。汪德臣是汪世显的儿子，汪世显已于1243年去世，汪德臣从阔端的府上回来，继承他父亲的职位负责四川战事。只有拖住宋军，忽必烈才能顺利进军到大理。
1252年9月，忽必烈率领南征中路军从金莲川正式出发。出发时，他带上了自己的文武幕僚姚枢、刘秉忠、廉希宪、阿里海牙等人。
对于这次南征，廉希宪曾向忽必烈提出过不同意见，他说：“可汗，您觉得这一次我们使用的‘斡腹之谋’能成功吗？”
忽必烈饶有兴趣地说：“噢，你有什么意见，说来本汗听听！”
廉希宪说：“我有两个担忧。一是大理、安南一带地势险峻陡峭，步行尚且艰难，骑马可以说寸步难行。我蒙古擅长的是骑射，就算进入了南家思境内，没有马，我们还怎么打仗呢？二是这些地方充满瘴气，我们北方人根本不习惯在这样的地方生存，如果我们染上了瘴气，战斗力将严重削减，那时候还能打胜仗吗？所以，我以为，‘斡腹之谋’确是咱蒙古人的制胜法宝，但不加分析照搬，恐怕不行。”
忽必烈想了想说：“你说得固然有道理，但是我们没有实践过，怎么知道能不能成功呢？我们还是按照合罕的安排，先攻下大理再说吧。”
忽必烈的中路军渡过黄河，穿越盐州，出萧关，于1253年夏天进驻六盘山。这里是当年成吉思汗征讨唐兀惕时的避暑之地。忽必烈决定在这里暂住养马，同时等待兀良合台的西路军及抄合、也只烈的东路军的到来。
有一天，忽必烈带着姚枢等人到草地上散步。当时风光绮丽，黄花遍地，阳光明媚。忽必烈心情大好，又想让姚枢给他讲一些汉人的典籍，便问道：“老师，汉人圣贤也有喜欢散步观风景的吗？”
“有啊，”姚枢说，“有一天，子路、曾皙、冉有、公西华等人陪孔子坐。孔子说，如果有人任用你们，你们该怎么做呢？子路说，一个小国，夹在大国之间受尽欺负，如果任命他为大将，只要三年时间，他就会把这个小国变成一个军事强国。”
忽必烈专心听着，暗暗点了点头。
姚枢接着说：“孔子问冉有。冉有说，如果给他一个方圆六七十里的地方，三年时间他可以让那里的人们丰衣足食。孔子问公西华，公西华说，他可以做一个小司仪，让那里的人都懂得礼节。”
忽必烈叹息说：“不愧为孔子的学生啊，都是有理想能作为的人！”
姚枢说：“孔子最后问曾皙。那时候曾皙正在弹琴，直到把琴弹完，他才说：‘莫春者，春服既成，冠者五六人，童子六七人，浴乎沂，风乎舞雩，咏而归。’孔子听了高兴地叹道：‘吾与点也。’”
姚枢讲完了，忽必烈若有所思地说：“老师，曾皙的意思，怕不只是在山水边散步看风景吧？”
姚枢说：“可汗明慧！曾皙确实不只是散步游玩这个意思。他是在讲治国之道呢。如果一个皇帝，或者是一个封疆大吏施行仁政，爱护百姓，把国家治理得人人安居乐业，可汗请想，那皇帝或封疆大吏还有什么事做呢？只能散步看风景了！”
忽必烈笑了笑，又说：“老师，你给本汗讲这个典故，恐怕也不仅仅是讲典故吧？”
姚枢说：“可汗，老夫的一点儿小心思，怎么瞒得过您呢？您统率蒙古威武之师，讨伐大理，老夫有个不情之请。”
忽必烈说：“老师尽管说就是了。”
姚枢说：“可汗，昔日南家思开国皇帝赵匡胤攻打南唐，统一全国，他派大将曹彬统兵前往。曹彬领命后，却装病迟迟不出马。曹彬的手下将领都来看他，他对大家说：‘我的病在心，不在身，不是吃药就能够治好的。只要你们诚心诚意发誓，攻克江南后，绝不妄杀一人，也不妄抢一件财物，让我不担心，病自然就好了！’众将听后都纷纷立下重誓。后来，曹彬消灭南唐后，果然不杀一人，很好地保护了那里的百姓及建筑，所以老夫请求，可汗拿下大理后，也不要妄杀人，更不要屠城！”
刘秉忠接着说：“可汗，我赞同姚先生的意见。我们攻下大理，是要以它为跳板，进攻南家思的。如果他们只是口服心不服，势必在后方给我们惹起不必要的麻烦。当年诸葛亮北伐魏国的时候，对南蛮首领孟获七擒七纵，就是为了让他心服。我们也要想办法让大理心服啊！”
忽必烈久久不语，他一个人在前面慢慢走着。阿里海牙看到忽必烈的表情很严肃，有些担心，直拉姚枢的衣角。姚枢笑着对他摆摆手，让他沉住气。果然，没过多久，忽必烈就转过身来，激动地拉着姚枢和刘秉忠的手说：“两位老师的话，本汗记住了！本汗向你们保证，攻下大理后，本汗也能像曹彬那样！”
忽必烈在六盘山停住脚步，除了养马及等待另两路大军外，还有件重要的事情要做。因为再走不多远，就要走出蒙古的土地了。蒙古和大理并不接壤，要到大理，必须要穿越南宋或者吐蕃诸部落的土地。南宋在四川的守将是余玠，那是一员骁将，他在四川构筑了坚固的防御，虽然汪德臣、帖哥火鲁赤已经出兵嘉定，把宋军主力拖到那里，但是要穿过那里仍然很难。唯一的办法是从吐蕃进军。
吐蕃是一片庞大的区域，有很多个部落。1244年，萨迦班智达应阔端的邀请赴凉州，代表大部分吐蕃部落与阔端谈判，并最终表示归顺之意。也就是说，大多数吐蕃部落已经归顺了蒙古，但仍然有一部分部落没有归顺。后来，阔端把吐蕃的管理权交给蒙哥，蒙哥让忽必烈来管理。忽必烈虽然答应了，但其实并没有和吐蕃这些归顺的部落首领接触过。尤其是1251年，萨迦班智达去世后，他的继承人八思巴，忽必烈还没有见过。
忽必烈到六盘山后，便派人去把八思巴找来，让他为路过的蒙古军提供军粮、草料，派遣差役。
八思巴是萨迦班智达的侄儿，从小聪慧好学，8岁时能向人们讲经。佛法精深，知识渊博，是吐蕃人眼中标准的活佛。当他继承他伯父教主之位的时候，才17岁。也是年轻气盛，听到忽必烈的要求后，他很不高兴，便不答应，推说吐蕃诸部落没钱，百姓负担不起。
忽必烈见八思巴推三阻四，心里很不痛快，但是他也没办法。一来，虽然大部分吐蕃部落归顺了蒙古，但是他们和蒙古更多的是合作关系，与其他属国属部有所不同。二来，蒙古人是很尊重宗教的，而且他们对每一种宗教都尊重，在战争中，也很少破坏寺庙。八思巴是藏传佛教教主，忽必烈是很敬重的。再者，忽必烈是要从吐蕃穿过攻打大理，他不想节外生枝。所以，八思巴拂袖而去，他也只能任他走，一个人在一边生闷气。
忽必烈的王妃察必看到忽必烈气冲冲地走回大帐来，便对忽必烈说：“可汗，你不用担心，让我去劝一劝八思巴，兴许能够说动他。”
忽必烈惊异地看着自己的王妃，说：“呃，察必，你真能说动他，那可就太好了！你快去吧！”
察必去了八思巴的大帐，没过多久就回来了，笑吟吟地对忽必烈说：“可汗，这事成了，八思巴答应给各部落长写信了！”
忽必烈惊异地说：“真的？你是怎么说动他的？”
察必说：“这件事还要请可汗不要责怪我擅自作主，我才敢说。”
忽必烈笑笑说：“不怪，不怪，你作了什么主啊？”
察必说：“我作主让你尊他为上师，皈依到他门下。”
忽必烈不高兴了：“你让我皈依到他门下？”
察必耐心地说：“可汗，我是这样想的，八思巴虽然是萨迦派教主，但他毕竟才17岁，在吐蕃各佛教教派的教主中，他的资历是最浅的。虽然以前班智达是各教派的首领，但各教派未必肯服从这么个小孩子。如果可汗能尊他为上师，皈依他门下，他的地位将得到极大的提高，他在各部落教派中将享有崇高的威信。另外，可汗奉八思巴为上师，他就会死心塌地地归顺你。这个地区教派林立，情况很复杂，如果能有八思巴这样一个人在这里主事，可汗会很省心啊！”
忽必烈想了想说：“察必，这件事情你做得对。咱蒙古人，向来信奉的是萨满教，是长生天。但是还有很多人信聂思脱里教，信伊斯兰教。本汗决定了，就按你说的办！”
于是，忽必烈带着察必和儿子真金奉八思巴为上师，向八思巴奉献财宝作为灌顶的供养。八思巴则为他们举行了密宗喜金刚灌顶仪式，同时迅速派人给吐蕃各地的高僧写信，叫他们积极为忽必烈出粮出力。
八思巴从此成为忽必烈身边一个非常重要的人。忽必烈称帝后，八思巴被尊为国师。从此之后，元朝皇帝都设国师一职，由藏传佛教教主担任，藏传佛教渐渐地取代萨满教成为国教，对有元一代，乃至元朝灭亡后重回草原的各蒙古族产生了深远的影响。
在六盘山逗留没多久，兀良合台的西路军和抄合、也只烈的东路军也都到了。于是，忽必烈挥师出发，1253年9月来到临洮。在这里，他派出使者，向大理国下发了第一道战书。
大理王段兴智接到战书后，立刻便想投降，但是高祥、高和兄弟不同意。高祥说：“陛下，仗都没有打，怎么就投降呢？这不是显得很没骨气吗？再说了，蒙古军虽然厉害，但他们长途奔袭而来，人劳马疲，战斗力大减，果真打起来，我们未必就输！”
