冀南打开局面后，中央调徐向前到山东任八路军第一纵队司令员。山东敌后存在着敌、顽、我之间复杂的三角斗争关系，如何应付这种复杂的关系，也就成了战争指导者在用兵和斗争上要认真而慎重对待的一个重大策略问题。徐向前十分注意把党的统一战线方针和策略贯彻到军事斗争的实践中去，区别对待各种政治势力，巧妙地利用各种矛盾，争取对我有利条件。面对山东顽固派接连发动对八路军进攻的严重事件，在打击顽固派的同时，徐向前非常重视争取和团结中间力量。
于学忠是驻扎在沂蒙山区的国民党鲁苏战区总司令。他原是东北军张学良的部下，与蒋介石有矛盾，又不愿与蒋割断关系：不反对八路军抗日救国，但又怕八路军发展壮大；在八路军和国民党之间持中立态度。对于这种中间派，徐向前认为是可以争取的力量。于是他决定亲自出面，与于学忠谈判，争取说服他与共产党、八路军真诚地合作抗日。在具体谈判中，围绕政权问题，双方针锋相对，争论了两个多小时，徐向前提出共产党要在根据地内建立政权，于学忠开始持不赞成态度。经徐向前有理、有节地反复解释，于学忠不得不同意八路军可以在根据地内搞政权，但又说要“合乎法律”，其意思是要经过省政府核准与委任。尽管最后未取得一致意见，但因考虑到于学忠是我们争取的对象，所以，在谈判中徐向前始终注意掌握分寸，留有余地，求同存异，设法避免把关系搞僵。这次接触后，徐向前在向毛泽东等中央领导报告谈判情况时，是这样评价于学忠的：一般问题经解释后，尚不坏，可仍站在第三者的立场，但思想太旧，与沈鸿烈有矛盾。但由于徐向前对于学忠的团结和争取，使其在八路军和国民党顽固派之间保持了中立的立场。面对八路军到处建立抗日民主政权，于学忠采取了视而不见的态度，因而与其避免了更多的摩擦，对山东抗日根据地的建立和巩固起到了极为重要的作用。1940年，毛泽东给徐向前通报消息说：“重庆来电称，山东方面于学忠始终没一电来攻击和告发我们，顽方颇不满，最近似加强对于之压力，故有小摩擦云。于已成东北军孤臣孽子，处境艰困，对于应极力争取，于我有利。”
为了争取山西地方实力派阎锡山的抗战，徐向前根据党中央和毛泽东的指示，在洛川会议之后，跟随周恩来在岭口、太原、大同等地，参加了中国共产党与阎锡山的谈判等活动。在谈判前，徐向前协助周恩来作了大量的准备工作。徐向前与阎锡山是山西五台同乡，很清楚阎锡山的历史，他向周恩来提供了阎锡山的一些情况，认为阎锡山对共产党的手腕，不亚于蒋介石。周恩来很重视徐向前的意见，在谈判中，否定了阎锡山要让我八路军第一二九师在忻口正面组织防御、抗击日军的意见，坚持了党中央关于八路军只能在敌侧后协同游击的意见。
在谈判期间，徐向前还曾随周恩来到大同与编在阎锡山第二战区的傅作义作过长谈，帮助阎锡山疏通关系，争取与阎锡山的配合，搞好大同会战。经过做工作，傅作义表示拥护民族统一战线主张，坚决抗战，拥护阎锡山的统一调动。同时，在阎锡山的要求下，徐向前和周恩来、彭德怀一夜之间草拟了第二战区作战计划，得到了阎锡山的认同。这次同阎锡山的谈判，主要有三个内容：一是坚持国共合作，共同抗日；二是关于八路军进入山西后的作战地域和方针问题；三是关于八路军的薪饷和装备补充问题。在谈判中，周恩来、徐向前对阎锡山的“联共”态度及“学士抗战”的主张，给予了积极的评价。经过双方反复商谈和据理力争，阎锡山同意成立第二战区民族革命战争总动员会，进行动员民众的工作。并答应为八路军开赴晋察冀抗日前线提供支持，以及负责解决后勤供应问题。
徐向前回到久别的老家山西后，利用他和阎锡山的五台同乡关系，努力多做统战工作。他和周恩来一样，经常夜以继日地工作，会见各界人士，深入群众，利用一切机会宣传共产党的抗日民族统一战线的主张。太原国民师范是徐向前的母校，他曾陪同周恩来去作过有关团结起来，结成坚固的抗日民族统一战线问题的讲演，而且一讲就是几个小时，台下的群众始终不肯离去，于是，他们的演讲直到深夜，在群众中产生了深刻的影响。徐向前还曾经应老同学武尚仁、郑季翘的邀请，到太原教育公会省堂给一批平津流亡学生演讲。他向学生介绍了共产党的抗日救国纲领，回答了他们提出的问题。徐向前说：“要做好抗日工作，首先要有夺取抗战胜利的信心。不论在任何情况下，坚定不移、毫无动摇。没有这一条，就谈不上做好抗日工作。其次，要有过艰苦生活的准备。胜利一定属于我们，但胜利是靠流血流汗，艰苦奋斗得来。万事开头难，要知难而进，不能碰到困难就打退堂鼓。第三，最重要的，就是要宣传民众、组织民众，武装民众。山西省地广人多，山高林密，把群众发动起来，我方到处是营垒，是战场，是打击日寇的生力军，就能陷敌于灭顶之灾。离开了民众，只身奋斗，将一事无成”。徐向前的演讲，得到了与会的青年学生的热烈掌声，使他们深受启发和鼓舞。
山西省政府主席赵戴文，是徐向前在太原国民师范读书时的校长，此人当过南京国民政府的内政部长，是阎锡山的得力助手。他听说徐向前回到了太原，专门约见叙旧。他问徐向前：“万一太原失守怎么办？”徐向前说：“万一守不住，就要事先炸掉小钢厂、军工厂之类的工业设施，不能留给日本人。要组织民众，坚壁清野，把日寇困守在太原城内，逐步消耗和消灭他们”。赵戴文点头赞同。事后，戴还向阎锡山转述了这个意见。赵戴文当时任山西省总动员实施委员会副主任，针对这一实际，徐向前着重谈了组织群众、武装群众的问题。他说：“现在虽然从省到村都成立了动员委员会，立了方案、章程，但实际上是采取抓夫、摊派的形式，强迫群众挖战壕、抬伤员、运送军需品，这不叫组织群众，他不符合动员委员会的要求”。徐向前向赵戴文介绍了红军的经验：“组织群众，要有真正的思想动员，要把群众武装起来，让他们自己保卫自己”，赵戴文表示一定要创造这个局面，后来果真搞了一些“人民武装自卫队”。太原、临汾沦陷后，这些“自卫队”有相当一部分转隶到八路军中，成了坚持抗战的人民武装力量。
此后，徐向前又根据八路军总部的指示，离开太原去五台山区，派一个工作组去阎锡山的军队中专做统战工作（当时，五台山区也有从雁门关、平型关一线撤下来的阎军）。当时正值阎锡山准备打忻口战役。徐向前在小台村、分怀镇、东冶镇等地，陆续会见了杨爱源、李俊功、田世俊、金宪章等阎军军官，向他们宣传抗日民族战争的道理和带兵经验。在小台村，他与国民党第六集团军总司令杨爱源讨论了雁北局势，以及国民党军队的作战问题。他对杨爱源说：“你们最好不要用那种死守阵地的消极打法，还是打游击战，打到敌人翼侧和后方去。”又说：“敌军锐气不可怕，可怕的是自己部队没士气。部队还是要有政治工作，多讲一些‘大日本皇军’可以战胜的道理，把官兵的士气振奋起来。”这些都是针对阎军士气低落的状况所说的。杨爱源点头称是，并一再表示：“希望你们到山上去走一走，也给弟兄们讲一讲。”
徐向前除了会见阎军一些师团级军官以外，还十分注意做下级军官的工作。一有机会就举行下级军官谈话会、演讲会，分析战争形势，介绍游击战争的战略战术，讲发动民众抗战，树立抗战必胜的信心。阎锡山部队的官兵们都很愿意听徐向前演讲，有的当场表示要向八路军学习，多打几个像平型关那样威震敌胆的大胜仗。
统一战线策略，是中国共产党领导中国革命从小到大，从弱到强，从败到胜的法宝。正反两个方面的经验证明，什么时候坚持了这一策略，革命就发展，斗争就胜利：什么时候背离了这一策略，革命就停滞，斗争就挫折。徐向前在艰苦卓绝的斗争中，总是能够善于根据各种错综复杂的形势，从敌强我弱、敌优我劣的客观实际出发，积极利用一切可以利用的关系和条件，高屋建瓴，深谋远虑，纵横捭阖，绝处逢生，这充分体现了徐向前军事谋略和政治策略相互配合，灵活应用艺术的高超。
