再说吕布，在袁术那里没有找到出路，只好再去投奔袁绍，在他的心目中关东诸侯势力最大、最有可能成事的就是二袁。
袁术不接纳吕布，袁绍也有同样的想法。袁绍很忌讳吕布，怕把吕布留在身边对自己不利，因此不仅不想收纳吕布，甚至想杀死他。袁绍的手下生怕吕布来之后影响到自己的地位，也极力撺掇袁绍除掉吕布。谋士郭图想到一石二鸟、借刀杀人之计。
郭图对袁绍说：“主公刚刚取得冀州就与公孙瓒大战，现在军马疲惫，还要提防公孙瓒再次来袭。现在黑山军又经常骚扰冀州，何不让吕布去征讨黑山军，两人无论谁胜谁败，对我都有百利而无一害。等他们打的差不多的时候，我们大军也已经休整完毕，到时候我们想怎么样就怎么样。”
尽管郭图最后说的很含蓄，袁绍一听就明白，拍手叫好。于是袁绍派郭图去见吕布，并象征性的拨付一点有限的粮草，没有派给吕布更多的兵马。
郭图见到吕布，充分发挥他能言善辩的本领，对吕布说道：“温候初来冀州，对冀州很不了解，袁将军刚刚接领冀州牧并与公孙瓒交战，现在冀州百废待兴，他抽不出时间见你，所以派我来。袁将军和我都非常了解温候的本领，他时常夸奖你勇猛无敌，听说你来投奔非常高兴，想委以重任，然而冀州的将军们对你还不了解，纵使袁将军说服他们，却难保这些人心中不满，所以请温候体谅袁将军的苦衷。”
吕布眯着眼看着郭图，说道：“谁要是不服，可让他来找我，我们比试一下。”哼，我专打各种不服！
“这恐怕不妥，现在大家都是一家人，刀枪无眼，莫要伤了和气。温侯知道，我军刚刚战胜不可一世的公孙瓒，这些将军都是有功之人。”
“那你是什么意思？”吕布有点不高兴，这是想要用军功压制我吗？
“众将有功，所以不服，无非是因为温候没有为冀州立下功劳。我为温候献一策：黑山军为害冀州多年，冀州百姓对他们恨之入骨，温候若是能够剿灭黑山军，诸将必然对你心服口服，百姓也会对你感恩戴德，冀州上下都会认同和感激你。”
“小小黑山军，不在话下。”吕布丝毫没把黑山军放在眼里，但是他也有疑问：“只是为何黑山军能够为害冀州多年？为何袁本初不派军剿灭？”
“冀州原在韩馥治下，袁将军也是刚刚接管，这不又恰逢公孙瓒来犯才没有顾上，现在战事已了就准备用兵，是我请命让袁将军将此功劳留给温候，并给温候送来粮草。袁将军还想多拨付给你兵马，我觉得依靠兵马取胜显不出你的本事，因此劝阻住袁将军，以温候之能必不负袁将军所托。”郭图是得便宜卖乖。
“先生费心。对付黑山军，我本部兵马足亦！先生尽管回去复命，静候佳音。请将军尽快拨付粮草。”吕布被郭图一顿忽悠，连吹带捧，外加激将，欣然答应。他很清楚，不答应也得答应，哪怕只是为了让袁绍提供粮草。
黑山军的首领名叫张燕，常山真定人，本来姓褚。黄巾军起兵之时，张燕合聚同乡的少年为群盗，因为张燕剽捍捷速过人，故军中称他“飞燕”。后来张燕派人至京都乞降，被封为平难中郎将，张燕以太行山为根据地，在冀州割据一方号称黑山军，有战兵一万多精兵、几千骑兵，另外还有流民将近百万，冀州人则称他们为黑山贼。
黑山军人很多，根本就扎不下大营，见吕布兵马来到，乌泱泱的聚在一起准备迎敌，一看吕布那边只有千数人，都暗笑吕布自不量力，就是困也能把吕布困死。
吕布不愧是第一猛将，骑兵作战很有心得。兵少没关系，他把手下的大将们分成数队，每队五十骑，一队出击，其他各队休息，这一队回来就换下一队，轮流冲击张燕的军阵。他要求各队不要贪图战功，来回只求一个字“快”，打一下就走。
吕布手下的悍将们一点不含糊，并州狼骑的优势得到充分的展现，每队人马冲到黑山军阵前发出一击之后，立即回撤，每次都能砍黑山军的首级回来，有时一天去三四次。
黑山军被这个战术打的措不及防，每次死的人不多，可搅得人心惶惶。焦头烂额的张燕好几次准备好埋伏，想把这些小队包围后消灭，怎奈每一队骑兵来取太快，自己手下又不是训练有素、配合默契，只能看着对方来去自如。
张燕又发动手下在阵前挖壕沟，垒土墙，设路障。奈何每次都是吕布亲自带兵冲锋，来去有如闪电，赤兔马腾跃土墙、飞跨壕沟如履平地，这些小队在吕布和左右两员偏将的带领下如同锥子，挡不住、包不住。
连续作战十多天，黑山军被折磨的欲仙欲死，士气全无，没有人愿意再上前成为吕布军的靶子。张燕终于经不起折腾，毕竟自己手下是由流民和盗贼组成的队伍，担心这样下去，自己这里就会炸营，不敢再与吕布对阵，全军裹挟着流民进入太行山中。
此战，虽然没有剿灭黑山军，但是把他们逼进山中，吕布觉得自己立下战功，多次向袁绍要求增加军队，并请求袁绍出兵关中解救天子。
吕布表现出来的才能让袁绍更加忌惮，唯恐吕布强大起来，于是推三阻四就是不答应。吕布渐渐感到不安，袁绍完全是在利用自己，他又派人去找郭图，郭图早就借着视察的由头躲得远远地，找都找不到。
吕布越发的认定袁绍就是不安好心，决定离开袁绍另谋出路。思来想去，他亲自向袁绍请求回洛阳。这一次，袁绍终于同意他的要求，以天子名义任命吕布领司隶校尉。
想走？没那么容易！吕布前脚出门，郭图后脚就来到袁绍面前。袁绍问郭图：“你前次献计只完成一半，现在吕布要走，怎么办？
