曹操也不高兴了，原因没别的，他下令全军休整三天，然后自己亲自到各处抚慰百姓，百姓对他感恩戴德之余，但都是恳请把刘备留下治理徐州。
程昱对曹操说道：“刘备擅揽人心，这不是好事，主公要当机立断除掉刘备。”
曹操点头道：“在徐州不好动手，等拿下下邳，寻机除掉刘备。”
为安抚徐州百姓，曹操只好说道：“刘备立有大功，还要回京觐拜天子，等天子的诏令，你们不用担心，好好回去耕田。”
三日后，曹操留心腹车胄暂领徐州刺史，又令刘备为先锋兵发下邳。
吕布一路败退，看看手下只有侯成、成廉还有两千残兵败将，心神恍惚差一点掉下马来，心中一紧，这是从来没有出现的情况，他才发现赤兔马已经疲惫不堪。与刘关张大战，赤兔马已经很吃力，两军混战，冲杀出来一阵奔波已经耗费掉它最后的体力，现在是完全透支，四条腿开始颤抖。赤兔宝马不是神马，也需要休息，也有寿命。
吕布心疼啊，赶紧跳下赤兔马重新换上一匹战马，把侯成叫来让他好生照料。
侯成又冒出来一句：“将军，我们现在这个样子，高顺还能听从将军号令吗？”
“休得胡言，高顺不是那种人！”吕布虽然口中这么说，心中却忐忑不安，郝萌出事以后，自己就把高顺派在下邳，还把陷阵营带走，高顺心中能痛快吗？自己回来了，陷阵营没了，高顺能不心怀芥蒂吗？自己现在无兵无粮，高顺能接纳自己吗？要是换作自己，哪能不动取而代之自己做老大的心思？曹操大军压境，会不会拿自己去作给曹操的见面礼？
除了下邳，自己又能去哪？吕布还是派人去下邳向高顺报信。
下邳位于徐州之南，广陵之西。听说吕布兵败，高顺与已经回来的张辽、宋宪出城，迎接吕布。
高顺仔细观看，在吕布的残军中没有发现陷阵营的影子，心如刀割。陷阵营，高顺耗尽无数的心血编练而成，虽然经过长安之乱、濮阳之战损失惨重，总有幸存者为班底重新组建，这一次却是全营尽没。
“请将军入城。”高顺忍住心中的悲伤，施礼道。
吕布尴尬地看看高顺和张辽，不知道该说些什么。高顺安慰道：“将军勿虑，城中还有一万兵马，仍可一战。”
张辽也说道：“胜败乃是兵家常事，下邳兵精粮足，城池坚固，足可坚守半年以上，我们仍有望击败曹操，夺回徐州。”
吕布强颜欢笑随两人进城，高顺毫无怨言的交出兵权，仍在吕布手下听命。
宋宪偷偷找到吕布，将彭城之事诉说一遍，然后说道：“此事甚有蹊跷，末将担心文远有意投靠曹操，还请将军留意。”
“知道了。”吕布心烦意乱的挥挥手。自己还能再相信谁？吕布无心再去探究张辽的事情，反而自己也萌生是否还要坚守下邳，是不是干脆投靠曹操的念头。他现在更担心老婆孩子的下落，在长安已经丢弃一次，这是第二次，自诩英雄盖世却不能保全妻儿，叫天下英雄耻笑。
没过两天，魏续带领一千多人护送严氏、杜氏和吕绮玲来到下邳，吕布总算有点笑模样。
魏续说道：“姐夫，公台说只要我军坚守，用不了多久，曹操就会不占而退。他会坚守徐州，决不投降。”吕布只是点头，就迫不及待与妻儿团聚去了。
城中的防务都落在高顺、张辽身上，他们俩不敢懈怠每日安排人加高、加固城墙，将城中粮草集中起来统一调配使用。
又过几天，陈宫来到下邳。吕布大吃一惊：“公台怎么来了？徐州是什么情况？莫非徐州丢了？徐州还有五千兵马，这才几天，曹操就能攻下徐州？曹氏兄弟何在？”
“唉！将军还提什么曹氏兄弟。”陈宫长叹一声，“对不住将军，可恨曹豹、曹宏兄弟背叛将军，引曹军入城，我这是逃出来的。”
“啊！”吕布呆呆的坐到地上。又是背叛者！怎么这么多的背叛者，郝萌、陈登、曹豹、曹宏，还有谁？宋宪向自己告张辽的黑状，总有一个是有问题的，吕布已经不想朝这方面再去想。
“将军，快去看看，赤兔马不行了！”侯成急冲冲地跑进来说道。
“快带我去，怎么会这样？”吕布顾不上再与陈宫交谈，跳起来抓着侯成的胳膊边走边问道。
“自从回到下邳，赤兔马就不大吃东西，给它好草好料也不见多吃几口，浑身颤抖，问兽医也瞧不出所以然。”侯成说道，“兽医说是过于劳顿，而且寿命将至……”
赤兔马静悄悄的倒在地上，瘦骨嶙峋，已然没有生机。吕布上前俯下身来，轻轻抚摸着已经冰冷的尸体，两行热泪忍不住留下来。从河内开始，赤兔马与自己几乎形影不离，人中吕布、马中赤兔名扬天下，赤兔马就这样离自己而去。手下人一个个貌合神离，背叛欺骗，唯有赤兔马忠心不二。
“定是你照料不周，来人呐！拖下去鞭挞五十！”吕布恶狠狠的狂吼道。
侯成吓得趴在地上，“将军，末将冤枉啊，末将尽力……实在是赤兔寿命已尽啊，将军……”
侯成被士卒拖下去，挨上五十皮鞭，魏续、宋宪、成廉等人来探望，看到他后背上皮开肉绽，无不毛骨悚然，胆颤心惊。
侯成心下痛恨吕布。吕布因赤兔之死，哀痛不已，亲自带人在城外挖坑将赤兔埋葬，立碑、摆放祭品，无人敢劝。
“报！曹操先锋刘备大军已经兵临下邳，离城五里下寨。”吕布还沉浸在哀思中，探马前来报告。
“将军，趁曹军远道而来，尚未安营，我们以逸待劳，可出城痛击。”陈宫献策道。
吕布摇摇头：“前番公台还说，我军只宜坚守，不宜出战，为何现在又要出战？我军新败，兵卒士气不稳，还是固守城池吧。”经历太多的背叛与打击，吕布已经有点心灰意冷，回去找严氏和杜氏寻求安慰去了。
