库图佐夫撤出莫斯科后，并没有走远，而是将他的部队放在莫斯科西南100英里的卡卢加城，以保护重镇图拉，那儿有俄国最重要的兵工厂，而且俄军离法军补给线上的要冲维亚季马不到90英里。库图佐夫在卡卢加整编军队，兵力扩充到了10万余人。他还专门派出一些小分队，前往斯摩棱斯克等地，袭扰敌军。维特根斯坦的部队自8月中旬以来，未受多少损失，现已增加到了5万人，威胁着法军的左翼，牵制了乌迪诺的第二军和圣西尔的第六军，使之无法驰援拿破仑。海军上将奇恰戈夫的部队原先在西南边境防御土耳其军队，现已北上勤王，9月20日与托马索夫的军团会合，约有7万兵力，该军在法军的右侧翼将施瓦岑贝格的奥地利军队以及雷尼耶的第七军击退，并转向明斯克和别列津纳河地区前进，意在切断拿破仑主力的退路。连普通俄国民众也同法国人过不去，他们坚壁清野，拒绝供给粮草。在俄罗斯、白俄罗斯和立陶宛的广袤地区，当地居民自发组成游击队，有的多达几千人，他们烧毁法军的辎重，袭击小部队法军，给法军的后方造成了极大的麻烦。俄国人正在布下一张天罗地网，不可一世的拿破仑和他的军队已陷入人民战争的汪洋大海之中。
拿破仑对俄军动向一无所知，但他却得知了来自西班牙的不幸消息：马尔蒙元帅在萨拉曼卡被威灵顿的英军击败，后者已乘胜进入马德里。此时的拿破仑在莫斯科的处境也是每况愈下，朝不保夕。由于俄军对法国人展开了行之有效的游击战，为了保护补给线的畅通，他不得不向南、北两个方向派出大量兵力，以至于在莫斯科及其周围地区，他所掌握的军队不足10万，缪拉的骑兵在莫斯科以南负责掩护，并监视俄军的动向。但是法国人的安全依然没有保障，来往于斯摩棱斯克和莫斯科的运输车队经常遭到神出鬼没的哥萨克骑兵的突袭。拿破仑只得告诫在斯摩棱斯克的朱诺将军，如果没有1500人的军队护送，任何军队不准启程。
占领了俄罗斯人的古都，却并未能就此结束战争，困守孤城则更将陷入被动，为此有人甚至异想天开地主张法军向圣彼得堡进军，利用俄国人的恐慌心理争取媾和，可是此时的法军已成强弩之末，根本无力进行另一次劳师远征。为了早日结束战争，拿破仑几次三番地对沙皇进行和平试探，但都没有反应，他向库图佐夫提议停战，也是毫无结果。尽管拿破仑主动提议媾和，甚至声称愿意缔结“最宽大的、最轻松的、最光荣的、最不侮辱人的和约”，但是俄国人自沙皇以下，都想以战争的胜利来消除所蒙受的耻辱，所以对拿破仑伸出的橄榄枝无动于衷。亚历山大坚持只要俄国领土上还有一个法国士兵，他就决不坐到谈判桌前。拿破仑求战不得，求和不能，他也不敢废除俄国黑暗的农奴制度，去争取更多当地人的支持，因为他害怕在俄国可能造成的无法控制的局面将断绝他与沙皇政权谈判的渠道。拿破仑早已不是革命时代的将军了。面对内外交困的局面，深陷俄罗斯泥沼之中的他终于意识到此地不可久留，后路一旦被切断，法军就有可能崩溃。
10月13日开始降霜，俄国恐怖的严冬转眼就要来到。事不宜迟，拿破仑决定放弃莫斯科，10月19日，撤离莫斯科的行动开始，法军此时尚有第一、第三、第四、第五、第八各军，加上近卫军和骑兵共约10万人、500多门火炮，他们以八路纵队在宽敞的卡卢加大道上行军，直到夜幕降临之时还未全部走出莫斯科城门。法军光是装载劫掠物资的运输车就有万辆之多，浩浩荡荡的队伍竟长达三十多公里，所以行军速度之慢如同老牛散步。走在最后的是莫蒂埃的近卫军，在撤出莫斯科之前拿破仑曾嘱咐要炸毁克里姆林宫，但他们并未认真执行此项命令，从而使这座古老而伟大的建筑得以免遭毁灭。
就在这一天，库图佐夫在塔鲁金诺突然袭击了缪拉的部队，缪拉措手不及，在损失了一些人员和火炮后被迫后撤，拿破仑的大军为便于补给，先是向未受战争破坏的莫斯科西南地区撤退，但在马洛雅罗斯拉维茨遭到了俄军的拦截，10月24日一场厮杀过后，法军虽然占领该地，但却损失了5000人，大部分出自欧仁亲王的意大利部队。库图佐夫随后向西撤去，但对法军的退路仍是极大的威胁。拿破仑在遭到迎头痛击之后转而折向西北，以便经由维亚季马和斯摩棱斯克走近路撤往波兰。
为了避免落入俄军之手，拿破仑从一名医生那里要来了一瓶毒性强烈的鸦片溶液，以防万一。既为了不给追击的俄军留下任何可用之物，也为了报复俄国人先前的坚壁清野行动，按照拿破仑的命令，撤退的法军将沿途一切能烧的东西都烧个精光，乡村、庄园，统统付之一炬，但很快就没有什么东西可烧了，因为接下来所经过的地方，此前已被战火严重地破坏了。当法军走过博罗季诺战场时，成千上万具俄国人和法国人的尸体还原封未动地留在那里，没有人去掩埋和触动，都腐烂了。这种凄惨景象对士兵产生了非常大的消极影响，尤其是现在正在退却之中，他们觉得战争已经打败了，整支军队弥漫着一股失败主义情绪，拿破仑赶紧下令尽快离开这个可怕的地方。
惨败别列津纳河
西撤的法军每天都要遭到哥萨克骑兵的袭扰，前锋、后卫、侧翼乃至主力纵队，一概不能幸免，凶猛的哥萨克人对掉队的法国人毫不留情。近十万法军将士饿得半死，再加上极度的疲劳和对死亡的恐惧，他们已经失去了往日的斗志。几支俄军都在向撤退中的拿破仑军队逼近。北侧翼圣西尔的第六军已被掩护圣彼得堡的维特斯坦逐出了德维纳河上的要塞博洛茨克，驻守斯摩棱斯克的维克多第九军奉命立即西进救援，但也被击退。在南翼，心怀异志的奥地利军队作战不力，10月中旬已向华沙方向撤退。入侵部队之间位置隔绝，只好各自为战，拿破仑已无法实行集中统一的有效指挥。
11月3日，法军和紧追不舍的俄军在维亚季马又恶战了一场，法军损失了5000人。到了5日，冬季的首场大雪从天而降，气温跌至零下12摄氏度。人与人之间的战斗，比起人与自然的斗争，实在是显得渺小可怜。似乎是存心与侵略者作对，1812年的冬天来得特别早，也特别寒冷，早到的严寒更增添了撤退者的痛苦，法军的纪律和士气急剧衰退。除了近卫军，全军秩序大乱，士兵都是三五成群，疯狂地四处劫掠，寻找食物果腹，寻找燃料暖身。很多人为了一块面包或是一只土豆而争斗，自相残杀。在当时的那种情况下，一个人的行为很快也很容易就变得与野兽没有什么两样。为了逃命，狼狈后退的法军沿途遗弃了大量的伤病员，听任他们无助地迎接死神的召唤，连满载着战利品的运输车辆也被丢在路旁无人过问，更有不计其数的士兵在途中开了小差。拿破仑根本就没有做好冬季作战的准备，离开莫斯科的时候法军没有携带足够的保暖过冬用品，俄国严酷的气候比哥萨克骑兵更可怕，积雪茫茫，大地原有的面貌顷刻之间变得难以辨认，行军队伍常常迷路，一旦找不到归途，等待他们的只有死亡。每天都有很多人被冻死，幸存者则继续在死亡线上挣扎。拿破仑车队的骑兵损失了大量坐骑，他们的马匹并非完全死于严寒，而是因为法国人没有像俄国人那样在马蹄上加装防滑钉，导致战马在跨越冰冻的江河湖沼时，常常摔断马腿。
