24日清晨，法军利用天降大雾的有利时机，在猛烈炮火掩护下兵分三路，再次发动猛攻。“药烟弥漫，至不辨旗帜，弹积阵前逾寸。”冯子材“以帕裹首，赤足草鞋，大呼一声”，与各军将领商定“有退者，无论何将遇何军，皆诛之”，誓与阵地共存亡。当法军接近长墙主阵地时，冯子材身先士卒，“持矛大呼越出”，率自己的两个儿子首先冲入敌阵。其他官兵见状，人人感奋，纷纷冲向法军，与之展开近战肉搏。又经过“七上七下”的血搏，夺回了失去的炮台，用重炮轰击逃敌。这时，清军的后援部队源源不断地赶到，逐渐遏制住法军的猖狂攻势，并转入反攻。法军因增援部队和弹药给养遭到清军截击，得不到及时补充，陷入困境，伤亡惨重。尼格里见大势已去，率领残部狼狈溃逃。冯子材率军乘胜追击，直至深夜，暂且收兵。
此次战役击毙法军精锐
1000余人，缴获枪支弹药不计其数。法国侵略者战后不得不承认，自他们入侵中国以来，“从未受此大创”。
25日，冯子材发起总攻，各路将士勇猛冲杀，收复所失营垒，法军全线崩溃，残兵败将狼狈逃窜。冯、王等抓紧战机，乘胜追击。
3月26日占文渊，29日克谅山，重伤尼格里。法军将38门大炮和13万银元弃入淇江，狼狈而逃。27日克复文渊。这天，王德榜军踏平敌营垒三座，直捣敌军驱驴老巢。29日，与苏元春军联合作战，攻占驱驴。是夜，会同各军攻占谅山。谷松敌军望风披靡，“我军追击至坚老”，“越地义民闻风响应，越官黄廷经纠北宁等处义民立忠义五大团，建冯军旗号，自愿挑浆饭、做向导，随军助剿，或分道进攻”。这就是威震中外的镇南关大捷，共歼敌1000多人，扭转了整个中法战局。至此，越南战场的形势全然改观。
法军在镇南关—谅山惨败的消息传到本国后，引起了法国统治集团的极大震动。他们把这一失败比做1815年拿破仑在滑铁卢的失败，担心法国在远东建立的殖民统治会因此而动摇。法国人民纷纷走上街头示威，高呼打倒茹费理的口号，“几使巴黎闹成革命”。法国的反对党也猛烈抨击茹费理“是国家的蟊贼”。3月31日夜，茹费理内阁倒台，法国在政治、军事诸方面陷入一片混乱之中。
冯子材联合各路清军将领，准备分兵南下。河内、太原、海阳甚至西贡地区的越南人民，也纷纷酝酿反法起义，积极准备策应清军乘胜追击，将法军全部赶出越南。但是清政府却突然于4月7日下达了“乘胜即收”、停战撤兵的命令。
清政府之所以在中国取得重大军事胜利的情况下，决意对法议和，有着客观与主观两方面的原因。从客观上看，英美等国担心，中国一旦取得对法战争的全面胜利，就会进一步增强中国人民反对外国侵略者的信心，清政府也可能不再如以前那样驯服了，从而危及自己在华的整个侵略权益。英国外交大臣就曾说：“中国的任何胜利，都会一般地对欧洲人产生严重后果。”
因此，它们极力施加压力，迫使清政府尽快对法妥协。俄国和日本则企图利用中法战争浑水摸鱼。俄国因强占中国伊犁的阴谋未能得逞，时刻都在伺机报复。1884年9月，即法国突袭马尾港的福建水师之后不久，俄国报纸声称：“中国伊犁背约，将来法攻中国，俄亦欲夺疆土。”此时的日本，因策动朝鲜的亲日派开化党发动“甲申政变”遭到失败，也不断鼓吹武力侵朝，企图将中国拖入战争的旋涡。
1885年初，正当中法军队在北圻激战之时，日本代表伊藤博文来华与李鸿章谈判有关“甲申政变”善后事宜，竟暗中与法国驻华公使巴德诺勾勾搭搭。对此，清政府疑虑重重，以为“日人意存叵测，现又起衅端，难保不因中法之事伺机寻衅”，极为担心俄、日两国与法国南北呼应，乘机在北方挑起侵华战争。此外，当时台湾仍受到法军的严密封锁，形势严峻。而越南当局在中法战争中首鼠两端，断绝了同清廷的宗藩关系，也使清廷失去了继续援越抗法的信心。故清政府权衡利弊后，采取了舍越南而保台湾的方针，即以停战撤兵换取法国同意停止围困台湾。但是，促成清政府对法妥协的最根本原因，还在于其本身的腐朽与无能。清政府不相信中国在军事上能够取得对法战争的最后胜利，担心法国会“因愤添兵”，不断扩大战争，兵连祸结。正因如此，清政府自1884年8月26日对法宣战后，实际上从未停止过谋求对法妥协，中法之间也一直进行着秘密谈判。
1885年1月，在中国海关总税务司赫德的插手干预下，清政府授权中国海关总税务司驻伦敦办事处的英国人金登干为中国代表，同法国外交部进行秘密谈判议和。3月25日，中法谈判已进入最后阶段，中国基本上接受了法国方面提出的侵略要求。这时，突然传来镇南关大捷的消息，法国政府极担心中国将在军事上乘胜反攻，在外交上据理力争，要求修改甚至废止已基本完成的草约。但是，腐朽昏聩的清朝统治者却将中国军队取得的军事胜利，当做加速对法妥协议和的资本和机会。李鸿章表示，“当藉谅山一胜之威与缔和约，则法人必不再妄求。”复致电总理衙门说：“谅山已复，若此时平心与和，和款可无大损，否则兵又连矣。”据此，清政府授权金登干于4月4日同法国外交部政治司司长毕尔签订了《巴黎停战协定》（又称《中法议和草约》）。清政府的停战撤兵命令，葬送了广大军民在中越战场上用鲜血换来的胜利，遭到了全国人民的愤怒谴责。许多人将清政府的撤兵令比做南宋秦桧命岳飞从朱仙镇退兵的金牌诏。有人在诗中写道：“十二金牌事，于今复见之。黄龙将痛饮，花目忽生期。”就连清政府派赴广东会筹防务的彭玉麟也赋诗说：“电飞宰相和戎惯，雷厉班师撤战回。不使黄龙成痛饮，古今一辙使人哀。”在前线，广大爱国的清军将士接到停战撤兵命令后，个个痛心疾首，“拔剑斫（zhuó）地，恨恨连声”。许多士兵环列于将帅帐外，“摩拳擦掌，同声请战”，愿先立军令状，“战如不胜，甘从军法”。冯子材、王德榜等清军将领致电两广总督张之洞，强烈要求代奏清廷，请“诛杀议和之人”，抗战到底。表达了抗敌将士的共同愿望。张之洞三次电奏，请暂缓撤兵，希望停战前攻下北宁。
清廷不顾全国人民的强烈反对，决意对法妥协，电令张之洞“冯、王若不乘胜即收，不唯全局败坏，且孤军深入，战事益无把握，著该督遵旨，亟电各营，如期停战撤兵，尚有违误，致生他变，唯该督是问”。广大爱国将士被迫从越南撤兵。
1885年6月9日，李鸿章与巴德诺代表中法两国在天津签订《中法会订越南条约》（又称《中法新约》或《李巴条约》），其主要内容是：中国承认法国对越南的保护权；在中越边境指定两处为法国陆路商埠，一在保胜以上，一在谅山以北；允许法国在此设立领事馆；法货进出中国边界，应减轻关税；日后中国修建铁路，须向法国人商办；法军从台湾和澎湖撤军。
由于清朝统治阶级的腐败无能，使法国侵略者在军事上遭到失败的情况下，却在谈判桌上获得了他们在战场上所无法获得的东西，出现了中国不败而败，虽胜仍败，法国不胜而胜，虽败反胜的战争结局。
左宗棠听到清廷在大胜后下令停战的消息，大为惊诧，立即于三月初四日（4月18日）上奏折，直陈“要盟宜慎，防兵难撤”。
他说：
用兵之道，宜防尔诈我虞，驭夷之方，贵在有备无患。法国自从逞兵以来，屡次以忽和忽战误我大局，去年订立《简明条约》，口血未干，便撕毁条约，进攻挑衅，“甚且逞其无赖，以为观音桥之战自我先开”，威胁恫吓、无所不至，现在又请议和，怎可轻信？“自去秋至今，沿海沿边各省惨淡经营，稍为周密。今忽隐忍出此，日后办理洋务，必有承其敝者。”
这个奏折虽然不能力挽狂澜，但深刻而尖锐地揭露了法国侵略者的侵略手法，抨击了李鸿章等的求降误国，指责了清政府在抗法问题上举棋不定、轻率从事。当时全国人民和多数中下级官员，抗法情绪高涨，纷纷反对妥协求和。主战派都把希望寄托在左宗棠身上。从三月二十七日（5月11日）起，李鸿章与巴德诺开始谈判的情况传到张之洞的耳里，他感到自己“人微言轻”，认为只有左宗棠“举足轻重”，能“影响大局”。四月十五日（5月28日），他打电报给左宗棠说：“听说中法详细约款十条，数日内即将画押，无非利法害华之事，我已一再奏阻，初则切责，后则不报：人微言轻，无术挽救。若再草草画押，后悔曷追？公有回天之力，幸速图之，但勿道洞言。”
事实上，张之洞的电报只能增加左宗棠的苦痛。慈禧太后是支持李鸿章的，他们一向是主张求和，即使他再坚持抗敌，也没有什么意义，毕竟，他并非最高决策之人，和战大局非笔墨所能挽回，其虽有心报国，实无力回天！
我要打仗
左宗棠一心待出“四十余年恶气”，但他却连续收到停战撤兵和接受《中法新约》的消息。这样的消息，犹如晴天霹雳，把他这个钢铁巨人彻底击垮了！失望与悲愤煎熬着这位爱国老臣，他再也支持不住了，“肝疾牵动，愤郁焦烦”，痰涌气喘，手脚麻痹，他知道自己病情日益严重。五月十八日（6月19日），左宗棠上奏请求开缺回籍，未允，给假一月。而他仍念念不忘奏请将孤悬海外的台湾改建行省，其在《台防紧要请移驻巡抚折》中，首先从东南沿海的战略形势，申论台湾必须迅速改建行省，他说：
今日之事势，以海防为要地，而闽省之筹防，以台湾为重地。台湾孤注大洋，为七省门户，关系实非浅鲜。
为坚定清廷降旨在台建省的信心，左宗棠进而陈述了台岛建省的三个可能性：
其一，台湾系岛屿，绵亘一千余里，旧制设官之地，只海滨三分之一，其疆域之大，足可建省。
其二，台湾每年物产关税，较之广西、贵州等省，有盈无细，其经济实力，足可建省。
其三，台湾抚番之政果能切实推行，自然之利，不为因循废弃，居然海外一大都会，其开发潜力之大，足可建省。
清廷命军机大臣、总理各国事务大臣、六部九卿会同各省督抚对此折议复，均表赞成。于是清廷于光绪十一年九月初五日（1885年10月21日）颁旨，命将福建巡抚改为台湾巡抚，台湾开置行省。台湾从此成为祖国的一个省份。可惜左宗棠没有等到这一天。
