1.智劫贵妇 投诚朝廷
张作霖之所以由一个“保险队”小头目脱颖而出，主要是因为张作霖志向远大，并不安于现状，有政治抱负，且步步为营，悉心经营自己，并非一般的“山大王”所能比。
在张作霖实力不断壮大的同时，辽西一带各股“保险队”的势力日益膨胀，已形成群雄割据，各霸一方，生杀予夺大权全操诸己，且能与官府抗衡的局面。已处于末势的清王朝腐败日甚，不注重军队的建设，招兵买马的军费是一省再省，士兵也是越来越少，而揭竿而起的“保险队”数量却越来越多；另外，“保险队”的枪支弹药是越抢越多，越聚越多，而官兵的装备却越来越少。两相比较，双方势力对比是显而易见。而且，俗语说得好，“明枪易躲，暗箭难防”。“保险队”则不受限制，灵活性强，且在暗处，聚散无常，神出鬼没，官府实在是“有剿灭之心，实在无剿灭之力”。当时新民厅所能调动的巡捕队兵只有160人，能调动的快枪则只有30杆。因此，清军剿匪并没有多大成效，反而处处受沙俄侵略军掣肘。官府便以“剿抚兼施”的手段对付这些各类地方武装和土匪，能剿则剿，能抚则抚。
张作霖虽文化水平不高，但有思想、有头脑，且经常与绅商名士接触，因而对时局、自身处境乃至将来的发展多有深入思考。特别是刘春烺多次劝告张作霖以“保险队”为阶梯，受抚招安，可以为官的话，让张作霖十分动心，他也觉得“保险队”发展到今天，可以说已经达到顶峰，但总归是小打小闹，不会有更广阔的发展空间，投奔官府才是正途。如果有机会接受朝廷的招抚，成为官家的人，一定会打开一条光明的升迁之路。
多年的打拼，使张作霖已深刻体会到“保险队”这种民间团练生存的残酷，没有官府的庇护，还要为自己的“保险区”利益而拼杀。他觉得有朝一日能成为朝廷的人，才有飞黄腾达的可能。下定决心，张作霖先找到了最顽固、也最暴躁的把兄弟汤玉麟，看他对此事的想法：“如今这世道，东北这地方地大无主，我等不应安居一方，而应将小股流匪合并一起，形成强大势力，而后称霸东北。”其实，汤玉麟只是一莽夫，自从跟随张作霖后，便一切以张为马首是瞻，此刻又听得如此辉煌之前景，马上表态：愿随张作霖共进退。此后，张作霖又与张景惠等几个得力伙伴计议说：我们长此在绿林中吃黑饭，前途是黯淡的。不如借我们现有的这点实力做本钱，向官家讨价，弃暗投明。谁不想为自己的将来打算啊，听闻张作霖此言，均表示同意：只要当家的有好办法，我们无不唯命是从。从此，张作霖便开始不断琢磨着如何具体实现“弃暗投明”、“改邪归正”的门路。
张作霖有投诚官府之心，却苦于没有合适的时机。就在这时，一个人的出现，让谋略过人的张作霖看到了机会。机会总是给有准备的人的，机会也总是稍纵即逝的，就看你抓不抓得住。而张作霖这个人，对每一次擦肩的机会都不是观望，而是毫不犹豫、果断出手，牢牢抓住。
1900年，沙俄趁义和团运动之机，出兵我国东北，盛京将军增祺携家眷、官员逃至义县一带，并将其三姨太送往北京避难。不久，局势缓和，增祺返回奉天，一切安顿妥当，便派人去北京接三姨太回奉天。当时，京奉线还没有完全通车，三姨太回奉的必经之路就是张作霖当时的势力范围——黑山一带。此事很快为张作霖探悉，机敏的他立即从中看出了一个可以让他“弃暗投明”的绝佳机会。一个大胆的计划在他脑中逐渐形成。他马上召集手下：“增祺的三姨太从此经过，我们要连人带物都给劫下来，但不许任何人伤害她们，到时听我的命令行事。违者就要以手枪相见。”经过一番周密的计划，他率领部众做好准备，埋伏在黑山一带。这一日，当增祺的三姨太和随护人员乘坐马车行至新立屯附近一个荒僻之地时，只听得一声哨响，一支足有数百人的“马匪”从天而降，迅速将其包围。只见这些人个个荷枪实弹，满脸的匪气，三姨太哪见过这阵势，当时就昏了过去。
这些“劫匪”就是张作霖精心安排的。他命令手下缴了随从人员的枪械，连人带物押解到新立屯。同时，张作霖还严令手下：对所劫物品都要妥善保管，不准任何人私分动用，对随行人员也要和气相待，不得动手、不得辱骂。对增祺三姨太更是关怀备至，专门挑选一大富商的内宅，供三姨太休息，仍由所带贴身侍女陪伴，而且用最好的鸦片烟款待他们。
增祺三姨太等人本以为落到了匪徒手里，必是凶多吉少，不免心怀忐忑。然而，经过几天的接触，她发现这些人不仅既没把他们撕票，又没抢夺他们的财物，反而对其百般优待，礼遇有加。这些匪徒呢，也并非凶神恶煞，粗俗不堪，而是个个温和，易于接近，不禁感到非常的诧异。这样过了几日，张作霖看时机成熟，便亲自招待随护的几个重要人员躺在床上吸鸦片烟，还表现出忧国忧民、唉声叹气的样子说：“唉，现在我们的国家是如此软弱，毫无国际地位，受尽了外人的欺凌，国内人民生活竟达到这般境地，真使我有说不出来的伤痛！我们这些人之所以这样，实在是被逼上了梁山哪！”
随护人员看到张作霖谈吐如此文雅和满腹牢骚的情景，断定其中必有文章。随员中一位长者就问：“恕我不懂规矩，请问老弟是哪个绺子的？尊姓大名？”张作霖淡然回答说：“我叫张作霖。”随员们一听是张作霖，倒吸一口冷气，不禁毛发悚然。这个名字可是如雷贯耳啊。原以为辽西一带的著名匪首张作霖是个身魁力大、凶神恶煞般的人物，可面前这个人却是面目清秀，文质彬彬，和蔼可亲，颇为诧异。那位随员马上镇静下来，作了个揖说：“久闻大名！久闻大名！”随后，张作霖就把自己的身世和为什么会走上绿林之路的前因后果，饱含感情又真挚地说了出来。同时，演技一流的张作霖欲擒故纵，又表露出一股愤懑之情，尤其是故意对盛京将军增祺表示出特别愤恨，说增祺到任不久，不辨实情，就要对我们严拿查办，实在是冤枉。接着，张作霖又变了一张严肃的面孔说道：不过，我们干这个勾当，个人生命也早已置之度外！那个随员一听这话，知道不可得罪张作霖，就好言相劝道：“依我之愚见，长此同官家作对，毕竟是没有好处的。为了个人前途，我看你们弃暗投明，才是正路。”随后问张：“假如有这样的机会，尊意如何啊？”张作霖费力表演，等的就是这一句啊，他马上回答道：“我们本就是万不得已才干上这一行的，假如有机会为国家效命，才是我们真正的心愿啊。不过，我们听说增将军这个人很固执，不知他能否招抚我们。此外，我们在朝中无人无势，实在是投诚无门啊！”这名随员一听，大喜道：“你既有此等报效之心，增将军必会招抚你等。今天啊是歪打正着，你们劫的正是增将军的三姨太！”张作霖故作大惊之状，请求随员一定代为转达不知之罪及接受招抚之决心。
当随侍人员领张作霖见增祺三姨太时，张入室一个大礼参拜，然后肃立垂首恭敬地说：“张作霖冒犯夫人，愿听吩咐。”增祺三姨太看张作霖对自己如此谦逊，就对他说：“我明白告诉你吧，我就是增将军的夫人。我这次由京城回奉天，想不到遇到你们，你们又对我如此客气，我一定向将军禀报。适才，也听他们说了关于你过去的一切和你的愿望，我看你是一个很有为的青年，假如你改邪归正，弃暗投明，前途一定不可限量。只要你能保证我们一行平安到达奉天，我也一定能保证向将军建议收编你们，为地方效劳，如此，既有利于地方，你们也有出路，你看如何？”张作霖立即表示：“假使我张作霖能带众弟兄投到增将军麾下，为国家效命，有生之日，决不能忘掉夫人的大恩。”随即辞去，命令匪众将所劫的东西连同枪械子弹如数交还。增祺三姨太等人大为感动，拿出五锭纹银赏赐张作霖部众，张作霖婉言谢绝，并说：“只要我们有出头露面的一天，有生之日，决不忘记夫人的大恩。”
张作霖不仅是个天才的演员也是个天才的导演，他自导自演的这出戏相当成功。三姨太是增祺最宠爱的太太，她回到奉天后，立即将此经过向丈夫诉说一遍，增祺大为动容，便有招抚张作霖之意，但是招安必须经过一定手续，由下级向上案报，才能批准招抚。关于招安，署新民厅同知廖彭曾提出将愿意投诚的“私团”收抚改编，化“私团”为“公团”的招抚之策。1902年，在匪患最严重的辽河下游一带，还曾设立“南路辽河西岸招抚局”，正式开办招抚事宜。他给盛京将军增祺和奉天交涉总局的呈文中说，化“私团”为“公团”的招抚政策，可以一举两得，如果能顺利实施，以前不能以法令管束的，现在也可以纳入管束范围。增祺采纳了这个建议。于是，清地方政府便有了“化私团为公团”、“化盗为良”的决定。廖彭遂着手收编“私团”。
把增祺三姨太等人护送回奉天后，张作霖又去拜访地方士绅名流，商议受抚事宜。八角台商会会长张紫云说：“我早就和恩波（杜泮林，字恩波）替你谋划着呢，你安心到新民府去受抚，把人马刀枪都交给衙门，当了官差，日后少不了你的荣华富贵。”张作霖听罢，喜得眉开眼笑，立刻起身给张、杜等人深深地鞠了一个大躬。那几个士绅也赶忙还礼说：“用不着这样，有朝一日你富贵了，我们还得沾你的光呢。”很快，地方士绅陶允恭、张紫云等串联十八屯绅商各界具保向新民府推荐，说“张作霖能充分胜任地方治安工作”等等。张作霖主动求抚，得到了廖彭的许可（增韫当时尚未到任），上报增祺。招抚张作霖原是增祺本意，当然被顺利批准。
增韫拿到批文后，邀请张作霖到知府一见。张作霖一见增韫，就跪地磕头，并学着张程九和杜泮林的口气，称增韫为老师。增韫问张作霖为什么愿意接受改编，张作霖不假思索地答道：“想升官发财。”他的直率给增韫留下了极佳的印象，便让张作霖回去先把部下整顿后，听候命令，随时等待点编。
1902年10月15日，增祺命令新民府：“该头目投诚之心真切，命令你们认真查点，挑选其中精壮者250名留用，军饷由当地筹措。张作霖既然能够真心悔过投诚，当地绅商又能筹捐充军饷，实在是深明大义，值得表扬，批准请求照此办理。”11月9日，新民府知府增韫亲自到张作霖的驻地，按照名单点验人数，编成了正式军队，特别强调了军纪法规，说明“立功者赏，犯法者死”等纪律，并发给张作霖刻有“新民府巡警前营马队帮带”的木质钤记。由此，张作霖就由非正规的“保险队”头目变成了朝廷正式任命的“新民府巡警前营”帮带，相当于现在的“副营长”，张作霖月薪银25两。这支队伍的军饷如同上奏的那样，由当地筹措，先呈交到新民府，再由政府统一向下发放。而所谓的“新民府巡警”，是归新民府节制的地方武装，尚不属于国家正式军队。虽然还不是正规军，但是，张作霖由“保险队”成为朝廷的地方武装，这是他政治生涯的关键性转变。
张作霖受抚后，他的新民府地方巡警前营马队共编为五哨：中哨哨官张景惠，哨长黄锡九；前哨哨官张作相，哨长薄振声；左哨哨官汤玉麟，哨长赵御州；右哨哨官王利有，哨长叶景全；后哨哨官孙福山，哨长赵明德。
张作霖自从受抚之后，表现非常积极，屡次出兵剿匪，很快就得到了新民府知府增韫的青睐。虹螺岘股匪苑四、苑五兄弟率400多人，烧杀抢掠。锦州官宪请新民府派兵清剿，增韫派张作霖率部前往围剿，不久即将该匪消灭。彰武股匪侯老疙瘩侵扰边界，百姓苦不堪言，告到新民府，增韫也命张作霖前去围剿。侯老疙瘩也想投靠官府，混个一官半职，张作霖却隐隐感到如侯老疙瘩投诚将会影响他的地位。侯老疙瘩投诚那天，增韫升堂，张作霖却对增韫说侯老疙瘩野性难驯，主动要求率众站堂以防意外，增韫点头同意。侯老疙瘩领着手下走进大堂，他们见大堂上戒备森严，以为官府要强行缴械，就在知府升堂的时候拔出了枪。张作霖早就吩咐部下对侯老疙瘩格杀勿论，因此一阵乱枪就将侯老疙瘩当场击毙，其手下也被撂倒不少。不知底细的增韫一场虚惊安然无恙，却觉得张作霖勇敢可嘉，还对张作霖大大地夸奖了一番。增韫还向上司夸奖说，张作霖打仗奋勇，纪律严明，是受招抚的队伍头目中表现最好的。而且说张作霖勤勉为公，洁身自好，向善之心，出于至诚。
1903年7月，新民知府又将张作霖所部与新民街巡捕队合并为巡防马步游击队，共计485人，其中骑兵两哨，步兵三哨。张作霖升任管带，相当于营长，张景惠任帮带（副营长），汤玉麟、张作相等分任哨长（连长）。1904年春，因当地筹饷困难，增韫请示将张部列入经制兵，从1904年7月开始食官饷。张作霖从一“保险队”头目一跃而成了清军正式的营官，其后，张作霖就是以他手中的这支武装为凭借，平步青云，扶摇直上的。
2.初入官场 钻营有术
张作霖进驻新民府后，充分施展他过人的政治权术，千方百计讨取上司增韫的欢心和信任，借以扩张势力。增韫见张作霖人颇灵敏，办事果断，对自己又忠顺，因而倚之如左右手。为时不久，张作霖便成为能左右知府的一位权势人物。新民府巡警局长王奉廷，是当地最有实权的人物，张作霖首先怂恿增韫驱逐了他。这样一来，新民府的军事大权全部落入张作霖手中。
1904年2月，日俄两国为争夺我国东北，爆发了一场大规模的战争。我国东北成为两个帝国主义厮杀的战场。清政府竟无耻地宣布辽河以东为战区，辽河以西为“中立区”。所谓“中立区”的辽西，也经常遭到日军和俄军的践踏和骚扰。日俄双方都利用各种手段，诱使辽西的“胡匪”、“马贼”、“保险队”和受抚的地方武装为自己刺探消息，征收粮草、民夫、充当别动队，在敌后骚扰破坏。如金寿山、巴布札布、杜立三、冯德麟等先后附逆。或编成“钦命正义军”或组织“东亚义勇军”为日俄效力。
身为新民府游击马队营官的张作霖，不敢不执行清政府宣布的“保持中立”之命令，但又感到如一味抵制日俄的要求，万一触怒了侵略者会自身难保，莫不如采取阳奉阴违的手段，既不像昏庸腐败的地方官吏恪守清政府的“中立”政策；也不像冯德麟、金寿山那样，明目张胆地投向日俄侵略者的某一方。张作霖对战争双方则持审慎旁观的态度。其抱定的宗旨是首先利用战争为自己弄些好马好枪，然后再静观形势之发展变化，见机行事。
战争初期，张作霖看俄军强大，曾接受过俄军的金钱和枪械，暗地供应俄军一些情报，有时也换上俄军军装，偷袭小股日军，缴获一些枪支弹药等。随着在战争中日军开始占上风，张作霖又开始倒向日本人一边。
张作霖的“走钢丝”的确让他经历了不少波折，日本人还曾一度准备对张作霖下手。1904年12月，日本陆军满洲司令部翻译黑泽兼次郎在新民从事间谍活动，住在张作霖的家里。有一次，黑泽偶然听到张作霖与几个得力的部下讨论时局，张作霖说：“我们要把握好风向，小日本虽然取得暂时胜利，但俄国人在东北待了这么多年，且俄国人凶猛好战，最后我看还是俄国人要赢。”黑泽也感觉张作霖对自己和手下的“特别任务班”人员不抱好感，反应冷淡。黑泽觉得自己给张作霖带来了那么多枪支、弹药和金钱，却得到张作霖的冷遇，十分不满，就想找机会杀掉张作霖。黑泽兼次郎回到日本陆军满洲军司令部，向参谋长福岛安正透露了这个想法，福岛却说：“现在张作霖正为我军效劳，要留着他加以利用，不可对他轻举妄动。”福岛又派黑泽再去拜访张作霖，并捎去银币一千元，以使张作霖安心为日军效力。为防止张作霖三心二意，黑泽兼次郎留在新民，专门监视张作霖的一举一动。
日本在奉天战争后，派井户川辰三少佐为新民屯军政署长，当地宪兵认为张作霖有充当俄军间谍嫌疑，将其逮捕。张作霖矢口否认，但是证据确凿，当地宪兵请求井户川辰三将张作霖处死。井户少佐却认为“张作霖部拥有精锐的骑兵，可供利用”。一再向儿玉参谋次长请求宽恕，并请参谋部田中义一中佐从中斡旋，张作霖始得保全。他立即表示“愿为日本军效力”、“立誓援助日本军”，并在日本人的命令下在誓约上签了字，捺了手印。张作霖在日俄战争中左右摇摆，不是为国家民族利益，不论他为哪一方效力，都只是想从中捞点好处。当时的张作霖只是个小军官，并未引起日本人的重视，不能算是日本的“侵华工具”，不过却使张作霖与日本结下了不解之缘。
1905年日俄战争结束时，张作霖经历这一系列的磨炼，面对复杂环境的应付能力增加了，而且部队也扩编为三个营。
张作霖虽出身寒微，但他交友甚广善于学习，尤其是经常与绅商的交往让他学到了不少当时做官的诀窍。喜拉拢，善应酬，送礼则必能投其所好。1904年8月，官府决定给张作霖部队官饷以后，依据当时招抚承诺，官府应将兵勇带的武器由官家作价收购。张作霖却向官府提出将自己花钱购买的85支枪无偿归公使用，这是张作霖向上司表现的一种方式。同年12月，日本驻满洲军司令官向清政府北洋大臣通报说，十二月初九日在三岔河击败俄国军队中，有华兵混入为俄军向导，查系新民张作霖所部。对于这种诬陷，张作霖亲自给盛京将军写呈子，陈述自己那天去彰武剿匪的情节，分析对方诬陷的理由和原因，并请新民知府增韫和交涉局查实，并电达外务部、北洋大臣，澄清了自身清白。1906年，日俄战后，朝廷派张锡銮为奉天巡防处总办、负责整理军备。张作霖一听说要来新长官，还是自己的顶头上司，就施展人脉到处打听这位新上司。不久，张作霖便打听到，张锡銮绰号叫“快马张”，最喜爱好马，而且骑术枪法十分精湛。知道了这些情况后，张作霖就经常到马队的马厩里面转悠，琢磨着如何晋见这位“快马张”。
功夫不负有心人，机会终于来了。张作霖随知府增韫参拜了张锡銮，发现“快马张”并不是骑马来的而是坐车来的。这下，张作霖心里就有了主意，他骑上了一匹鞍韂光鲜的马，信心十足地奔向张锡銮的临时公馆。张作霖骑上的这匹马，通身黝黑黝黑的，没有半根杂毛，大眼睛，虎头颈，看上去非常威风。骑到张锡銮下榻的临时公馆，张作霖跳下马来，直接牵进了大门。走到院中，那匹马仰天长啸嘶鸣不已，张锡銮被这异于常马的叫声深深地吸引，忙跑出来看个究竟。张作霖一看张锡銮出来，忙把马拴好，快步上前，单腿打千，嘴里说道：“卑职张作霖，特来参见总办大人。”
张锡銮嘴上答应着，但眼睛却始终不愿意离开那匹黑马，不由自主地赞叹：“好马，好马啊，可真是好马！”宾主进屋后，张作霖就把自己准备好的官场话流利地说了出来，“久仰总办大名，十分仰慕，今日随增知府晋见之后，仍想亲聆教诲，故此卑职冒昧前来，还请总办大人赎罪”云云。张作霖和张锡銮没说几句，话题自然就转移到马上来了。张作霖曾经做过兽医，对医马、相马非常在行，俩人越谈越投机，大有相见恨晚之感。
张作霖觉得时机成熟，就问：“大人既然这么爱马，何不骑马去上任？”张锡銮略有伤感地感叹，现在身边没有好马，一般的马又不愿骑。张作霖表示，这匹马虽然算不上宝马，可要论脚程在新民府还挑不出第二匹来。如不嫌弃，愿意献给大人代步。张锡銮虽然内心很是喜欢这马，但却坚决推辞。张作霖非常诚恳地摆出一副非要把马留下不可的架势，张锡銮就只好收下了。张作霖见目的达到，才起身告辞。后来，张作霖一有机会就去与“快马张”聊天、喝酒套近乎。
张锡銮离开新民去奉天，张作霖为了使张锡銮进奉天时声势盛大，从他手下人中选择长相好、个子高的骑兵200多人排成马队，自己亲自带队，前呼后拥进了省城。张作霖因此给了张锡銮极好的印象。不久，张作霖又拜张锡銮为义父，关系好得不得了。
淮军统领段日升（段芝贵之父）驻沟帮子时，张作霖也执弟子礼，拜段日升为老师。由于张作霖善于讨好上级，因而他给当权者留下了极好的印象。
到1906年底，张作霖所部先后击溃了苑四、苑五兄弟，金凌宝帮，大小海子帮，高生帮，金生帮。击毙匪首张万里、张海东、唐占山、陈殿文、李二皇上等。而势力较大的如冯麟阁、金寿山等帮在日俄战后也接受了招安。张作霖又奉新任盛京将军赵尔巽和新任新民知府沈金鉴之命，将张作霖所部由三营扩编为五营，张任五营统带（团长）。经过整顿，全省地方军队，编成八路巡防营，张作霖所部五营为右路，冯德麟部被编为左路。张作霖早先曾投靠冯，如今却已经与冯德麟并驾齐驱了。
3.施展巧计 计擒杜匪
1907年，清政府在东北废除将军制，建立行省，任命徐世昌为东三省总督，奉天、吉林、黑龙江各置巡抚。徐世昌鉴于胡匪猖獗，危及社会治安，除调入和组建新军外，并着手整顿旧军，组织力量剿灭胡匪。
张作霖被招抚后，对剿匪非常卖力气。不过，当时最使新任东三省总督徐世昌头疼的则是杜立三和田玉本。这两股匪徒，各领一班人马，盘踞辽西，绑掠横行。尤其在庚子之乱后，这两人各率千余人马，分帮劫掠，官府派兵进剿，却被他们打了埋伏。日俄战争爆发后，这两伙人在战线以内，任意妄为，无恶不作，新民、镇安、辽阳、海城、辽中、广宁、彰武各处，搞得民怨沸腾，控诉案件堆积如山，而且屡抚屡叛，出没无常。
杜立三，字阁卿，排行老三，胡匪世家，其父亲和叔叔都是有名的巨匪，其二叔杜宝善还以劫过皇杠闻名绿林。杜立三善骑射，枪法极好，且不喝酒、不赌博、不吸毒，在绿林中可谓与众不同。杜立三在其老巢修筑坚固的炮台，秘密集结人马，在附近到处设卡，负隅顽抗。后来，还借巡警的名义，勒索居民，实在罪大恶极。1904年，杜立三和冯麟阁勾结在辽中县西佛牛录镇，将清军任朝武营的快枪抢去300余支，子弹万余粒，任朝武突围出去，西佛牛录镇却被杜立三占领，随着杜立三的势力越来越大，他自称“马上皇帝”，百姓称他为“杜大人”。前将军赵尔巽曾经命令巡防营务处捉拿杜立山，但没有奏效。清地方政府几次派兵进剿，都被打得大败而归。后来，有情报称，杜立山所部匪党与积匪田玉本在小北河地方发生冲突，正打得难解难分，这是消灭悍匪的好机会。于是，官府派遣张作霖带队兵与正在丁忧的知县殷鸿寿等人火速前往该地，乘其不备，出其不意，将田玉本击毙，并阵毙伙匪杜洛疙瘩，郑澱才、宁黑子等及余匪数名。张作霖等人为民除了一个地方祸害。
然而遗憾的是，除恶未尽，杜立三仍未消灭，故徐世昌密令殷鸿寿到新民，会同张作霖设法剿灭杜立三。张作霖接到命令，经过与殷鸿寿研究认为：杜立三枪法好，伙党甚众，防备极严，如果贸然派兵前往剿匪，感觉并没有太大的把握取胜，因此，他们决定用计擒之。张作霖认为，擒贼先擒王，只要把杜立三本人抓住，手下的人就会是一盘散沙，再去剿灭就容易得多。于是，张作霖先以绿林结义弟兄的名义，派人到辽中县青麻坎向杜立三贺喜，假装称省里派委员前来招抚，给他的官衔比自己的还高，请他速来新民面谒招抚大员，以便筹备赴省谢委，对此，谨慎的杜立三并未理睬。张作霖见一计未成又生一计，决定恳请黑山秀才杜泮林出面诱捕杜立三。
杜泮林不仅是地方名流，更是杜立三拜认的同族叔，平时很受杜立三尊重。而张作霖与杜泮林的关系也并不一般，张在中安堡“保险”时，杜泮林经常给张出谋划策，关系密切，张作霖还曾拜杜泮林为义父。这时，张作霖为利用杜泮林，特地到黑山将他接到新民府，重情相托，并引见给殷鸿寿，证明的确是上宪招安，绝非欺骗。杜泮林不知是计，便给杜立三写了一封感情诚挚的亲笔信，信中称“游侠非终身之事，梁山岂久居之区，一经招安，不仅出人头地，亦光宗耀祖”。劝杜立三速来新民接受招抚，以便一同晋省谢委。杜立三见到是族叔杜泮林的手书，便不再怀疑，立即于1907年6月6日，率亲随10余人前往。杜立三在动身之前，做了非常严密的布置，以防发生意外。张作霖为迎接杜立三的到来，同样也布下了天罗地网。杜立三久闯江湖，经验丰富，警惕性极强，晋见殷委员时，进屋专坐在背墙面对大家的位置，两手不时插入兜内，抚摸枪柄，以防不测。后起身告辞，殷高声喊：“送客！”杜走在前头，刚跨出里屋门槛，转身请殷委员“留步”时，话音未落，就被汤玉麟等几个彪形大汉抱住，按倒在地，摘下他的手枪，将杜立三捆得像个粽子似的。杜立三的卫队也被张作霖的人缴了枪，捆绑起来。当日晚，即在新民西门外枪毙。众亲随亦多被处死。张作霖是力主枪毙杜立三的，因为他担心杜立三如果真的受抚，以杜的实力，势必也要影响他在新民府的地位。
树倒猢狲散。杜立三一死，他的老巢里的众匪就没有了主心骨，乱成一团。张作霖却早已命令张景惠事先绕道八角台，等到杜立三被处决之后，立刻进剿杜立三巢穴。张景惠率队驰往辽中县青麻坎，很快将杜家老巢攻下，挖出元宝银元无数，后将衣物枪弹和金银财宝，装载几十辆大车。除了部分财物上缴省防军营务处外，此次缴获的枪械子弹和马匹留在巡防营自用，免于上缴。杜立三被杀，人心称快，从此，辽西大股的土匪就此平定。清地方政府多年无法解决的问题，张作霖竟不费吹灰之力解决了。
徐世昌得知剿灭杜立三的消息，喜出望外，立即奏报朝廷为张作霖请奖。他在奏折中说，“杜立三、田玉本等以积年巨匪，屡与官军接仗，恶贯满盈，久为地方之害。今兵不血刃，渠魁授首，不但辽西安枕，即他处匪徒亦闻风而知惧。”徐世昌在奏折中将张作霖夸奖一番，称他“赴机迅速，实属异常出力，奋勇可嘉”等等。徐世昌给张作霖两千两赏银。1907年8月17日，朝廷以缴获奉天匪首杜立三之功，授予张作霖蓝翎都司衔，以游击尽先补用，赏银五千两，不久又提升张作霖为奉天巡防营前路统领。
4.追剿蒙匪 效忠朝廷
蒙匪陶克陶胡、白音达赉在郑家屯、洮南一带活动猖獗，打起反清大旗，对百姓烧杀抢掠。日俄战争后，沙俄并不甘心失败，在哈尔滨设立蒙务机关，设立据点，以金钱美女枪械相诱惑，网罗蒙古王公、喇嘛、匪首等人作为他们的侵略工具。并且派出特务潜入蒙古各地，挑拨民族关系，制造事端。蒙匪陶克陶胡原系郭尔罗斯前旗的一个没落贵族，早年曾投靠沙俄。1907年，朝廷在内蒙古东部招垦，毁坏草地，激起蒙族人民的大规模的抗垦斗争。陶克陶胡在沙俄蒙务机关的帮助下，窃取了首领地位，他利用民族仇恨，烧杀抢掠，无所不为，名为反抗朝廷，实为沙俄假借蒙匪之手对我国进行的侵略活动。朝廷曾调集张勋、倪嗣冲等进行围剿，但收效甚微。
1908年，徐世昌见张作霖剿匪出力，就调张作霖到郑家屯、洮南一带追剿为沙俄收买的蒙古叛匪。当调张作霖的前路巡防营移驻洮南府的消息传开后，新民府文武百官、士绅名流纷纷前来送行。张作霖领兵开拔那天，大家又热烈欢送。不料，新民府商会会长姜雨田拦住张作霖，扯住马缰绳向张作霖索要在新民府驻防期间为筹措粮草、向商家挪借的款项，非要张作霖偿清欠款不可。这一闹，搞得张作霖很难为情，经其他官员出面调解，并承诺偿还这笔债务，才准张作霖开拔。后来，官至东三省巡阅使的张作霖，筹办兴业银行，聘请善于理财的人才，想起来当年在新民府拦马索债的姜雨田了，遂派人把姜雨田请来。姜一路心惊肉跳，害怕张作霖报复。想不到张作霖见到姜雨田却十分高兴，哈哈大笑：“多年未见，没忘记我这个债主吧！”姜雨田害怕地说：“都怪小的办事死板，当年多有冒犯大帅。”张作霖却说：“办事死板也有大用处，像你这样一个心眼的人还真是难找啊！”从此，姜雨田成为张作霖手下理财的得力助手，张作霖对姜雨田也一直十分信任。
当张作霖初到郑家屯和洮南，开始和蒙匪陶克陶胡、白音、牙什等接仗时，非常不顺利。蒙古是一片广袤无垠的大草原，没有村落和树木等可作为据点或用为标志。沙漠之中无正式道路，到了夏天就瘴雾漫空，到了冬天则坚冰载道。不经常在该地行走的人，简直是寸步难行。洮南一带的干燥草原，草有一二尺高，夏日多蚊虫，大的有蜜蜂那么大，在夏天还需要用棉花把头包上才能行走。且在草原还有狼群，一群有十几条之多，军队里的通信人员往往会被狼群吃掉，因此，通信人员总是几个人一起。即便是全副武装，也难免会遇到狼群，被狼群围住，因此，只有住在这一带的蒙古人对道路熟悉，蒙匪精于骑射，而且每人都是两匹马，骑一匹、备一匹，行动像闪电般迅速，张作霖的马队追赶不及。
蒙匪所用战法，多用奇袭，乘对方不备，突然攻击，给对方一些杀伤，然后，骑马逃逸。当对方整顿好队伍向前追击时，早已不见踪影。张军追击，队伍往往跑到很远很远的地方，和本队脱离，用号集合听不到，鸣枪联络，又很容易被敌发觉，招致严重后果。在这一带打仗，诸如宿营、做饭和休息都十分困难。因此，张作霖清剿蒙匪是一件异常艰苦又非常有难度的事情。如果不善带兵，在蒙古大漠可能军队会跑的一干二净，剩一个光杆司令。张作霖能在这些地方一干几年，充分显示了他过人的军事才能。
有一次，张作霖和蒙匪战斗，蒙匪逃跑，张作霖带着全部人马跟踪追击，走了一两天，只见黄沙无垠，杂草遍野，而各队则不知何往。张作霖只带了十几个人在后面寻找，用号联系不上，又不敢鸣枪，怕蒙匪袭击。干粮吃光了，连饿带困，很多人都扛不住了。总理（相当于参谋长）陶历卿是个文人，张作霖心细，认为陶历卿这样的人与武人不同，这样下去恐怕撑不住，便骑马向陶走过来。靠近陶的时候，悄悄递给他一个烧饼。陶接过来见是烧饼，快忙说：“统领也一天多没吃东西了，留着统领吃吧！”张作霖说：“你不用管我，你只管吃。”陶想给别人，张也不叫给，陶只好自己吃了。又挨了一天，下午才找到各队。各管带也聚齐了，大家在一个四面高中间低洼的地方集合休息，认为此地比较安全，敌人发现不了。于是开始搭帐房，埋锅造饭，打算再次过夜。一连奔袭了三四天，大家已经疲劳得不得了，听说在这里休息，谁都高兴地放松了警惕。张作霖却并不急于休息，亲自上马在附近转了一圈，回来召集各管带集合，说：“不能在这里宿营，赶快上马开拔。”大家都不愿意走，但张作霖非坚持不可。
走到天明，大概走了有100多华里，看见有土房子也有蒙古包，是一个汉蒙交界的地带。这时，张作霖才叫住下，紧接着后面的监视兵就上来报告说：“昨夜蒙匪果然来奇袭。”由于张作霖的机警，早把队伍带走了，蒙匪扑了个空。
张作霖在新地方确认安全了，便找到一座小土房住下。张作霖住在屋里，陶历卿住在屋外，夜里张叫陶给他写信。陶历卿以为第二天可以写，但张作霖坚持非要夜里写，一封一封地写了有七八封。直到夜已深，勤务兵都睡着了，而张却没有睡。在屋里玩弄大烟，过了一会儿，张作霖把大烟盘子端出来让陶吸。陶历卿说不会，张作霖非要他吸不可，亲自倒到炕上，给陶打烟泡。陶推辞不得，只好吸了。陶吸了两口，便晕晕乎乎地倒在炕上，头放到枕头下面睡着了。陶历卿在睡梦中，迷迷糊糊听到有“扑哧、扑哧”的声音，转身一看，突然看到有人拿大刀砍他的枕头。陶历卿摸出枪就要还击，这时身边蹿出一人，把陶拉下炕来，用膝盖把陶压倒在地下，接着就一连六响，连打了几枪。这时，外面的枪声也响了起来，后来看到打死了两个蒙匪，其余的都逃跑了。陶历卿这才发现那人就是张作霖。
原来，张作霖他们到了这个地方，蒙匪还是跟了上来，所以夜里前来偷袭。蒙匪偷袭时向来不用枪，直接拿刀砍，陶的两个勤务兵都被砍死了。如果不是张作霖把陶历卿的头放到枕头下面，陶也难免一死。唯有张作霖在个别情况下不睡觉，随时准备应付突发情况，可见，张作霖的过人之处。
与蒙匪的几次交战后，张作霖总结出一点：道路熟不熟是剿匪的关键所在。张作霖深知，必须派人打入蒙匪内部，才能知己知彼，取得最后的胜利。思来想去，张作霖想到了一个非常合适的人，那就是闻名遐迩的安遇吾。
安遇吾是台安一带亦绅亦匪式的人物，仗义疏财，朋友有急，挥金如土，朋友有难，更能舍命相救，是张作霖的好朋友。他身材高大，好骑快马；经常穿蓝色缎子袍，不扣纽扣；腰系洋绉答布袋子，骑马时不拿马鞭，而拿蝇拂，一副当时东北土豪的经典扮相。张作霖知道安遇吾有个关系很不错的用人鲍老疙瘩，现在在蒙古巨匪牙什那里混事。就想利用这层关系，派安遇吾打入蒙匪内部，刺探情报，设计围剿。
张作霖派人送信，邀请安遇吾来通辽聚会。安遇吾接到信，告诉来人说，随后就到。张作霖这些年来从来没有麻烦过安遇吾，安遇吾知道此次叫他去，肯定是张作霖在军事上遇上棘手的事了。安遇吾临行前，在家中杀猪宰羊，大请邻里好友，当着众人的面，又托以家庭后事。他明白此去凶险，能否安全回来还是个未知数。
张作霖接到回复，感觉安遇吾快到了，就带着人在洮南城外大道上连等了三天。第三天中午，只见远处跑来一匹快马。马上一大汉，一身蓝缎子长袍。张作霖定睛一看，来人正是安遇吾，忙催马迎上去。两个老朋友跳下马来，紧紧拉着对方的手，许久也没松开。
自从安遇吾到了洮南，张作霖天天盛宴款待，或者到处游玩，除了叙旧，什么事情也不谈。就这样过了一个月，安遇吾忍耐不住了，向张作霖慨然言道：“雨亭，究竟有什么事让我干，你是知道我的，我安遇吾为朋友两肋插刀，万死不辞。”张作霖连声叹气，才把事情说出来。安遇吾听罢一拍大腿说：“好，我明天就去卧底。”第二天他独自一人，骑着马，向茫茫大漠奔去，张作霖送他，直到望不见影子才回来。
安遇吾历经千难万险，才找到蒙匪驻地，找到鲍老疙瘩，说被人夺了地盘，自己在八角台一带站不住脚，才来投牙什。鲍领他见了匪首牙什，安遇吾便在匪营住了下来。为不负张作霖的重托，安遇吾想办两件事：一件是寻机刺死一个蒙匪头子，瓦解他们的一部分力量；第二件是把牙什老巢的兵力部署和通往老巢的道路探明，以便张作霖带兵进剿。开始时，计划顺利进行，安遇吾已经把牙什老巢的一切都已摸清，准备找个机会再刺杀个蒙匪头子就逃走。但由于过于信任鲍老疙瘩，安遇吾的意图被蒙匪知晓。残忍的蒙匪将安遇吾杀死，并将遗体肢解成几块。
不久之后，张作霖发现一股蒙古骑兵向通辽袭来，就派骑兵迎击。蒙古兵并没有恋战，只是空放几枪就走了，他们走后，张作霖的人发现一棵树上悬挂了一个包袱。张作霖命人打开一看，竟然是安遇吾的遗体。这是蒙匪对张作霖示威，意思是你派来的卧底已经被我们识破，看以后哪个还敢来。张作霖放声大哭，并叫人把安遇吾的遗体清洗干净，再用针线将遗体缝好，以便将灵柩运回原籍安葬。不承想，在清洗遗体时，发现刀伤一处。在伤口里竟然藏了一个小小的油纸包，打开一看，里面竟然是通往蒙匪牙什老巢的路线图。这个路线图，标注清晰，指向准确。张作霖如获至宝。他后来根据这个珍贵的路线图，派人抓获了牙什的两个儿子，所以，巨匪牙什被迫首先投降了。
1909年初，徐世昌改奉天八路巡防营为五路，仍以张作霖为前路统领，并认为张作霖兵力不足，将张部由五营扩充为七个营，除原有的汤玉麟、张景惠、张作相、邹芬等营外，又将驻在洮南的孙烈臣部，划为张的部下。孙烈臣是奉天黑山县人，幼年丧父，家境贫寒，能骑善射，曾为财主充当炮手。庚子之乱，沙俄军队占据奉天，奉天将军增祺被迫出走，行至黑山老河深屯时，人饥马渴，狼狈不堪，被孙烈臣的表弟赵文清迎至家中。第二天，赵文清邀表兄孙烈臣护送增祺到白土厂防御衙门避难。因孙护送增祺有功，留在将军衙门任戈什，后升任巡防营管带。由于孙烈臣部划归张作霖前路巡防营，使张作霖所部增至3500多人。张作霖所部不断扩大，特别是张作霖看到徐世昌等对他如此器重，所以在追剿蒙匪中特别卖力气。再者，张作霖部经过几次战斗的锻炼，逐渐摸索出一些在内蒙古地区作战的经验，比如：步兵用刀砍蒙匪马腿、骑兵用刀割马杆子绳套的战术，使蒙匪马跌人落、套杆子失去作用等等。后来，张作霖率领的讨伐军在漠北的荒原上，对蒙匪陶克陶胡、白音达赉等匪徒，或分头追击，或会同围剿，于1908年6月，张作霖率军直捣蒙匪的一个重要根据地——龙王庙，一举将白音达赉手下的干将巴塔尔斩首于九头山。
当陶克陶胡袭击长春一带，白音达赉在洮南反击时，张作霖与黑龙江官军联合夹击，迫使蒙匪西窜。张作霖带领军队穷追陶克陶胡，在沙漠中进军800里，所经之处，尽是冰雪载途，人烟寥落的地方。经常追击整日，士兵连饭都没得吃，甚至露宿寒冷的野地，以雪充饥，实在是艰苦得很。清地方政府派员赏银犒师，在绰尔河岸遇到张作霖的部队时，几乎都认不出他们来，可见情况的艰苦。张作霖往往是身先士卒，经常与蒙匪展开白刃战。苦战年余，终于在1909年春将白音达赉击毙，生擒牙什，并把陶克陶胡打败。至此，积年巨患，歼除殆尽，徐世昌称这次胜利，“实非寻常剿匪之功可比”。
1909年2月，清政府以锡良代徐世昌任东三省总督，锡良是蒙古镶蓝旗人，进士出身，而且谙熟行伍。锡良深通边疆旗务，入主奉天后，对蒙古叛匪采取了更为强硬的手段。锡良继续调集军队进一步围剿被张作霖打败的陶克陶胡。因此，命令奉军前路统领张作霖亲督马步各队，驰赴索伦山附近，务必将此股巨匪迅速剿灭以除边患外，并通令各地武装密为配合，协同堵击。陶克陶胡被迫于1910年4月间率少数残匪越境逃到俄国。同年8月，俄国用轮船将其家眷从郭尔罗斯接到哈尔滨，然后转用火车送往俄国。蒙匪戡平了。张作霖为了镇压蒙匪叛乱，维护中华民族的统一，立下了不朽的功绩。清政府犒赏张作霖顶戴花翎，以总兵记名，擢升为洮南镇守使。宣统皇帝溥仪为表彰张作霖，特赐金丝九龙袍一件。
在庆祝剿匪胜利的同时，张作霖邀请参战的几位意气相投者在洮南关帝庙磕了头，结拜为生死金兰。按照年龄大小的顺序是：1.马龙潭，奉天巡防右路统领；2.吴俊升，奉天巡防后路统领；3.冯德麟，奉天巡防左路统领；4.汤玉麟，奉天巡防前路马二营帮带；5.张景惠，奉天巡防前路马三营管带；6.孙烈臣，奉天巡防前路马四营管带；7.张作霖，奉天巡防营前路统领；8.张作相，奉天巡防马一营管带。张作霖这次磕头结拜，为今后奉系军阀的形成，奠定了组织基础，这几位都是奉系军阀的重要成员。
张作霖追剿蒙匪的行动，对维护祖国统一和民族团结无疑起了重要作用。张作霖所部，经过与蒙古分裂主义者的数年苦战，虽吃不少苦头，但也得到了相当锻炼，张作霖在辛亥革命前已成长为防御俄蒙的一支劲旅。因而，张作霖的实力和影响也更加扩大了。有人说张作霖是以“镇压俄国操纵的蒙古民族分裂主义分子的叛乱起家”。这话不无道理。
从此，张作霖以洮南为基点，踏上了“从草莽英雄到大元帅”的传奇之路。
