1.出身寒微 苦难童年
1875年3月19日，一阵婴儿的啼哭打破了驾掌寺乡马家房村西小洼屯的宁静，在这个距离海城县城九十华里的小村庄的一户农家院里，张有财家的三小子出生了。张有财给这个儿子取名张作霖，字雨亭，小名张老疙瘩。
驾掌寺村地势低洼，土地贫瘠，又有辽河等七八条河流在这里汇集南下，当地人称这里为“九河下梢，十年九涝”。这里的人家世世代代以烧碱为生，生活非常困苦。张作霖一家既不是这里的坐地户，也非原本姓张。其祖籍原为直隶（今河北省）河间府大城县人，本姓李，因其先祖过继给张家，从此才改姓张。
清道光初年，河间府一带自然灾害连年不断，张作霖的曾祖父张永贵守着几亩薄地，衣食艰难，无以为生，不得已携带全家老小一起“闯关东”，随着饥饿的人群，逃到关外谋生。最后流落在辽南海城驾掌寺乡，扎根落户。凭着全家辛勤耕种，到张作霖祖父张发时，除从事农耕之外，又开始兼营烧碱业，生活逐渐富裕起来，张家在当地已算得上是小康人家。
张作霖的祖父张发，共有4个儿子，其三子张有财，即张作霖之父。张发的其他几个儿子都很老实，唯独这个张有财好吃懒惰，不务正业，终日游手好闲，引起兄弟间的不和，最终分立门户。张有财为养家糊口，先到客栈当学徒，后来因为吃不了这份辛苦，自己开了个杂货铺维持生计，但他又不懂得经营，整天出入赌场，致使家道败落。张有财的原配夫人邵氏本是个要强的女子，由于张有财整日不管家事，惹得邵氏经常和他怄气、口角，最后连气带病，不幸早早过世，没有留下一个子女。张有财丧妻后，又续娶了本村的王寡妇。王寡妇嫁给张有财后，先后为张家生了3个儿子，一个女儿：张作泰、张作孚、张作霖及张秀英。
张有财嗜赌如命，张作霖出生时，原本小康之家已破败至极，几近家徒四壁的程度。儿时的张作霖深得母亲的疼爱，但由于生活在这么一个朝不保夕的家庭里，根本就没受过什么家庭教育，整日在外摸爬滚打，逮鱼捉虾。幼时的张作霖机灵好动，喜欢争强好胜，在同伴中常以“大王”自居，发号施令，不甘人下，如果遇到不服气的，常常拳脚相加，逐渐养成了敢闯敢干的性格。
张作霖经常和父亲张有财出入赌场，天长日久，耳濡目染，父亲的恶习也逐渐影响着张作霖，同时也培养了他敢于冒险的精神。
由于家境贫寒，年少的张作霖没有机会接受正规教育。在13岁时，对学堂充满好奇的张作霖经常在一私塾馆窗外偷听杨景镇先生给学生讲书，什么“赵钱孙李，周吴郑王”、“人之初，性本善”、“大学之道在明明德”，这些朗朗的读书声紧紧抓住了张作霖的心，他知道自己家穷，这辈子恐怕都不会有在学堂学习的机会了，可是他不死心，索性用舌头舔破了窗户纸，用一只眼儿往屋里瞧。屋里念一句，他就跟着学一句，就这么着，他偷学了好几天。别人朗诵的功课，他大多能记下，甚至能背诵下来。一连几日，杨景镇对这个窗外偷听的放牛娃十分关注。
一日，张作霖又在窗外站着，里面的先生让一个学生背诵《三字经》。当背到“融四岁”时，学生怎么也想不起来了，老师开始打他的手心。情急之下，张作霖下意识地脱口而出：“融四岁，能让梨。”杨先生一愣，扔下板子到外面一看，原来就是那个长得虎头虎脑，穿得破破烂烂，整天在外偷听他上课的小孩，立刻心生怜爱，随口问道：“你叫什么？”天生胆子大的张作霖说：“我叫张作霖，我愿意念书，家穷，上不起学，因此常在这里偷听。”杨景镇觉得这个孩子有求知欲，打心里喜欢，于是就说：“你愿意跟我念书吗？”张作霖不说愿意，也不说不愿意，就说了两个字：“没钱。”杨景镇忙说：“我不收你学费，还给你些纸笔，你明天上学来好了。”张作霖就这样跟好心的杨景镇先生读了3个月私塾。
后来，家里让他去做工，张作霖只好辍学。张作霖一生仅有的一点文化，也就是在这里打下的基础，对杨先生也是感念不已。等到后来，张作霖发了迹，为不忘师恩，重金聘请杨景镇为自己的儿子张学良、张学铭，女儿张首芳等小字辈做启蒙老师。
张作霖14岁那年，父亲张有财因在赌场结仇，被同村无赖王二打死，被抛尸荒野。原来王二因同张有财赌钱输了，张有财戏言要他的老婆抵债。王二信以为真，怀恨在心。于是，趁张有财回家的途中，把他拖到小树林中活活勒死。张作霖的母亲王氏见张有财没有回家，一连几日托人寻找，始终没有下落。有一天，他家中养的一条黄狗由外边回来，向王氏狂叫，并用嘴撕扯王氏的衣襟往外拽。王氏跟着大黄狗往外走，跟到离家一里多地一片树林中，发现了已死多日的张有财。王氏回村后，经本乡一位叫栾凤泰的人报案，知县下令通缉，王二畏罪潜逃，县衙门也就把这宗人命案束之高阁了。
张有财死后，乡邻集资做了一副薄皮棺材，掩埋在别家地里（因是不正常死亡，按当地风俗只能暂厝，即不挖墓穴，棺材放在平地上，同秫秸或芦苇围包上，抹上洋脚泥，以坟丘状）。这年秋天，刚好赶上辽河洪水泛滥，将棺材冲走，冲到一片荒地上被几棵高粱秆挡住，此地无主，张家就此掩埋了棺材，张作霖发迹以后，请风水先生勘测此地，风水先生说此地乃龙脉之地。张作霖联想自己的飞黄腾达，也认可风水先生的说法。那是后话。
辽河发大水，庄稼颗粒无收，张家仅有的几间破草房也被大水淹没。无依无靠的王氏，不得不带着张作霖兄妹投奔小黑山附近二道沟的娘家。张作霖和二哥张作孚对父亲被害耿耿于怀。张作孚借了支土枪，兄弟二人乘夜潜入王家宅院，准备伺机击毙王家坏蛋。这时住在厢房佃户老太婆外出上厕所，发现张家兄弟，呼喊起来，张作霖一时心慌，手扣扳机，失手将老太婆击毙。结果报仇未果，反误伤他人。张作孚被抓住，张作霖乘乱逃走，张作孚被王姓控告抢劫杀人而入狱。
父亲被害事件，使张作霖懂得许多道理，他开始成熟，懂得帮助妈妈分忧。一次，张作霖见妈妈站在窗前落泪，便过去问妈妈为何伤心，其母在张作霖再三逼问下才说出：“借邻居老王家两吊钱已经半年了，答应月底还人家，今天都二十五了，钱还没着落呢。”张作霖什么都不怕，就怕他娘落泪。就哄他娘说：“娘别愁，我把钱还上不就得了。”
“孩子，你这么小，靠什么还饥荒啊？”她娘擦了擦泪说。“娘，您就放心吧，我自有办法。”张作霖果断地答应母亲，由他想办法。
其实，张作霖也不知道怎么来替母亲还这个债。于是，他走出家门，向老王家走去。走到老王家门口，往院里看了一眼，只见房门紧锁，院里没人。在大门外，老王家的大肥猪正趴在地上晒太阳呢。他三转两转，不知不觉来到了村外的水泡子边。他顺手捡起个石子往水里扔去。听着石子落水发出的“咚”的声音，忽然他拧紧的眉头舒展开来，一个高儿从地上蹦起来，一边拍着屁股上的土，一边往村里跑。一直跑到老王家门口，看到那口大肥猪还在。他一见四下没人，赶着那口猪到了河泡子。张作霖四下看看，静悄悄的，就把猪撵下水，又用石头拼命打，直把猪撵到河中间，张作霖方才冲着村里大吵大嚷起来：“猪落水了，猪落水了！”村里人闻声都跑来了，老王也在其中，一看是自家的猪落水了，急得直跺脚。不停地念叨：“完了，完了！”张作霖见大伙都围拢过来了，他不声不响地把外套一脱，跳进水里，不一会儿就游到猪的旁边，用手奋力揪着猪耳朵往岸边拽，大家伙也一起连拉带拽把他和猪拖上来。老王一看自家猪得救了，高兴地拍着张作霖的脑袋：“好孩子，真是好孩子！”当晚，王家媳妇来到张作霖家，对着王氏连声感谢，“谢谢你家三儿救了我家那口大肥猪，妹子你欠我家那两吊钱就不用还了。”摸不着头脑的王氏仔细一问，才知道张作霖将老王家肥猪偷偷赶到水泡子深处，又将猪救起，这才让老王家感激不尽，将欠的钱一笔勾销。
尽管张作霖了解母亲的艰辛，但由于自幼受其父影响，养成了游手好闲的坏习惯，替人家放放猪、放放牛的这些差事他都干不长，终日与当地的小混混们混在一起。母亲不愿看到他像父亲那样整天不务正业，于是便托人在包子铺赊了些包子让张作霖沿街叫卖。可张作霖根本不是这块料儿，卖了半天也没卖掉几个包子。走着走着，肚子饿了，他顺手从篮子里抓了一个包子，他一想到包子钱还没卖出来，又不忍地把包子放回去了。可是没走出几步，已饿得前心贴后心的张作霖可受不了这份罪，索性拿出几个包子，狼吞虎咽地吃了一通。张作霖卖包子的日子，基本都是卖得少，吃得多。有时回到家看到母亲伤心也很难过，可是他又没什么好办法。
一日，天下小雨，提着包子篮子的张作霖走进一家大门洞躲雨，看见几个老太太正在看纸牌。张作霖看的手直痒痒，也要摸两把，几个老太太一看他小，二看他没钱，都不愿带他玩。可张作霖笑嘻嘻地说：“别看我没钱，可我有包子，大不了输了把包子赔给你们。”经不住他的软磨硬泡，几个人同意带上他玩。说也奇怪，那天张作霖的手气实在太背，几个人中，就他一个人输。几把下来，几个老太太逼着张作霖给钱。不想，张作霖起身一把抓起老太太们的钱，提起篮子，撒腿就跑，几个老太太随后撵他，可是哪撵得上啊。几个老太太气得跺着脚骂了他一顿。这事一传十、十传百地传开了，王氏为此痛打了张作霖一顿，可是有了这点坏名声，张作霖的包子更是卖不动了。
包子不卖了，张作霖又做了货郎，背着货箱，拿着摇铃，挨村挨户叫卖。张作霖嘴甜，人精灵，又生得眉清目秀，因此，常常引得一些大姑娘、小媳妇儿争相买他的东西。也就是在当货郎的时候，张作霖认识了赵家庙村地主赵占元的女儿赵春桂，也就是他后来的原配夫人、张学良的生母赵氏。
当时，已会赌钱的张作霖，对赌钱十分着迷。遇见赌钱的，扔下货箱就耍。偶尔赌输了，连货底都赔得精光。一天，张作霖在赵家庙输了钱，拔腿就想跑，其他赌徒一拥而上，抓住张作霖把他绑在村边的一棵大树上，扒光了上衣，大家轮番打，一边打一边骂。被打得皮开肉绽的张作霖鲜血淋淋，却眉头都没皱一下，不停地与他们对骂，毫不示弱。这一幕被前来看热闹的赵占元看见了，心中暗想：真有种，日后这小子要是有个正经营生，一定能有大出息。等日后张作霖出息后，前来提亲，赵占元非常痛快地就答应了这门亲事。
可是，张作霖的小本生意哪经得起这么折腾啊。于是，王氏又托人把张作霖送到高老惠那里学木匠，可张作霖受不了师傅的虐待，偷偷地跑回了家。为支撑这个家，不得已，王氏只好改嫁本村的兽医张某，张作霖于是又跟着继父学起了兽医。不承想，张作霖对兽医既有兴趣，学得也挺认真，很快就掌握了相马、医马的门道。从此，张作霖就随继父走村串屯，练习医马术，总算学到一点糊口的本事。张作霖在医马的过程中结识了乡绅、地痞、官兵、马匪等三教九流各色人等，开阔了眼界，增长了见识。
2.为求生存 浪迹社会
张作霖学了一段兽医之后，在母亲的鼓励下，离开家开始了独立谋生之路。就这样，年仅16岁的张作霖为生活所迫，挥泪告别了母亲，离开小黑山向东经盘山、田庄台，到营口高坎一带，走街串巷，四处奔波，靠给人家做零活，做帮工，维持生计。这时，有一个商人看张作霖又机灵又可怜，就问他说：“愿不愿意跟我到高坎镇去，那里到处是商店，人也多，生活好混。”张作霖一听二话没说，跟着商人到了高坎镇。
高坎镇是辽南一带远近闻名的商业重镇，这里店铺林立，商旅云集。张作霖初来乍到，举目无亲，年龄又小，一时也没找到什么正经工作，依然靠打零工养活自己。此时的张作霖也算得上经了风雨，见了世面，人越发学得乖巧了，人送外号“万人喜”。
高坎镇北有个北磙子泡村，该村有一户姓孙的财主，雇有二三十个伙计，专设“饭堂”。张作霖常来饭堂找饭吃。开始觉得他是小孩，到饭堂就管饱，以后去常了，就被拒之门外。孙家的主妇是寡妇，为人行善，见到张作霖被拒，便命管事伙计带张作霖去饭堂吃饭，张作霖这才混上饱饭吃。他主动给孙家放猪，扫院子，还干脆拜了孙寡妇做干妈。张作霖人机灵，嘴又甜，哄得孙寡妇非常开心，打心眼里喜欢他。后来张作霖发迹，对这位干妈仍念念不忘。1924年孙寡妇去世，张作霖为报答她老人家当年的救命之恩，派人给孙家送去一笔巨款，让她的后人为她修碑立传。张作霖知恩图报的故事一时间成为大家口口相传的佳话。
张作霖离开磙子泡后，到黄家店一孙姓财主家干零活、放马。财主外号“孙鬼子”，为人刁恶。深秋的一天，张作霖赶着十几匹马上了山。他找了个向阳的山坡，散开马吃草，自己倒在地上，不知不觉睡着了。突然间，狂风四起，阴云密布。张作霖知道不好要下大雨，忙去拢马，一清点少了一匹。张作霖心急如焚，策马四处寻找，可是连马影都没看到。这时，大雨如倾盆一般下了起来。张作霖怕这些马再有个闪失，先把余下的马赶回“孙鬼子”家。把马都拴好后，他又冲到山上，继续寻找丢失的马。到了后半夜，浇得像落汤鸡似的张作霖，拖着疲惫的身子回到屋里。早就发现少了一匹马的“孙鬼子”因看不见张作霖的影，正气急败坏地边骂边等他呢。一见张作霖自个儿回来了，没有找到马，顺手抄起一根马鞭子，抡圆了劈头就向张作霖的身上甩去。只打得张作霖皮开肉绽，但他一声未吭，任由马鞭子抽打自己。张作霖本就没吃上饭，又淋了大半天的雨，再加上这顿毒打和心火，第二天就病倒了，而且一病就是两三个月，气若游丝，奄奄一息。“孙鬼子”见张作霖孤身一人，日久便心生歹念，趁着风雪之夜，招呼自己的两个儿子，将他抬出扔在野外路沟里，打算把他冻死。
张作霖真是命大，一位樊姓老者发现了躺在路沟里的张作霖，将奄奄一息的他救回家中调养。经过一个多月的治疗休养才复原。张作霖感激万分，拜樊老汉为义父，并在樊家干活以报恩情。张作霖在樊家经常去高坎买东西，知道高坎是热闹的集镇，就商讨樊先生同意，离开黄家店来到高坎。
刚到高坎，张作霖还是一直没有什么正经营生，先是给商铺、车店收拾院子、打杂，后来又到赌场，端茶倒水，赚点小费。他住在马乡约的大车店里，恰好给何家油坊一匹大马治好了病，因而在高坎渐渐出了点名儿。
一天半夜，有人敲门。张作霖打开房门一看，来者是一个彪形大汉，腰里别着匣子枪，牵着一匹病歪歪的马。来人把马缰绳往张作霖手里一塞，开口便说：“这马这几天闹病了，你帮着瞧瞧。你若看得好呢，爷少不了你一分钱，若是看不好，哼哼！”张作霖倒吸了一口凉气，他知道此人来者不善，打刚才一搭眼就看出来了。于是，他不敢怠慢，赶紧牵过马，细细查看。然后，非常自信地对来人说：“大爷你要是信得过我，就把马留下，三天后保证治好它。”那人一抱拳说：“好，三天后见。”留下马转身走了。当三天后，张作霖将医好的马交到主人手的时候，彪形大汉乐得合不拢嘴，从怀里掏出大把的散碎银子往张作霖手里一塞。张作霖把银子往外一推说：“大哥，我给你看马，是冲着你是个英雄好汉，要是换了别人，给再多的钱，我还不一定上心治呢。”来人见张作霖说的是真心话，忙一抱拳说：“小兄弟，我钻天燕认定你这个朋友了，来日有我帮得上的地方尽管知呼一声。”说罢扬长而去。闻听来人报号“钻天燕”，张作霖暗喜，自己果然没有看走眼，心想日后自己在高坎是有人罩着了。果不其然，没过多久，“钻天燕”指使手下抢了“孙鬼子”家，并放了一把火烧了孙家，着实为张作霖出了一口恶气。
高坎街上有一位有财势的于六，见张作霖的兽医桩开得不赖，于是和张作霖联合开了个大的兽医桩子，生意很火，张作霖也打心眼里很感激于六。不想于六的小老婆二蓝子暗恋张作霖遭到拒绝后，竟诬陷张作霖对她非礼。于六没容分说，将张作霖狠打一顿，并脱掉张的上衣绑在大榆树上，准备夜里把张作霖冻死。幸亏高坎开小车店的掌柜常则春看到，问明缘由，将张作霖解了绑绳，领回店中。从此张在常家落脚，并干些零活杂役，偶尔干些兽医活计。
张作霖手头宽余了，就常常出没于赌场。他的鬼点子多，一般情况下，都是赢得多，输得少。于是其他赌徒就合谋算计起他来。一次，张作霖又遭到这伙人的算计，输给他们不少钱，他们倒是见好就收，准备起身要走。张作霖忙把他们拦住，说：“谁也不行走，我回去取钱，咱们再赌个高低。”张作霖来到街上，冲卖肉的借了一把杀猪刀。众赌徒一看到张作霖拎着一把明晃晃的杀猪刀，不禁大吃一惊。张作霖撸开裤筒，“嗖”的一刀，将腿肚子皮割下一块，摔在桌子上做赌注。赌徒们吓得不知所措，只好将赢的钱全数退还他。事后，这几个赌徒总感觉不是滋味，憋口气，寻机报复。有一次在六大娘家聚赌。六大娘是个半老徐娘，守寡，放赌。她为此专门请一位撑腰大汉，此人叫王兆五，号称王三五。这天，张作霖先赢后输，赌徒们激他说：“你上回输钱割肉，这回该割狗头了吧！”张作霖恼羞成怒，便和众家动起手来，寡不敌众被按倒在地。有一人拾起大砍刀，要朝张作霖的屁股砍去，就在千钧一发之际，大汉王三五蹿将上来，一把将那人手腕掐住，大喝：“住手！”六大娘上前制止了这场殴斗。
张作霖几次受欺负，自己也想练点拳脚功夫，他常到高坎东朝阳观，拜刘福航老道为师，在高坎的两年，张作霖每天早起练剑，天长日久，也学到一些“剑术”。
有一次，张作霖在高坎一家杂货店买东西，见到两个风流俊俏的姑娘，这两位是姐妹，姓祝，称大菊、二菊，是高坎街上的“美人”，已被于二爷霸占。于二爷曾扬言：“谁敢惹她们，拿命见我。”张作霖没听这个邪，在一天晚上，溜达到祝家，想会会二菊，正好于二爷也去了，张没正面相撞，悄悄走了。于二爷从二菊口里知道了此事，第二天拎着宰猪刀，找到六大娘那，张作霖见势不妙，从窗户跳出跑了。于二爷在后面猛追不舍。张作霖跑到常家，于二爷追到常家，常家屋小无处躲避，常则春遂把炕上几个行李卷打开，把张作霖卷在里面。于二爷赶来，里外搜索，没找到张作霖，老常头假说张作霖往东跑了。张作霖一直躲了几天，不敢露面。老常头便和张作霖商量采取请客认错的办法，解决同于二爷的问题。老常头出面，又找了不少头面人物，从中说情，才算了事。
这件事弄得张作霖抬不起头来，一股急火又病倒了。正好病倒在于天朗家的大门洞里，已经休克了，被于天朗的母亲看见，将他救回屋里，休养3个月才痊愈，张作霖感恩不尽，认了于母为干妈。这样，在高坎又多了一门亲戚。
张作霖为赌博欠了许多人的钱，其中有个黄木匠，向张作霖索要时，张作霖无力偿还，竟被黄木匠打了两个耳光。张作霖前思后想，觉得这里待不下去了，想一走了之。于是向老常头说了，得到常的支持，老常头又帮着凑了些路费，打发张作霖上路。这时张作霖腿生火疖子，行走困难，常则春把自己的毛驴送给了他，并嘱咐他如果盘缠不足时，可把毛驴卖掉。赌徒们听说张作霖离开高坎走了，还骑走了老常家的驴，愤愤不满，他们来谴责老常头，老常头在众人的蛊惑下，披上旧皮褂子追赶张作霖。张作霖骑驴走到东高坎，被黄木匠拦住要他还钱。张作霖见老常头来了，便口称干爹，有什么事吗？老常头见张作霖冻得直抖，不好意思说要驴，顺口说是给他送皮褂子的，张作霖“扑通”跪地给常则春磕头，感谢干爹关心，穿上了皮褂子。黄木匠也不好意思再要钱了，两人要账，改成了欢送。
张作霖离开高坎，离开了这个恩恩怨怨的地方。20多年后即1914年，张作霖已坐上了两年二十七师师长的高位，他又一次来到高坎。高坎人听说张作霖回高坎，心态各异。官方出面将凤凰甸通往高坎的路修得又宽又平。张作霖带卫队三四十人，当来到凤凰甸村时，他便命部下下马，步行进高坎，并宣布：“到高坎不准碰一草一木，不准有任何不轨行为，这是我的第二故乡。”
高坎街上曾同张作霖闹过别扭的，打过他的，暗中陷害过他的人，听说张作霖回来了，吓得要命，以为这回非报仇不可，轻者挨打，重者要命，纷纷躲起来。
张作霖到了高坎，大家迎上来，毕恭毕敬，张作霖很客气地与大家见面，一概不提过去的事儿，他命人去老常家小店把老常头请来，很亲热地给老常头敬了军礼。老常头看了半天才认出，上前拉住张作霖的手：“老三，你还真的出息了，我以为你早死了呢！”张作霖不咎既往，宽宏大量待人，把黄木匠、马掌柜、于六、于二爷等都找来，待以贵客，并说：“咱们哥们儿，年轻时闹过摩擦，算个什么？我早忘了。老实说，没你们打我，我还没有今天呢。”张作霖走后，高坎人都称赞：“张作霖有度量，报恩不报仇。”
3.组保险队 崭露头角
1894年爆发了中日甲午战争，张作霖的命运有了转机。由于日军侵入辽东半岛，朝廷为对抗日本进攻，将大批军队调往关外。其中宋庆所部“毅军”正好驻扎在营口附近。正在营口游荡的张作霖，一天突然碰到了一个久未见面的老朋友，此人叫赵得胜，就在“毅军”中服役，二人久别重逢非常高兴，来到一家小酒馆边吃边谈，赵得胜见张作霖四处游荡，生活无着，便劝他参加清军。张作霖看见昔日一起混的朋友如今已经当上了带兵的军官，也非常羡慕，于是他决定请赵得胜引荐，投入清军。就这样，20岁的张作霖便成了清朝“毅军”赵得胜马队的一名士兵。
张作霖由于“短小精悍，机警过人，善相马，粗通医马术”且精于骑射，深得长官赏识。一次，清军要派“情报员”深入到日军后方刺探军情，当“情报员”必须要有勇有谋，还十分危险，所以一般的士兵都不大愿意去。这时，张作霖自告奋勇表示愿意前往，而且干得非常出色。因为一则他对辽东一带地形熟悉，二则他点子多、胆子大，每次执行任务，都能探得不少情报。按照清军的规定，凡立功者都由长官授予功牌。张作霖因屡屡立功，所以得的功牌也多，长官也特别赏识他，加之他会相马、医马，马队的马都是经他手医好的。渐渐地，从长官到士兵，对他都有了好感，张作霖很快被提升为骑兵哨长（相当于排长）。
张作霖得意的日子过得并不长。1895年战争结束了，清政府将开进东北的部队调回关内，“毅军”也奉命开拔进关。不愿意进关的张作霖乘机提出要成亲，得到应允回到小黑山与母亲团聚。
张作霖回到家后，第一件事就是托木匠高老惠向赵家庙的赵占元之次女求亲。赵家见张作霖一表人才，又是得过军功章的军官，便应允了这门亲事，而且催促他们选定良辰吉日早早完婚。这年8月，张作霖便与赵氏结婚，并住在了岳父家里。
成亲后，张作霖两口子并没有自己的房子，只得暂时在岳父家屋旁盖个简易房（俗称马架子），寄居在岳父家吃饭，并在岳父的帮助下开了一个兽医桩。他治牲口的医道，在方圆几十里的地面上还是颇有名气的，找上门来的生意真不少，慢慢地，小两口的日子越过越红火起来。当时，正是中日甲午战争之后，辽西、辽南一带各路马贼蜂拥而至，张作霖因常常替他们医马，结识了不少绿林朋友。于是，便有人风传张作霖是马贼的窝主，加上张作霖嗜好赌博，整天如不羁之马，经常与人吵架，滋生许多事端。当地的财主们十分担心张作霖和胡匪、马贼勾结，牟取他们的财产，于是他们决定先下手为强，将其铲除。大家公推李老恒出面到广宁县（今北镇县）控告张作霖，说他通匪。张作霖和他二哥张作孚一同被拘押在广宁县监狱。什么打板子，上夹棍，各种酷刑张作霖都咬着牙挺过去了，就是不肯招认“通匪”。最后，因为查无实据，又加上张作霖宁死不招，官府也无法将其定罪。后经岳父赵占元花钱打点、托人疏通，被无罪释放。20年后，张作霖当上了奉省督军，回到赵家庙，原来控告张作霖的李老恒闻讯，吓得发抖，生怕张作霖翻起旧账，记恨前仇，进行报复。于是带领他的老伴到张的行辕请罪。张作霖表现得很有气量，竟一笑置之，并说：“我张作霖向来不记仇恨，你虽然告过我，但并未把我怎么样，反而使我奋发向上，才有了今天。”并顺手掏出200元钱给李老恒说，“你们老两口儿不要害怕，好好回家过日子去吧。”李老恒对此感激涕零，连磕头带作揖。
对张作霖而言，这真是一场冤枉官司。张作霖获释后，岳父赵占元资助张作霖在营口附近大高坎镇又重新开了一个兽医桩。但他也感到当兽医赚钱不多，加上经常赌博输钱，在村中无地自容，索性北走广宁（今北镇县），去找巨匪头目冯麟阁。
当时在辽南一带活跃着几支大股土匪：冯麟阁帮、金寿山帮、杜立三帮，他们几个大帮都有各自的地盘，形成了各自独霸一方的态势，其中最大的就是冯麟阁帮。
冯麟阁早年当过海城县的衙役，后来因个人升官发财的愿望一时得不到满足，索性不干了，拉着众人聚众行抢，横行于辽河两岸。他纠合的大多是当地的流氓和赌棍、散兵游勇，少时百八十人，多时上千人。在甲午战争前后，他看到社会动荡不安，认为有机可乘，便以“杀富济贫”为幌子，以海城高家砣子为中心建立大团，首先提出按地亩抽捐筹饷，实行保险。当时辽河两岸广大地区，很快便为冯麟阁所控制。因冯麟阁部势力大，不少“保险队”都假借冯的名义进行活动。因冯麟阁亲日，曾一度被俄军逮捕解往库页岛关押。他在流放地，孤独地度过了两年，于1902年秋乘黑夜越狱，从库页岛逃回后，依旧担任大团头目。
张作霖慕名前去投奔冯麟阁，冯麟阁安排他到手下董大虎匪帮任小头目。董大虎帮不大，属小股。张作霖加入后，主要负责看守绑来的“肉票”，充当“兰把子”。一次，董大虎抢劫妇女“肉票”两大车，光天化日之下，有人想胡作非为，被张作霖制止了。他感到这种绑抢的勾当，不是长远之计，尤其是对于绑妇女票，使他十分反感。所以不久，张即脱离董大虎匪帮回到赵家庙，暗下决心自立门户，干出一番大“事业”。
从入伙到离开，张作霖在董大虎帮仅仅待了两个月的时间。然而就是这短短的两个月经历，却让张作霖把这个“土匪”帽子戴了一生一世。其实从真正意义上说，真不能把张作霖这段经历算作土匪，因为在入帮的这段时间，张作霖既没有抢过人，也没有杀过人，甚至连枪都没开过，最后还是因为无法忍受那些真正的土匪行径而愤然离开的，也算是一桩历史冤案吧。
回到赵家庙后，张作霖请岳父出面与附近村屯富户协商，花钱在赵家庙成立了一支由二十几名青壮年组成的“保险队”，张作霖自任头目，负责保卫周围七八个村子。
当时黑山、新民、北镇、台安、辽中、盘山、营口一带，地处辽河、太子河、柳河、绕阳河下游，河道交错，堤坝不修，十年九涝。特别是历经中日甲午战争和日俄战争两次战乱，饱受战争之灾。由于大批枪支弹药在战后流散到民间，散兵游勇、地痞流氓利用手中武器杀人越货，骚扰乡里。一些不逞之徒，乘机落草聚众，称霸一方。逼得一些地方绅商为保护身家财产，纷纷组织起了“保险队”、“团练”、“大团”等地方武装。
对于绝大多数“保险队”来说，依然亦团亦匪。白天是“保险队”保护乡民安全，夜间到外边抢劫。但从1900年以后，各“保险队”在自己的“保险”区内，基本上不是以一家一户为抢劫对象，而是要求辖区内人民按地亩纳捐，养活他们。他们负责保护辖区内人民的生命财产，不受外来匪帮的侵犯。这些地方武装有的是官办的、有的是由地方头面人物出面自行组织的，有的是由土匪自动演变的，张作霖的“保险队”虽不是官办的，但也是属于地方头面人物出面自行组织的那种，和土匪演变的组织还是有区别的，所以连张学良都说：“我父亲不是土匪。”张作霖在当时也不承认这一点，他说：“都说我张作霖当过胡子，我他妈的要是拿过谁一个笤帚疙瘩，死后也要入十八层地狱，托驴变马去还人家。”看来，张作霖对此是很感委屈，也很气愤的。
当时，张作霖十分珍惜这个对他来说难得的命运转机，所以干起来格外卖力。在“保险”区内恪尽职守，得到相邻的赞许。一次，赵家庙来了几个散兵游勇，舞刀弄枪地索要钱财。张作霖孤身一人来到几个散兵中，不清楚他用了什么手段，说了什么话，那几个散兵最后竟抱着张作霖叫起了大哥，一场灾祸消于无痕。当然，也有胡搅蛮缠、油盐不进的人。遇到这种情况，张作霖就拼命了，乡人传他，一人当十，刀枪不入，直打得土匪抱头鼠窜。一段时间里，别的地方匪患不断，赵家庙却相安无事。人们都说，幸亏有了张作霖，这小子行，避邪。
附近二十几个村子先后主动要求纳入他的“保险”范围，致使张作霖的“保险队”规模不断壮大。没有多久，张作霖的势力就发展到赵家庙西北的中安堡一带。这引起了一向视中安堡为自己领地的另一“保险队”头目——金寿山的极度不满。
当时受俄军支持的“保险队”头目金寿山，原是北洋武备学堂学生，因不习惯军队的纪律生活，回到家乡海城县后，纠集一批流氓、恶棍、赌徒等拉起一帮，自任头目。金寿山个人品质恶劣，在他的保险区内，除征粮征饷外，还公开勒索强抢，奸淫妇女，比一般胡匪都厉害。中安堡百姓不堪其扰，就派人找到张作霖，请他保护。一向把中安堡视为自己领地的金寿山，今见张作霖进驻该地，极为不满。他自恃势大且有俄军撑腰，便派人前去用重金招收张作霖，试图用“和平”方式吃掉张作霖，不承想被张作霖婉言谢绝，所以金寿山决心用武力好好收拾一下张作霖。
一天，金寿山率部突袭中安堡。张作霖虽有防范，却因力量悬殊难以抵挡，只好求救于占据大凌河畔罗砚山的汤玉麟。
汤玉麟率人马星夜赶来解围。张作霖感激之余，约汤玉麟来中安堡，汤玉麟爽快地答应了，于是汤玉麟的人马与张作霖的人马合了起来。汤玉麟是热河阜新县人，幼年不喜欢读书，在家务农，曾在义县捕盗营当过差。他臂力过人，能举起几百斤的重物。平时喜爱骑马打枪，虽到田间劳动，必带枪，且左右手都能射击，弹不虚发。汤玉麟生性鲁莽，以好打架著称，人称二虎子。为显示自己的胆量，他曾用烧红的铁条烫自己的肋骨，眉头不皱，并且谈笑风生。后来，汤玉麟投奔到大凌河两岸苑四、苑五兄弟匪帮。因与苑氏兄弟意见不合，发生冲突，汤率领部分匪众离开，占据了虹螺岘山，自立山头。汤玉麟部虽人数不多，仅数十人而已，但武器精良，加之个个凶猛好斗，威武彪悍，有较强的战斗力。在同金寿山的角逐中，张作霖因得到汤玉麟的相助，士气、实力大增，多次击退金寿山的进攻，占据了中安堡。
失去地盘的金寿山很不甘心，无时无刻不想报复。金寿山一看硬打不行，又开始想别的法子。他安排自己的干儿子混进张作霖部充当密探，以便伺机进攻报仇。1901年2月，也就是农历大年三十那天，张作霖让喽啰们张灯结彩，杀猪宰羊，准备痛痛快快地过个年。金寿山的干儿子一见张作霖毫无防范之意，于是便借机请假回家团聚，跑到金寿山那通风报信儿去了。正当一群弟兄喝得酩酊大醉、四仰八叉的时候，金寿山在密探的通风报信下，勾结俄军突袭了中安堡。夜半枪声四起，张作霖以事出意外，情况不明乃决定突围。张作霖在前面开道，汤玉麟背着已怀孕的赵氏，孙大虎抱着张作霖的大女儿首芳，另一头领掩护二夫人卢氏率先冲出院墙，张作霖率队在后面掩护，经过激战，冒死冲出重围，一直跑到台安北面的姜家屯。
此时，天已大亮，看到后面没有追兵，才决定进屯休息。姜家屯很小，赵姓居多，因为害怕张作霖抢劫绑架，请读书人赵贡九出面接待，给他们包饺子吃，并喂好马。
随着张作霖冲出包围的仅有七八个人。张作霖遭到这次打击，元气大伤，几乎成了光杆司令。喘息稍定，收拢残部。冒着风雪，逃到桑林子（今属台安县）暂栖身。其家眷即安顿在离桑林子不远的张家窝堡赵明德家（赵明德是赵氏的堂侄，不久张学良即出生于赵家）。张作霖则带着少数亲信，沿辽河两岸“打野食”，一面收留残部，一面招收新人，扩大势力，以图东山再起。就在这时，泥瓦匠出身的张作相带着锦州一带小绺子二三十人来投奔张作霖。
张作相原为锦州义县杂木林子村人。仅读过3年的私塾。16岁那年，他与族兄张作正坐车由锦州回杂木林子村，路遇一伙土匪，其中有一名叫郭玉的，与张作正有仇，开枪将张作正打死。张作正临死前高叫张作相的小名，要求张作相为他报仇。张作相一边答应，一边钻进路边高粱地里。张作相不敢在家停留，便先后流落到锦州、奉天靠当泥瓦匠糊口。由于张作相干活出色，各家争相雇用。后乘社会混乱之机，也回乡拉起一帮，将郭玉杀死后，遂东渡大凌河，投靠张作霖。此时正落魄的张作霖见到有人来投奔，且张作相忠厚直率，和自己又名似同宗，心里非常高兴，立即把他们收编，将张作相引为心腹知己。尽管有张作相来投，张作霖始终觉得势单力薄，无立足之地。于是便产生了投靠大帮头的念头。
为首先解决生存问题，张作霖决定去投冯麟阁。但是要去冯麟阁辖区，必须经过台安八角台，为避免不必要的麻烦，路过雷家屯的时候，张作霖先去拜访了当地比较有名气的读书人赵贡九，请他出面交涉向八角台借路一事。
当年八角台（今为台安县镇），是张景惠的“保险区”。张景惠是台安县人，家道小康，其父以做豆腐为生。张景惠从小跟他父亲学做豆腐，并经常走街串巷叫卖，故村人均以豆腐匠呼之。张景惠交际广，好赌博，和盗匪亦常私通。因为张景惠以“傻大胆”出名，当八角台组织“保险队”时，遂被当地士绅张程九等人推为八角台的“团练长”。张景惠所办的团练，亦属于“半明半暗”、“似官非官”、“似匪非匪”，名为保卫家乡和商旅通行，实际上和各地土匪亦有勾结。
赵贡九对张作霖的为人早有所耳闻，表示愿意为张作霖代为疏通。于是，他以自己的名义给张程九写了一封信，派人将信送到八角台。
张程九是八角台有名的富户，也是当地的商会会长。张程九得知张作霖借路的消息后，立即召集商会的头面人物，商讨对策。会上，他首先询问送信的人：“张作霖有多少人？”来人说：“有四五十人。”张程九又问：“背的什么枪？”来人回答说：“枪上都带疙瘩楼（即快枪）的那种。”接着张程九又问张景惠：“我们的力量怎样？”张景惠说：“我们镇上只有十几根老洋炮（猎枪），3个洋抬杠，恐怕打不过他们。”张程九又问其他与会者，大家的看法很不一致。有的说，可以借道，有的说，打就打，坚决不能让他进来。听了众人的意见后，张程九谈了自己的看法，他说：“既然没有取胜的把握，不如不打。如果打败了，那八角台就会遭受一场浩劫，损失可就大了。另外，听说张作霖在中安堡时的纪律很好，我们不如同意他借道，然后采取随机应变的方式对待他。”他的一番话得到大家的一致赞同，并通知送信人，他们热情欢迎张作霖进镇。
当惴惴不安的张作霖听到送信人带来八角台的消息后，十分高兴，打起精神带着众人前往八角台。这时张景惠、张程九等八角台头面人物，早已等候在镇门外。张作霖一见到张景惠、张程九等人彬彬有礼，心中更生尊重之意。二张见到张作霖温文尔雅，以前的顾虑也消除了一大半。他们为张作霖设宴接风。交谈多了，张程九感到张作霖谈吐不俗，胆识过人，颇有抱负，绝非一般的绿林之辈。于是，产生了将其留在八角台的想法。
张作霖到八角台后，张景惠对他也是一见如故，两人曾多次进行彻夜长谈，谈话间张作霖劝张景惠多收拢人才，广交官府和地方乡绅，扩充附近小会圈等等。越谈越投机，张景惠深感张作霖的才智远远在自己之上，他断定张作霖将来会有出息。于是在脑际间便闪出了“陶谦让徐州”的故事。事后，张景惠与当地士绅研究，决定召集部属，张景惠当众宣布张雨亭年富力强，志向远大，“君才胜吾十倍，此席非君莫属”。他情愿把八角台“保险队”头目之位，让给张作霖，自己甘当第二把手。
所以当两天后，张作霖向二张辞行时，他们极力挽留张作霖，并对他说：“你们走到哪里还不是保护地面！我们给你们按地抽饷，就留在我们这里，保护这个地面吧！”起先，张作霖不好意思一直说：“反客为主，不够朋友的事我不做。”但经过一番谦让，张作霖见他们态度真诚，说的不像客套话，便满口答应，因为他想，去投靠冯麟阁，不也就是想找个安身之地吗？如今能留在八角台，是他做梦都不敢想的。对于刚刚遭受过挫折，丢了地盘，准备寄人篱下的张作霖来说，能当上八角台的团练长，可以说是他一生中重要的转机，正所谓“失之东隅，收之桑榆”。
当时辽西是群雄割据的局面。张作霖和张景惠两部分合在一起，仅有部众70余名，势力并不算大，因此，经常遭受周围匪帮的威胁和袭击。张作霖当上团练长的第一件事就是设法招兵买马，扩大队伍。因为此时的张作霖对于弱肉强食的生存环境有了更深一层的体会。在张作霖的努力下，不久，八角台的团练人马已发展到200人左右，八角台保险队逐渐成为远近闻名的一支武装。这也引起了八角台附近匪帮的仇视，对他们威胁最大的是盘踞在台安一带的项昭子。项昭子帮拥有200多人，势力比张作霖、张景惠强。项昭子认为张作霖在八角台的崛起严重威胁到自己的利益，将张作霖视为眼中钉、肉中刺，不断地袭扰，企图将张作霖打垮、吃掉。这次，张作霖吸取了中安堡失败的教训，采取稳扎稳打的战术，经过多次交战，打死项昭子，击溃了他的队伍。
而后，张作霖又乘胜追击，对八角台附近的小帮展开攻势，大部分小帮自知无法与他抗衡，纷纷归顺，个别不愿意臣服的，张作霖就伺机将其消灭。这样一来，八角台、桑林子（位于八角台西35华里）便成为张作霖的中心根据地。
压服了八角台附近的各股匪帮，张作霖又广交文人乡绅。张作霖自己虽然没有文化，但他从一开始就尊敬“文人”，重视知识分子的作用。因为他懂得，要干大事，不能光靠硬碰硬，还必须有谋略。张作霖在“保险”过程中，结交了不少地方“名士”。如举人刘春烺、李雨农，贡生张程九，秀才陶允恭、方克猷、杜泮林等。张作霖遇事虚心向他们请教，真诚听取他们的意见和建议。张作霖还认张程九、杜泮林为义父。张作霖的做法同样赢得了这些人的好感。这是张作霖和其他“保险队”头目最大的不同之点。同时，熏陶渐染，也使张作霖的“气质、举动、语言”均有一定的改变，儒雅了许多。
这样一来，张作霖的“保险”活动，不但得到当地士绅、“名士”，在粮草上给以大力支持，而且还经常出谋划策。如有的地方名士曾帮助张作霖分析当时的形势，说：“绑抢已成强弩之末，现在民生凋敝，十室九空，商旅不行，将至抢无可抢，绑无可绑之势。”劝说张作霖“不如趁早改变方法，先使农民得活，将来朝廷恢复原状时”，再“受到招抚，岂不为善”。张作霖认为这个建议很好，因而对所辖境内，持保护态度，他对维护辖区治安更为认真了。如果他的保护范围内有人被胡匪绑架了，有人家骡马被胡匪偷跑了，张作霖一律千方百计地负责找回来，甚至有时自掏腰包赔偿人家的损失，深得乡邻的信赖，邻县各帮也不敢入境扰乱。
张作霖不单重视与文人交往，同时也十分注意团结部下，增强队伍的凝聚力、向心力。张作霖在八角台能够发展壮大，在很大程度上得力于手下的几员干将，张景惠、张作相、汤玉麟等。张作霖平时和他们兄弟相称，以手足情相待，加之自身的深谋远虑和过人的胆识也取得了他们的尊重、佩服，并甘心为他卖命，唯其命是从，使得整个队伍有了一个稳定的核心。从而，张作霖在八角台完全站稳了脚跟，队伍也发展到三四百人，这些人不但是日后奉系军阀的最初班底，也成为张作霖后来得以发迹的资本。
在八角台期间，张作霖显示出过人的领导才能，对所辖区内的保护极为认真，他懂得何时该去战斗，何时该去谈判，邻近各帮股都不敢轻易入境扰民，村民得以安生，受到地方信赖，远近闻名。
1901年春，奉天当局开始整肃地方，对那些没在政府注册的半明半暗的武装进行剿抚，按照能剿者则剿、能抚者则抚的原则，并利用声誉良好的大团、“保险队”，协助政府去剿灭扰乱地方的土匪或有“劣迹”的“私团”。
张作霖的八角台“保险队”由于表现好，被列为招抚之列，并被要求协助剿匪。张作霖认为这是个千载难逢的好机会，积极参与了大小剿匪活动，很快成为一支重要的武装力量。
1902年10月，盛京将军增祺突然密调张作霖会剿海沙子。海沙子是活跃辽之内外的大股匪帮，原有匪众200多人，后来又有徐子扬、路海川等人各领百余人合入帮内，使海沙子的匪帮扩大到400多人，焚杀淫掠，无所不为，无恶不作。
因为有可靠消息称，海沙子一伙正在台安姜镇东南80里小通江子河口一带分住，听说官府要来围剿，准备赶赴河东躲避躲避，这才急调张作霖所部会同官府一同围剿。于是，张作霖奉命带领手下在西路堵击，前往剿捕。当队伍行进至小通江子口时，正好赶上海沙子所部30余名，已登船过河，张作霖等一声令下，领队攻打，当场打死5名匪徒。不承想，海沙子的大队人马突然由西边打过来，双方立时开始交火，顿时枪弹如雨。张作霖率队奋勇迎击，一直打到天黑，直打得海沙子所部招架不住，开始向西南败逃。张作霖带各队追击出20余个屯子，跑出80多里地，又击毙了10多个人，救下九间房被海沙子绑架的2名“肉票”。等到队伍到达桑林子时，天已大黑。无奈只好在各个村子放置岗哨，派人分头连夜跟踪打探海沙子去向。第二天中午，据南路探差回报说，海沙子等人已在四更时，逃窜至桑林子南面30余里的广界高平镇，假扮洋队闯进镇内，打死放卡的会勇四五名，该镇大小铺户均被抢掠一空。张作霖率部赶到高平，闯过三道围壕，又是一场恶战，并当场将海沙子、徐永和、路海川、辛洛疙瘩及30多名匪徒击毙。按照以前剿匪的规矩，理应割下海沙子等人的项上人头回去邀功请赏，但由于这里离奉天路途遥远，于是张作霖等人只好将海沙子等人的耳朵割下，以作明证。这次战斗，张作霖始终冲在前面，身上也中了一枪，受了点轻伤。但张作霖忍痛又乘胜追击，一举歼灭了海沙子的余部。
在民间故事中有一段流传甚广的关于张作霖和海沙子单挑对决的故事，故事说：一次海沙子跑到张作霖的地面绑架了一个常老太太，张作霖亲自出面去见海沙子。海沙子开口便向张作霖要钱，遭到张作霖的断然拒绝，于是威胁说要是不给钱就要打。张作霖一想如果两伙人真打起来，那附近村子就要遭殃。于是提出与海沙子两个人单独对决，就在二人各自站好、二目对视的一瞬间，张作霖一个闪电般的扣动扳机，海沙子应声倒地，当场毙命。故事虽然绘声绘色，显示出张作霖的勇猛、胆识和枪法，赋予了张作霖早年生涯的传奇色彩，但却并不准确。
话说张作霖剿灭海沙子后，老百姓无不拍手称快。从此以后，张作霖更是声威大震，附近各小股“保险队”，先后投奔。加上1900年以后，沙俄军队入侵东北，奸杀抢掠，无所不为，激起中国人民无比愤恨，张作霖又利用人民这一自卫的心理，进一步扩大了队伍，所部很快发展成为横行辽西一带最强悍的武装力量之一。
