张自忠并不气馁，还是一心想出去闯天下。车震也觉得他是个人才，埋没在乡下实在可惜。不久，车震去天津特地把张自忠也带上，途经廊坊时把他介绍给了第十六混成旅旅长冯玉祥。冯玉祥见张自忠长得高大英武，且颇有“沉毅之气”，很是满意，委任张自忠为见习官。这实际上是张自忠从军的真正开始，也是他一生中的一个重要转折点。冯玉祥先生是位善于治军的将领，他的兵，大多体格健壮，能吃苦耐劳，而在练兵过程中，注重军事知识和军事技术的培养，造就了一批能征善战的青年军官。因此第十六混成旅是当时北方有名的劲旅。在冯先生的队伍里，因为张自忠埋头苦干，加上又有文化修养，所以很快崭露头角。对于一个有抱负的人来说，最重要的不是站在什么位置上，而是他是否找到了正确的奋斗方向。冯玉祥的十六混成旅使张自忠真正得到了施展才华的用武之地和实现理想的奋斗舞台。
为了增强军队的军事技能，冯玉祥设立了军官教导团，主要教授军官们战术、率兵术、地形、兵器、兵史、筑城、简易测绘及典、范、令等。张自忠由见习官升任排长后不久，就被派进入教导团军官队深造。张自忠对军事学习产生了极为浓厚的兴趣，每次考试都名列第一。教导团团长鹿钟麟将他树为“标准学员”，冯玉祥也夸奖说：“在教导团中，他非常勤学，对人处事都极其真诚友爱，又能刻苦耐劳，这时便显出他未来一定是个将才。”
学习期满，张自忠升任学兵队第二连连长。队长冯治安待人恢谐风趣，与张自忠的刚毅寡言恰好形成对照，二人刚柔相济，配合默契。很快张自忠的带兵天赋就显露出来。就任连长三个月后，他的第二连便在全旅各连军事考核中夺得第一，成为十六混成旅的“模范连”。模范连是冯玉祥治军的样板，张自忠得此殊荣，干得更加起劲了。全连126名士兵，在张自忠训练下，仅军长、师长就出了十个，旅长、团长就更多了。接下来的几次连升，证明了一切：
1921年，张自忠升任冯玉祥卫队团第三营营长。
1924年春，张自忠被冯玉祥任命为学兵团团长。
1925年，升任第十五旅旅长。
1927年4月，被委任为第二十八师师长兼潼关警备司令。
1928年，兼第二集团军军官学校校长和开封戒严司令。
1929年，调任第十一军第二十二师师长；同年冬，原二十五师改编为第六师，任师长，后参加中原大战。1931年九一八事变后，西北军余部改编为国民政府陆军第二十九军，任该军三十八师师长兼张家口警备司令。
