1926年11月，为了加强对豫南地区农运工作的领导，中共河南省委决定成立驻马店特别支部。在驻马店特别支部的直接领导下，确山县的农民运动发展得更加迅猛。1927年2月15日，在洪沟庙镇的玉皇庙召开了确山县农民协会成立大会，杨靖宇在大会上讲话，并被推举为执行委员会委员长。就在这天，直系第八军士兵到县城东北的董庄抢粮并毒打农民，被红枪会扣留。杨靖宇等农会领导获悉，号召农民组织自卫军，齐集城北，声讨第八军，誓与死战。
2月15日至17日，各路农民自卫军、红枪会聚集城下，群情激愤。县长王少渠吓得面如土色，承认军士有“滋扰情事”，一方面泣求驻军暂缓用兵，一方面派人与农会领导交涉，请乡绅劝红枪会首领忍退。杨靖宇等农会领导对前来交涉的人提出，驻军和官府今后不再任意征收苛捐杂税、军队给养，方可考虑撤退。迫于已经组织起来的农民的强大威力，王少渠被迫接受了农会的要求，一场党领导的农民斗争胜利了。
1927年3月中旬，在确山县城北大街赵凯文家，杨靖宇与张家铎、张耀昶等召开会议，根据举行确山农民暴动条件已经成熟的情况和中共驻马店特支的决定，确定在农历三月初三武装示威，伺机暴动，以配合北伐军向河南推进。
4月4日清晨，杨靖宇等来到县城东关大操场，升起鲜艳的农会会旗，迎接来自全县的农民。上午10时，农民协会和红枪会的成员高举红旗，从四面八方陆续进入会场，县长王少渠也被迫到会。中午时分，大会开始，杨靖宇等代表全县农民讲话，要求县长王少渠交出四大劣绅，清算他们的罪行；取消苛捐杂税，不再派车拉夫；清查县政府帐目，释放因抗捐被关押的农民。王少渠满口应承，大会当场放他回城。
第二天，农会从早晨等到傍晚，王少渠一直未交出四大劣绅。农会派出代表交涉，王少渠避而不见，故意委托一个军人出面应付。经查，王少渠自会场回城后，不仅躲进城隍庙，放走四大劣绅，而且在全城布防，派众多荷枪实弹的官兵把守城头，用沙袋堵住城门。王少渠的所作所为，激怒了农民群众，人们纷纷加入围城行列，附近各县的红枪会也前来支援。确山城外的村村户户住满了参加暴动的外地农民，老人、妇女和孩子们自愿为前线农民送水送饭，人民革命的热潮在确山激荡。
4月6日，信阳道尹于庭鉴到确山调停。杨靖宇等代表暴动农民与于庭鉴谈判时，城头的官军士兵突然开枪，当场打死两名暴动农民。广大农民再也抑制不住心头的怒火，决心攻下确山县城。谈判当即停止，中共驻马店特支迅速作出决定，抓住有利时机，立即攻城，由杨靖宇和张家铎、张耀昶三人组成攻城指挥部。
4月6日夜，攻城战斗开始了。杨靖宇指挥四五万暴动农民，向反动势力盘踞的确山县城发起了猛烈进攻。农民自制的“九节雷”土炮和步枪一齐向城上开火，治安委员会成员组织人民群众积极支援北伐军，救护伤员，传递情报，送饭送水，充当向导，侦察敌情，扰乱敌人后方。每当胜利的喜讯传来，临时治安委员会就召开庆祝大会，以鼓舞士气，振奋民心。
确山暴动的胜利，引起强烈的反响。武汉国民政府为祝贺这一胜利，向确山农民协会赠送一面锦旗，上面写着四个大字：“革命先锋”。
由于杨靖宇出色地领导了这场斗争，表现了卓越的才能。1927年6月，中共驻马店特支根据杨靖宇的申请和表现，同意接纳他为中国共产党党员。
1927年11月13日，高子元与驻确山国民军第三旅旅长张德枢派出200多人的队伍进攻刘店。杨靖宇率领农民革命军兵分两路在寨外的两侧阻击敌人。战斗中，敌人被打死5人，而农民革命军则毫发未损。
在张板桥，杨靖宇率领农民革命军攻打了被称为“张四先生”的恶霸地主张天真。张天真占有大量土地，对贫苦农民十分苛刻，剥削手段也非常残忍，当地人民对他深恶痛绝。农民革命军顺利地占领了张家大院，打开粮仓，把粮食分给贫苦农民。杨靖宇等农民革命军领导在张板桥召开了群众大会，宣传中国共产党的革命主张，控诉张天真的罪行，深受群众的拥护。
随后，杨靖宇又率领农民革命军来到信阳、确山交界的明港一带活动。在这里，杨靖宇等农民革命军领导人充分利用敌人的内部矛盾，消灭了为非作歹的大土豪李文相、童肖九两支地主民团武装，从而扩大了农民革命军的影响。
在这期间，中共豫南特委书记王克新来到农民革命军中，与杨靖宇共同领导游击战争。11月中旬，在王克新主持下，召开了豫南特委驻马店办事处、确山农民革命军总指挥部和确山县革命委员会联席会议，总结了刘店暴动以来的经验教训，研究了今后革命的发展方向。
会议决定“找一形势甚佳，可战可守之根据地点作为经常斗争之中心”。
联席会议之后，豫南特委决定对农民革命军进行整编和纪律整顿，成立了司令部和政治部，王克新、杨靖宇、李鸣歧等人组成司令部，杨靖宇任总指挥，李鸣歧任党代表。
正当杨靖宇等根据联席会议精神，率队西进小乐山准备建立根据地时，确山县县长高子元，于1927年11月末，拼凑了500多人的反动武装，对农民革命军的根据地——刘店发起了疯狂的“围剿”。当时，农民革命军正在汝南县的王楼境内，他们活捉土豪吴清士，将他家的粮仓打开，把粮食分给贫苦百姓。12月2日晨，敌人向农民革命军扑来。当敌人走到王楼村头时，埋伏在打谷场草垛后的第一中队，首先向敌人发起进攻。紧接着，埋伏在村东树林中和村西竹林里的两个中队也在杨靖宇的指挥下，向敌人开火。慌忙逃窜的敌人，在村南柏树林处又遭农民革命军猛烈射击。
由于农民革命军没有估计到形势的严重性，暂时击退敌人后未及时转移，敌人趁机占据了河堤的有利地形，在敌人组织第二次反扑时，农民革命军本应避实就虚，却仍然组织队伍冲锋。此次战斗虽毙伤敌人60多人，但农民革命军也遭受很大损失，杨靖宇腿部受伤。
敌人到处搜捕杨靖宇，使负伤后的杨靖宇不得不四处转移，后来暂住在驻马店的普济医院进行治疗和休养。一天，一群国民党兵从火车上下来直奔医院而来，杨靖宇一看躲藏已经来不及了，于是他灵机—动，把脸涂了一些污泥，装做是医院的勤杂工，在吱吱作响的井台辘轳上绞着水。由于杨靖宇衣着简朴，面容憔悴，还真像一个整日劳作的工人。杨靖宇镇定自若地摇着辘轳，国民党兵上下打量了杨靖宇一眼，匆匆而过。
1928年春节后，杨靖宇腿伤还未痊愈，就请求到豫南开辟农村革命根据地。当时正值2月初，中共河南省第三次代表大会刚刚结束，会议决定发展豫南的游击战争，创建豫南革命根据地。杨靖宇被任命为豫南特委委员，负责武装斗争的组织工作。
国民党反动派抓不到杨靖宇，就对杨靖宇的家庭横加迫害。杨靖宇的家被抄5次，东西被抢光，房屋被烧，全家老少东躲西藏，妻子带着儿子逃到小郭庄的娘家避难，母亲到花山口陶楼杨靖宇的姥姥家躲避。
1928年3月23日，杨靖宇的女儿出生。杨靖宇于女儿出生的第五天赶到岳父家。一家人在这里团聚，母亲悲喜交加，哽咽着说：“你走的路，妈不拦你。妮子生下5天了，你得给起个名儿呀！”杨靖宇琢磨了一会儿说：“眼下革命处在低潮，但高潮一定会到来的。你们先躲避一些天，总会有好的时候。我看这妮的名字就叫‘躲儿’吧！”。（意思是不让女儿忘记国民党反动派的迫害。）杨靖宇的母亲点头说：“好！就叫‘躲儿’。”从此，“马躲”成了杨靖宇女儿的名字。1928年夏，敌人又到李湾村抄杨靖宇的家。为了不连累亲朋故友，杨靖宇的妻子带着两个孩子，搀扶着年迈的婆婆，在野外躲藏了1个月。
后来，“躲儿”在艰苦的岁月里渐渐长大了。一天，杨靖宇的母亲打开手中的包袱，对“躲儿”说：“这里面有你爹的一张像片、3本书、一件衣裳，咱分开拿，不要叫白匪军抢了去。”“躲儿”叫母亲把自己的小薄棉袄里子从后背心拆开，把父亲的像片缝在里面。此后，每当遇到困难或遭到敌人迫害的时候，杨靖宇的妻子总是把“躲儿’的小棉袄后心里子拆开，拿出杨靖宇的像片，含着眼泪看啊看……。一次，杨靖宇的妻子把照片摆在女儿面前，眼含热泪说：“你们要把像片保存好，等革命成功了，红军回来了，拿着像片去认你爹。”在国民党反动派的残酷迫害下，杨靖宇一家困苦不堪，度日如年，母亲和妻子先后病故。
1928年5月上旬，中共豫南特委派杨靖宇以特委巡视员身份到信阳巡视工作，并着手恢复同年4月被破坏的党团组织。经过杨靖宇的艰苦努力，党团工作得以恢复，至5月末，已有80人参加了重新登记。同年7月，中共信阳县委重建，杨靖宇任书记。由于敌人到处缉捕杨靖宇，根据领导的建议，杨靖宇将原名马尚德改为张贯一，以从母姓，牢记慈母培育，“一以贯之”地坚持革命。
在信阳，杨靖宇有时化装成挑着担子锔锅锔碗的“轱辘匠”，走街串巷，开展党的地下工作；有时化装成学生到师范学校从事党的秘密活动。一个周末，杨靖宇到信阳小南门外河边沙滩上，召集河南省立第三师范学校党团积极分子开会。突然，带着马队到河边饮马的一个西北军的骑兵连长走过来说：“你们这些学生是在开会吧，可不要干共产党，那个搞不得！”顿时，大家被他的话弄得非常紧张。只见杨靖宇欠了欠身子对那位连长摆摆手说：“你可真会开玩笑，我们是星期六没事出来转转，顺便坐下来闲聊天，谁知道共产党是啥样呢？”那个连长见没有什么可怀疑的，便牵马离开了。会议一直开到日落西山他们才离去。
1929年3月初的一天，几个便衣侦探到原信阳县委交通员吴少堂家搜查，杨靖宇正好在这时来到吴家。在这个危急的时刻，吴少堂的嫂嫂急中生智，冲着杨靖宇说：“我家就欠你二斗米钱，你今天一趟，明天一趟，天天来要，太逼人了。”杨靖宇一听此话，顿时明白了，于是当着便衣的面冷静地说：“大嫂，你这些话我都听好多遍了。啥都是假的，钱是真的。你今天非给我钱不行，不然我这样空手回去，怎么向老板交帐呢？”他边说边坐下，拿起水烟袋就吸。吴大嫂说：“你多在老板面前说些好话，缓限几天，一定给钱。”杨靖宇见几个便衣似乎对他不再怀疑，便慢慢站起来，无可奈何地将水烟袋往桌子上狠狠—摔，然后就要走，但是狡猾的敌人仍然对他半信半疑，遂将他抓到司令部。杨靖宇继续与敌人巧妙周旋，敌人毫无所获，只好将他释放。
1929年4月，党组织派杨靖宇到永城指导工作，此后，杨靖宇受组织派遣，又先后到洛阳、开封开展工作，化名周敏。此间杨靖宇曾两次被捕，均因无供无证获释。
