毙匪首郭风鸣，建立了福建省第一个红色政权——长汀县苏维埃政府。毛泽东亲自指导长汀附近四个县的农民武装成立了自己的赤卫队，将其编为闽西工农红军第4团、第5团，全称红军第二路军，由张赤男任总指挥。1930年3月，闽西红军正式编为中国工农红军第4军第3纵队，成为井冈山根据地革命武装的一部分。杨成武相继担任连政委、大队长等职务。不久，张赤男担任了红12师政治委员，杨成武担任了该师政治委员会办公厅秘书、秘书长。1931年春，杨成武又调任第11师第32团政治委员，成为红军的一名指挥员和政治工作人员，先后参加了第一次、第二次反“围剿”战斗。在第三次反“围剿”中，杨成武率部奉命攻打赣南新城，阻击来自广东增援的国民党军余汉谋部，掩护红3军团攻打赣州，与余汉谋部独立混成旅展开了一场恶战，全歼敌混成旅。在这次战斗中，师政委张赤男、副团长肖君玉都光荣牺牲。新城战斗结束后，部队到长汀墟整编，由聂荣臻、林彪代替毛泽东、朱德分别担任红1军团政治委员、军团长，并由罗荣桓任红1军团政治部主任，彭枯任副主任，陈奇涵任参谋长。在第四次反“围剿”中，聂荣臻亲自来到32团，和杨成武一起指挥战斗。在宜黄仙人桥伏击战中，杨成武率领部队与友军活捉敌59师师长陈士渠，缴获敌人三十多挺捷克式轻机枪。战斗结束后，聂荣臻表扬32团，说在没有团长的情况下完成任务好，抓的俘虏多，说杨成武是“模范团政治委员”。第四次反“围剿”胜利结束，红4军第10师改为第4团，杨成武任团政委，耿飙任团长。红1军团第2师红4团是红军中一个老团，它的前身是叶挺领导的北伐军第4军独立团，参加过南昌起义、“湘南暴动”等。红军长征时，红4团担任前卫任务，抢占九峰山，克道洲，打了不少硬仗，突破了敌人一道道封锁线。尤其是湘江一战，红4团为了掩护中央主力红军强渡湘江，损失很大。杨成武在指挥部队作战时，脚再一次负伤，敌人要抓活的，战士们奋不顾身才把他救下来。
遵义会议重新确立毛泽东在中国工农红军中的领导地位，在毛泽东的英明领导下，中央红军四渡赤水，两占遵义，佯攻贵阳，威慑昆明，巧渡金沙江，粉碎了蒋介石在川黔滇三角地带剿灭红军的计划。中央红军强渡金沙江后，继续北上，来到大渡河畔。国民党军队紧追不舍，他们希望凭借大渡河天险堵截红军，完成对红军的包围。蒋介石妄想让共产党做石达开第二。此时，红4团接受飞夺泸定桥的战斗任务，杨成武和团长王开湘率领部队飞奔320里，来到泸定桥西岸。桥上的木板已被国民党军撤走，只剩下13根光溜溜的铁索。但这些没有吓住红4团的勇士们。红4团马上由22名共产党员组成精干突击队，每人肩上斜挂一支驳壳枪，背插马刀，手持冲锋枪，腰间缠满了子弹和手榴弹，冒着对岸射来的猛烈炮火和密集枪弹，扶着桥栏索，踏着摇晃不定的铁索，向对岸奋勇前进。经过两个小时的激烈战斗，将守敌全部击溃，保证了中央红军主力顺利地渡过大渡河。中央军委在庆功大会上，为红4团颁发了写有“奖给飞夺泸定桥的红4团”的锦旗。1984年，杨成武将军回忆飞夺泸定桥的壮举时，仍很激动，满怀豪情写下了“无边风雨夜，天堑大渡横。火把照征途，飞兵夺泸定”的诗句。
1935年8月1日清晨，杨成武突然接到军团首长的通知，说毛泽东和党中央指定他所在的红4团担任红军先遣团，要他火速赶到毛儿盖，直接到毛泽东那里去当面领受任务。原来党中央决定过草地，从水草丛生、不见人烟的草地上走出一条北上的行军路线来，毛泽东亲自点兵，要红4团作为先头部队在前面开路。遵照中央军委和毛泽东的指示，8月21日清晨，红4团肩负着中央军委和毛泽东的重托向草地进军了。在没有道路、没有人迹、没有山石和树木的沼泽地里整整滚爬了六天，终于像毛泽东所期望和预料的那样胜利地闯过了草地，开辟了红军北上的通途。许多年后，杨成武为这段经历写下一副联语：绿草掩泥潭，征途艰险，三军踩开一条路；白云藏风暴，任重道远，统帅帷幄万里程。
长城抗战爆发后，国民党政府与日本侵略者先后签订了《塘沽协定》、《何梅协定》、《秦土协定》等一系列卖国妥协的条约，使中国的河北省北部和察哈尔省的主权大部丧失。红军胜利到达陕北后，中国共产党为适应全国政治形势的变化，制定了新时期的策略路线和军事战略。1935年12月17日，中共中央在陕北瓦窑堡召开了政治局扩大会议，决定组织东征军，东渡黄河，到日本占领区联合一切抗日武装力量，发动和开展游击战争。旋即建立了“抗日先锋军”，毛泽东任政治委员，彭德怀任司令员。下辖林彪、聂荣臻指挥的红1军团和徐
海东、程子华、刘志丹指挥的红15军团。杨成武任红1军团第1师政治委员，师长是陈康。东征胜利结束后，红军主动撤回黄河以西根据地。不久杨成武进入红军大学学习，从红军大学毕业出来改行当红1师师长。不久，“七七”卢沟桥事变拉开了全民抗战序幕，国共两党实行第二次合作，中国工农红军改编为国民革命军第八路军和新编第四军。红1师改编为八路军第115师独立团，杨成武任团长，熊伯涛任参谋长，罗元发任政治处主任，作为第一批开赴华北战场的部队，参加了平型关战役，任务是深入敌后负责阻击涞源、广灵两个方向的日军援兵，保证兄弟部队全歼平型关的日军。
抗战初期，华北战场呈胶着状态，日本侵略军妄想全面控制华北，使其成为全面侵占中国的又一个大后方。国民党军在忻口、娘子关对日军进行了有效打击，使华北抗战出现了新的局面。为配合忻口战役，杨成武率独立团在敌后战场多次进行伏击、袭击、出击作战，破坏敌之联络，断绝敌之交通，阻止敌之开进，截获敌之弹药、给养，以游击战的手段与日军在晋东、晋北、冀西、察南地区周旋。在很长一段时间里，广灵至灵丘的公路一直被独立团牢牢控制，给坂垣师团后方补给造成极大的困难，沉重打击了日军第5师团的后方补给线，有力地支援了友军在忻口的作战。经过几次战斗，到1937年10月，独立团先后占领了涞源、广灵等重要城镇，建立了抗日革命根据地。这时，独立团由出征时的1700多人发展到7千多人，奉八路军总部命令扩编为八路军独立第1师，杨成武任独立第1师师长。一个月后，晋察冀军区成立，聂荣臻担任军区司令员兼政委。八路军独立第1师所开辟的察南、雁北、平西及保定以西的冀西地区，被划为晋察冀军区第一分区，杨成武被任命为独立第1师师长兼第一分区司令员，邓华任师政委兼第一分区政委，熊伯涛任分区参谋长，罗元发任分区政治部主任。
1939年秋，法西斯德国入侵波兰，英法对德宣战，第二次世界大战在欧洲爆发。日寇在中国一方面对国民党军正面战场减弱军事进攻，企图用政治手段逼迫蒋介石政府投降，同时唆使汪精卫集团建立傀儡政权；另一方面对共产党领导的敌后战场加紧进行大规模“扫荡”，以巩固其占领区，妄图加快吞并、灭亡中国的步伐。10月31日，杨成武接到通知赶到阜平县青山村，准备参加晋察冀分局组织工作会议和晋察冀军区成立两周年纪念大会，突然得到情报：日军华北方面军驻蒙军独立混成第2旅团长阿部规秀中将亲率第2、第4大队约1500多人（伪军除外）进犯涞源，企图寻找八路军主力决战。杨成武当即请战，率部在黄土岭以东上庄子至寨头之间狭谷进行伏击，结果这次伏击战，共毙伤日军900余人，阿部规秀也被迫击炮炸死。阿部规秀是八路军、新四军在整个抗日战争期间击毙的日军最高将领，此时杨成武才25岁。八路军25岁的年轻将领打死日寇52岁的老将，这个大快人心的消息在解放区传颂一时，蒋介石也特意给八路军总部发来电报询问情况并说要给予奖赏。
1944年，杨成武调任冀中军区任司令员，担负起恢复、巩固和发展冀中平原抗日根据地，积极准备战略反攻的任务。杨成武在任冀中军区司令员期间，率冀中军民在冀中平原进行了丰富多彩的地雷战、地道战、交通战、平原游击战、水上游击战，有力地打击了日本侵略军。
1945年8月，日本帝国主义宣布无条件投降。抗战硝烟未散，蒋介石又燃战火，杨成武部很快又投入到了解放战争之中。1947年秋，东北民主联军发起秋季攻势，蒋介石急令华北国民党军五个师进至北宁线出关增援，杨成武决定沿路伏击敌援兵。10月16日，石家庄守敌第3军军长罗历戎果然率军部、第7师、第22师第66团送上门来。杨成武把主力部队布置在清风店地区，经过三天激战，共歼灭国民党军1。7万余人，其中俘敌第3军军长罗历戎以下官兵1。1万余人，击落飞机1架，开创了晋察冀军民打歼灭战的新纪录，对扭转华北战局起了重要作用，并有力地配合了东北民主联军的秋季攻势。清风店战役刚结束，中央军委决定由杨成武部乘胜夺取石家庄。11月5日夜，攻城部队突然包围石家庄外围各据点，全线发起攻击。8日，我军全部扫清敌外围守军据点。10日下午4时，我军向市区发动总攻，很快突破敌人两道防线，进入市区作战，到深夜全歼石家庄市区守军。此战，我军共歼国民党军2。4万余人，缴获坦克9辆、火炮100余门、枪1万余支、铁甲车5列、机车90台、汽车280辆及大批弹药和物资，拔除了国民党军在华北的一个战略要点，使晋察冀和晋冀鲁豫两大解放区连成一片。同时，开创了人民解放军夺取大城市的先例，为日后进行城市攻坚战提供了宝贵经验。为此，中共中央特发电嘉奖。
1948年夏秋之交，在解放战争进入战略决战的重要时刻，党中央和毛泽东把杨成武召到西柏坡接受新的任务：以第1纵队、第2纵队的两个旅、第6纵队为主，组成第3兵团，并统一指挥晋绥的第8纵队、内蒙的两个骑兵师以及晋西地区的地方部队，由杨成武任司令员，李井泉任政治委员，李天焕任副政治委员。第3兵团的主要任务是进军绥远，开辟新的战场，把傅作义的主力拖在平绥线，调动他们向归绥转移，使华北的敌人不出关、少出关。在进军绥远前，毛泽东语重心长地提醒杨成武说：“这不是当年在毛儿盖过草地，那个时候你带一个
团，不过2000人。现在是个兵团，四个纵队，还有骑兵师、地方武装、上万的民工。10多万人都要吃饭呀，能说没有困难吗？”毛泽东随即给杨成武发出四点指示：第一，要有充分的思想准备。要把可能遇到的困难想够想透，根据存在的困难，依靠群众，想出如何对付的办法。第二，要做好充分的物资准备。抓紧武器、弹药的补充，要把解决吃饭问题当作能不能站住脚的最大的问题来抓。第三，就是要首战必胜。第一仗要把集宁那个师消灭，然后从集宁由东向西同时进军，占领包头，把绥东、绥南、绥北都占领了，只留下一个归绥，那我们的军队就站住脚了。第四，全体指战员都要学会做群众工作，宣传党的政策、党的主张。
绥远是蒙、汉、回、满、藏等民族聚居地区，是傅作义苦心经营二十多年的老窝。第3兵团进军绥远这一突然行动，不仅使傅作义惊恐不已，蒋介石惊慌失措，就连国民党的靠山美帝国主义也感到势态严重。美联社惊呼这是一个“绞杀性的进攻”。杨成武出师塞北，连克集宁、丰镇、凉城、和林、清水河、兴和、陶林等城镇，控制了丰镇以北到归绥以东的平绥线，后又攻下包头、大同，并围困归绥。傅作义部后院起火，疲于西援、东调，手忙脚乱。傅作义尽管手握60余万重兵，对于东北我军展开的凌厉攻势，却无暇旁顾，有力地配合了辽沈战役的顺利进行。
第3兵团胜利地完成了进军绥远的作战任务后，回师参加平津战役，并首先配合进关的东北野战军第4纵队进行了张家口围歼战，歼灭敌11兵团五个师、两个骑兵旅，共6。5万余人，解放了察哈尔省的首府——张家口市。1948年11月1日，为了适应战争形势发展的需要，中央军委对人民解放军进行了统一整编，第3兵团改称第20兵团，杨成武任兵团司令员，李天焕为兵团政治委员。12月28日，接到平津战役前线总前委林彪、罗荣桓、聂荣臻来电，第20兵团向东进至北平郊区，参加包围并和平解放北平的作战。平律战役结束后，遵照中央军委指示，第20兵团于3月12日挥戈南�