，当他听到姬汇伯和他的两个助手乱发议论时，忍无可忍，当面予以痛斥，暂时稳定了局面，但问题依然存在。他认为，只有杨虎城回来主持才能收拾这个局面，避免团体的分裂。当时冯钦哉、姬汇伯对杨回来都心存异志。于是孙秘密派姚丹峰赴日本（为了保密，姚的路费都是孙自己垫支的），向杨虎城汇报了情况敦请杨尽早回国。杨感觉问题严重，事关团体大事，遂决计回国。这可以说是杨回国的一个重要催化剂，从“中秋会”而创的这个“团体”在杨虎城的心目中，比什么都看得重。杨虎城回到部队后，面对着诸多的困难和矛盾，他首先设法解决部队的给养保障，并亲自出马大抓部队的训练和纪律问题。李志刚回忆说：我是在临沂与杨见面的，他让我住在师部，不久熟悉了部队情况，让我到泰安担任与孙良诚的联络工作及领运经费和军用品。那时，暂编第二十一师的经费数目没有确定，冯玉祥每月仅给二三万元的维持费。孙良诚对杨部的费用一点也不肯多发，其他军用品更是一点不发。
整顿部队 重塑劲旅（2）
我再三交涉，均无结果。孙良诚的秘书刘垮灶告诉我，孙良诚在冯的控制下，不敢多发，要想多领，非去开封见冯不可（此时冯、蒋关系正恶化，冯回到开封）。我去开封见冯。冯装作同情杨部的困难，告诉我说：“虎城部队的困难，我是知道的，但中央没有他的部队的经费预算，这点维持费还是我在第二集团军内部挖肉补疮来拨付的，希望你把我的苦衷转告虎城。你既然来了，我就打电报给孙良诚对费用和子弹酌量多发些。”他是把过推于蒋介石，把功劳归到自己。我又跑到泰安，向孙良诚多领了一万元，又领了一些子弹，解回临沂。我把冯的话说与杨听，杨冷笑着说：“冯先生这一套，我算领教够了！”杨离开部队半年多，回来时，全师官兵在物质生活上虽极困苦，在精神上却大为振奋，相信杨回来一定有办法，因为这个部队是他一手带出来的。
他的办法是什么呢？主要是抓训练和教育。严冬腊月，他一早就到操场亲自督练，操练后经常集合官兵讲话。他讲话的内容多属革命、反帝、救国、爱民的道理，有时还引述他在日本时的一些观感来教育官兵。我听过他几次讲话，迄今还留有深刻的印象。他讲过：“日本确是一个工业强国，但它是帝国主义，对内贫富悬殊，对外则进行侵略，现在还强占着我国的胶济铁路和沿线城市，并且掩护土匪，苦害我人民。我们现在的任务第一是消灭这些土匪，再进一步就是收回胶济铁路。”“日本当局对我国派去学军事的留学生并不认真教军事本领，秘密技术和军事演习还禁止中国留学生参加。”他对剿匪，强调：“一定要和当地民众合作，才能迅速肃清。因之，军队要讲纪律，不扰民，并尽可能帮助老百姓。”③
李百朋、韩寅生等人回忆说：杨将军由南京径赴泰安面见孙良诚请示任务并商谈部队补给问题。先是惯匪刘桂堂（即刘黑七）人枪约六七千，盘踞沂蒙山区，以莒县为其活动中心，张宗昌残部顾震人枪约四五千，盘踞诸城一带。两匪同恶，共约万余人，在胶东各县烧杀淫掠，无恶不作，孙良诚屡次派队进剿，均未收功，故此次调我军集结临沂，即为进剿刘、顾两匪预作准备。迨杨将军见孙良诚后，孙面委以剿匪重任。杨将军关心民瘼，一贯以保国卫民为职志，直任不辞俟将部队补给问题谈妥后，于1929年2月，由泰安直趋临沂。时部队已无数日到达。当时闻讯，师部各处负责人及各旅、团长均赴城外迎接。随杨将军同行和陆续前往迎接之米暂沉。马青苑、姚丹峰、王宝珊、白志钧、张国光等同时返回（谢葆真留住南京，我军到达莒县后派人接回）。
第二天，杨将军集合全体官兵训话，除谈了他离开部队的情况外，着重指出山东等于我军第二家乡，应严守军纪，保境安民，恪尽军人天职，并对今后任务有所说明。接着即着手大整顿部队。我军在长期困守和艰苦行军之后，因补给困难，官兵恒终日不饱。在此情况下，纪律不免松懈，士气不免低落，杨将军认为要扭转此种风气，首先，从教育入手，规定每晨5时起床，点名后举行朝会，官佐一律参加。朝会上杨将军亲自讲述革命道理，政治处长王惠作政治讲话。在一天朝会上，师参谋长王一山因迟到被罚立正。又在一次操场上，因第三旅迟到，参谋主任仲兴哉被罚跪。团长张自强、党振海均因事受罚，当时教育之严，可以想见。其次，是抓紧术科训练，每天两操两课，部队长都必须亲自参加。尤其注意战斗演习，如野外勤务和夜间教育等。杨将军每日亲自巡回视察各部队教育进展情况，赏罚严明，丝毫不徇情面。再次是严厉查禁官兵吸食烟毒。在我军移防单县期内，因杨军长时离开部队，且久未获得正式编制，个别军兵感觉前途无望，意气消沉，染上吸毒恶习，日久成瘾，陷溺愈深。不特百事废弛，而削弱部队战斗力。
杨将军毅然下令严禁。但因积习难改，一些瘾官兵仍阳奉阴违，暗地吸食，杨将军亲自带兵搜查，查出九团团副刘顺和烟具，遂立即扣押。翌日在操场上宣布并出示烟具证物，将刘顺和以违抗命令，当场枪决，一军皆惊。从此人人戒惧，烟毒得以肃清。在杨将军雷厉风行，大加整顿之下，军容大大改观，战斗力大大加强，凡此种种，均为日后剿匪胜利打下基础。同时我军的口号是不扰民，不害民，爱护民众。杨将军对此执行的非常严格，官兵也非常自爱，从无扰害民众之事发生。临沂整训期间，也正是刘、顾等匪更形猖獗之际。莒县、诸城、沂水、日照等县民众均先后派代表前来请求从速清剿，以解倒悬，并自愿供应我军剿匪期间的军用粮秣。杨将军轸念民艰，允俟部队部署完成后即日进剿。④
山东剿匪 展现虎威（1）
部队经过杨虎城的一番整顿，精神面貌焕然一新；军事素质大为提高；军民关系大为改观。为开展剿匪奠定了胜利的基础。当时，刘黑七匪部驻地莒县和大店并与顾震匪部互相策应，因而进剿不易。为剿灭这两股匪徒，杨虎城采用了远交近攻策略，决定先剿刘部，再以战胜之师清剿顾震。于是先派人与顾震连和，约以各不相犯，并划定诸城一带为其势力范围。1929年2月下旬，除留下一个营驻守临沂外，杨虎城亲率全师人马分兵三路：中路由杨将军亲自督率，左支队赵寿山，右支队武勉之，同时向刘黑七匪部驻地莒县、大店发动进攻。双方激战一整日，于当晚攻克大店。土匪大败溃退，杨部乘胜追击，中途土匪又在大店以北组织反击，但被击退，匪伤亡惨重，向莒县方向窜去。是役俘获匪军人枪数百，杨部手枪营王振华营长背部被炸片击成重伤，杨虎城鼓励士兵，乘胜向莒县方向追击，匪因大店之役，精锐损失殆尽，丢魂丧胆，军无斗志，略一接触，即行溃散，左支队背机占领莒县，虏获架退式山炮两门，各种枪弹及军用物资甚多。刘匪只身仓皇逃出莒县，连眷属也遗弃不顾。特务营营副杨复震带队继续追击，将刘匪赶出莒县北20里外。部队稍事整理，即展开对顾震匪部之清剿。
3月6日，致电孙良诚报捷：“军急。限即刻到。泰安探投。总指挥孙鉴：（一）大店镇之匪被职部包围后顽强抵抗，于21日拂晓下令攻击，悬赏十元。官兵血肉持搏，奋不顾身，至下午10时，第一团攀梯先登，第四团继进，遂将该城攻破。白刃相接，巷战多时，除少数漏网外悉数歼灭。（二）刘黑七于当晚亲率匪众数千人来援，被职部埋伏兜击溃败，成列向莒县方面逃窜。（三）职部现分两路向莒县方面尾追。（四）职部伤亡官兵一百五十余名。（五）夺回战利品正在清查中。特闻。师长杨虎城叩。”
孙蔚如1942年说：“1929年出兵进击刘桂堂（小名黑七）。虎城率武勉之、韩寅生、张自强、韩澄清各团经大店向莒县为主攻，予率赵寿山、段向武亳州两团经夏镇向莒县为助攻。途中得报，夏镇敌已被寿山驱逐，大店为刘重兵，未能得手。遂与虎城变计，夏镇方面只留寿山一团担任，予率向武团亦增向大店。各军到齐，予率勉之、向武两团攻南面，虎城率寅生、自强攻西面，澄清团作总预备队。南面先破之，第七团王劲哉营长率骑兵一排先冲入莒县。城内刘部尚数千之众，仓皇奔窜，我即占领莒县。劲哉进城时，扰攘中，兵士二人抢掠邮局财物若干。予即令赵团长寿山查究，既得明证，即将该肇事兵二名正法。后虎城到，报告之，而虎城则谓：‘应由带队官负责。’要杀劲哉。予念攻克莒县，哉之功甚大，不可忽人大功而录人小过，因与力争，终予劲哉撤职。”⑤
孙蔚如这次救下了王劲哉（外号王老虎）这只虎真可谓“养虎为患”，最终这只虎在西安事变后期背叛了“团体”咬了杨虎城。击溃刘黑七部后，杨虎城立刻挥师诸城，直捣顾震匪巢。顾震匪部是军阀残余，盘踞诸城一带已有数年，平日与刘黑七部匪联和，仅以自保。当此次杨军剿灭刘匪部。顾震虽有唇亡齿寒之感，但以为与杨军有约在先，尚企图苟延残喘。杨虎城以战胜余威，对此釜底游魂，并未使用大的兵力，仅派一部进剿，顾匪仓促抵抗，一战即退，杨军势如破竹，进占诸城，顾匪仓皇逃窜至七十里铺（留在诸城之军需辎重及其眷属，均被杨军截获，连顾匪之皮大衣也被杨将军卫士白志钧所得。杨虎城严令其交回顾震家属，不准私取一物）。杨军跟踪追击，匪部再退至王台，此时天已薄暮，杨军即在七十里铺宿营。顾匪在王台收拾余烬，翌日拂晓向我猛烈反扑，经武勉之部迎头痛击，相持约数小时，匪部被彻底打垮，溃不成军，顾匪只身逃窜大连，残匪向日照、安丘等地分头逃窜，不久便星散了。
3月13日，电报克复山东诸城详情：“（衔略）顾震欺骗政府，盘踞诸城，阳取中央之委任，阴奉张逆宗昌之命。泰安孙主席体念民艰，始于宽，冬日电令该部移防，以免糜烂地方，诸城防务，即由敝师接守。敝部当即一面派员往诸城接洽防务，一面派队前进。讵知该逆恃张宗昌为后援，置命令于不顾，遂指示刘匪黑七残部，盘踞莒、诸交界白马山、北杏一带，接济刘匪大批弹药，并派兵一旅助刘为虐，延烧附近七十余村，架去男女肉票八九百人，杀无钱肉票120人，剖腹截肢，弃于原野，为状之惨，目所未睹。敝部以奉有明令，并应民众呼吁，遂令第三旅旅长孙蔚如率领第一团团长武士敏、第五团团长张自强、第七团团长赵寿山及各特种兵进击顾匪。幸赖官兵奋勇，及民众援助，激战一昼夜之久，已于当晚攻下白马山、北杏等处，逆匪数百溃走，退守枳沟。是役当场毙匪三百余人，俘虏四五百名，救出肉票六百余人，夺获该师旅团营关防图记32颗，师旅团营部旗帜19方，枪械甚多。敝部于攻克北杏后，即乘势进攻枳沟。
山东剿匪 展现虎威（2）
该处为诸城西南重镇，城壁坚固，顾震亲率三团之众，与刘匪残部，共约四千余人，凭险顽抗。经敝部奋勇登城，血肉相搏，逆匪不支，遂于文日上午7时占领枳沟。逆匪狼狈东奔，当即派第三旅旅长孙蔚如率队跟踪尾追，并令右路第八团团长段向武是夜前进。该逆经枳沟大挫之后，溃不可支。当被我军两路直蹈诸城下，该逆即弃城潜逃。截获辎重甚多。查内有张逆宗昌委状公文及勾结日本帝国主义函数十件，而该逆作乱证据，已成难掩饬之事实，罪恶滔天，罄竹难书。诸城秩序安谧。除派队尾追，并分别呈报通告外，谨电奉闻。国民革命军第二集团军暂编第二十一师师长杨虎城叩，元日。” 杨虎城此次出兵不到一个月，即将盘踞胶东多年两股约有万余人之匪部彻底肃清，士气昂扬，军心振奋。一方面有赖与指挥有方，官兵用命；更得益于临沂整训以后，纪律严明，军行所至，秋毫无犯，得到民众拥护和民众之大力支持。许多百姓主动为剿匪引路、送饭、转运伤员，使部队无后顾之忧，得以奔赴事功，完成任务。当攻克诸城后，冯玉祥来电嘉奖，此电由临沂沿途转递，直到七十里铺战役结束，方才接到。电文中有：“吾弟此次进攻胶东，战必胜，攻必克，进展之速，以致电报无法投递”之语，可以想见当日进兵之神速。至于官兵在艰苦情况下之严守革命纪律，不但民众有口皆碑，就俘获的刘、顾两匪之家属，也无一人遭凌侵犯。
杨虎城将刘、顾两匪首的家属交由军需处长窦荫三负责