人员物资，二来开开会，总结一下遵义会议以来的军事工作，把上层指导思想再统一一下。３军团先头部队，５月８日就到了会理城郊，意在攻占会理城。毛泽东亲自给彭德怀交待说：“最好能打下会理城，实在拿不下来，就把他们困在城里，别让他们出城来打搅我们。”
彭德怀说：“遵义都打下来了，还能打不下个会理城！”
因进军神速，部队都还不大了解会理城的情况。会理县城，虽边远小城，却是个老城。史载：“汉置会无县，萧齐时没于獠蛮，后没于南韶，置会川都督府。”历史上经过多次战事的会理城，竟有高１２米、宽６米的城墙，砖石浆砌，很是坚固。城里守敌是刘文辉所属川康边防军刘元璋部的刘元瑭旅，近两个团的兵力。刘无瑭旅在通安同渡江后北进的红军打过一仗，是败退到会理城固守待援的。刘元瑭手段毒辣，他把城墙外的民房全都烧光，使红军难以隐蔽接近；把在通安战斗中被红军俘虏又释放的几十个士兵通通杀掉，以防他们为红军作宣传。他要“踞城固守”，封闭了所有城门，决心死守。
３军团包围县城是顺利的。部队一到城郊，很快便夺取了城东的东山寺和城西南的西来寺等制高点，方圆不过数里的会理城便在红军的火力控制之下。谁也没有想到，小小会理城竟是一块骨头。彭德怀赶到前沿制高点，手举望远镜一观察，心里禁不住格登了一下，也想起了毛泽东说的“实在拿不下来”的话，便止不住骂道：“他娘的，小小一个县城，竟有这么高的城墙！不行，要想办法拿下来，一定要拿下来。要不，３军团成了吹牛匠了。”
彭德怀坐镇前线指挥。他令１０团担任围城任务，１１团攻东城门，１２团攻西城门。战斗９日打响，迫击炮、机枪、步枪一齐向城里开火，进行强攻。整整打了一天一夜，部队还是没能进了城。彭德怀骂娘道：“他娘的，一个小小的会理城，还这么费手脚！”干部团的肖劲光说：“那就围吧，围死它！”彭德怀说：“不行，还得想办法！不就是城墙上不去么，挖地道，从底下钻！”彭德怀便要副参谋长伍修权组织坑道作业。会理城围了一个星期，挖了一个星期的地道。最后地道是挖成了，结果因炸药太少，爆炸力又太低，５月１４日起爆，两处炸点都没能把城墙炸塌，会理城终于没有打下来。
彭德怀一边操心攻城的问题，一边参加会理会议。会理城没有攻下来，会议上又因林彪的那封“换帅信”把他牵了进去，搞得他内外交困……
会理政治局扩大会议是在会理附近的铁厂村召开的，参加会议的有政治局委员洛甫、周恩来、毛泽东、朱德、陈云、博古，候补委员王稼祥、邓发、刘少奇、凯丰，军团负责人有林彪、聂荣臻、彭德怀、杨尚昆。会议的主要任务是总结遵义会议以来的战略方针，确定红军过金沙江后的行动任务，统一领导核心的认识。会议在洛甫作了形势问题的报告后，毛泽东作中央红军四渡赤水以来的军事工作总结。本来，毛泽东在作军事问题的总结时，他脑子里就装着董老和徐老在金沙江边的“进言”，他只想正面地阐述“四渡”以来的运动战思想，同时不点名地回答林彪等提出的不同意见，这是为进一步统一领导思想所必须的。那时，开会发言都没有讲稿，都是即席而谈。就在毛泽东发言当中，有人插了进来说：“我们能胜利地渡过金沙江，说明四渡赤水以来的运动战是完全必要的，毛泽东同志的指挥是完全正确的。有同志上书中央‘三人小组’，要求撤换中央和中央军委的军事指挥，这是个原则问题，是执行不执行遵义会议决议的问题，应当得到认真的解决，求得分清是非。”
一个插话，使会议的气氛一下子变得紧张起来，“这样的严重分歧，是该好好谈一谈的，不能再拖。”会议一下子便转到了对林彪的批评。林彪年轻气盛，性格却又内向，他不怕事，却也不吭声。他也估计到这一关是非过不可的，只好闷头听着。毛泽东一看难以压住会议对林彪的批评，而且，他也委实觉得这个问题是比较原则的。林彪太狂。便说：“好吧，反正我也起了个头了，大家就来谈谈四渡赤水的是非得失吧。”聂荣臻不是政治局成员，却是１军团的政治委员，是知情人，他不得不作一个比较充分的发言，他首先说了林彪是怎样同彭德怀通电话的，林彪是怎样坚持要发那封信的，他又是怎样劝阻而没有劝阻了的。他说：“林彪同志主要是对四渡赤水之战有不同的看法，有意见，特别是在鲁班场战斗失利之后。我以为，林彪同志的意见是不正确的。四渡赤水之战，总的战略目标是要渡过长江，实现同４方面军的会合，这个战略意图是遵义会议作了决议的。因此，‘四渡’是遵义会议决议的贯彻和实施。林彪同志却把它看作是个人的随意指挥，这是不恰当的。四渡赤水为什么有四渡，而不是一渡，两渡，三渡？没有办法嘛，过不去嘛，只有在运动中寻机消灭敌人，摆脱敌人，才能找到机会，在可行的地段上，或是渡过长江，或是渡过金沙江。既然是运动战，哪有不多走路的呢？林彪讲的弓背弓弦，其实，运动战更多的恐怕就是走弓背，而不是走弓弦。只有走弓背，才能隐蔽自己，出其不意。当然，部队多走了那么多的路，很疲劳，有些怨气，这是难免的。但我们是指挥员，看问题总还得宽广一些才好。现在事实证明，我们渡过金沙江了，四渡赤水之战是成功的，战略目的达到了。所以，我曾同毛泽东同志谈过，四渡赤水之战，从军事上讲，终点是渡过金沙江；从政治上讲，是实现同４方面军的会合。而林彪同志的信，恰巧是在我们将要摆脱敌人，成功地渡过金沙江的时候，这不能不说是一种缺乏战略上的思考。也许他是看到机会来了，怕再兜圈子？要是这样，大可向中央提出自己的意见来嘛，为什么要写那么一封信，劝都劝不住？我就说这么多。”
接着是陈云、王稼祥、刘少奇、凯丰等发言。陈云主要是讲，对中央有意见可以提，不要动不动就撤换这个撤换那个。我们不能重犯过去‘左’的错误。王稼祥主要讲了几句建党以来的历史，说解决中央的正确领导不容易，作为相当负责的干部，要能正确地认识中央领导，爱护中央的正确领导。刘少奇的发言，着重批评了林彪的骄傲情绪，说１军团在江西，在西征路上，打了许多胜仗，有很大的贡献，是红军中的主力军团，但是骄傲不得，骄兵必败，这是历史教训。刘少奇在发言中，提到他同杨尚昆联名写给中央的一封反映部队思想情况的信，说这封信彭德怀同志没有签名，他有些不大理解。说他起草的这封信，完全是想让中央了解部队的一些真实情况，并没有别的任何意思。刘少奇的这一段话，本意是想为他的信作个说明，却又一次拖了彭德怀一把。毛泽东想把话接了过去，正要张嘴，凯丰举手要求发言。凯丰的发言是这次会议上最激烈的，调子最高。他也许是吸取了遵义会议的教训，这一回他坚定地站到了毛泽东一边，他说：“我完全赞同刚才有同志说的，林彪的问题是原则问题，是组织原则问题，一个是反遵义会议决议，一个是要把自己凌驾于党之上。这还了得么？马克思主义的党是有纪律的党，铁的纪律！也是承认权威的党，破坏权威，也就是破坏了党。我认为，林彪的问题，应该严肃对待，严肃处理。”凯丰的话，把林彪激怒了，他站了起来，说：“说我的信是认识问题，有错误，我接受；说是组织原则问题，我不同意。我的信是写给中央的，是一个建议，是非组织问题吗？”凯丰回道：“毛泽东同志的领导地位是不是遵义会议确立的？你也是参加了遵义会议的嘛！”林彪对道：“是呀，岂止我参加了，你也参加了嘛，我没有你那么跳得高就是喽！”凯丰又道：“有错误就改嘛！”周恩来一看要吵了起来，便扬扬手说：“走题了，走题了。我们要讨论的是毛泽东同志的军事工作总结。”他停了停接着说：“当然，同志们，刚才大家对林彪同志有所批评，这是不能叫着走题的。林彪同志的信是不妥的，可以说很不妥当。但是，关于对林彪同志的批评，我以为，毛泽东同志讲了他的正确意见，也就批评了林彪同志的错误意见。下面还是请毛泽东同志讲完他的总结吧。”
毛泽东这才接着讲他的军事工作总结。他在报告中着力强调的是，在强敌围追堵截的情况下，弱小的红军必须坚持运动战。他说：“即使在同４方面军会合以后，这种战法还是少不了的。运动战可以选择一个战场，也可以有两个以上的战场。四渡以后，我们把９军团留在北线独立作战，这一着取得了很大的成功。要是没有９军团在北线牵制吴奇伟和周浑元，还有王家烈，我们哪有黔西南的大迂回，哪有滇北的隐蔽进至金沙江？罗炳辉在北线也是采取运动战的办法，这是他的成功所在。运动战的精髓是什么？有人说就是一个走字，这是不言而喻的，运动运动，不走还叫什么运动？但我以为，运动战最诀窍的东西是调动敌人，指挥敌人，一个一个的活剧就靠这个东西子才能演得起来。一渡后把敌人调向扎西地区，二渡后我们打了大胜仗，三渡后又将敌人调至叙、古地区，四渡后把敌人调向黔东，威逼贵阳又调出滇军。这样的七调八调，蒋介石的几十万大军就莫奈我何了。这个调动敌人的问题，除了作战场的全盘观察之外，在中国，还有一个好的条件需要利用起来，这就是敌人营垒中的矛盾。蒋介石同地方势力的矛盾，各省军阀之间的矛盾。这个问题我在遵义会议上讲过。总而言之，运动战就得运动，既运动自己，也运动敌人。刚才聂荣臻同志说得好，运动战不多走路是不可能的，而且更多的是走弓背，而不是走弓弦。这就说到林彪同志的那封建议信了，他就是那么一个片面性，只见其弦，不见其背。然而，他的意见为什么又那么郑重，而且有些尖锐性呢？这是因为有人在鼓动。我说的是，林彪的信是彭德怀同志鼓动起来的，都是右倾……”
轰！会场嗡嗡起来。彭德怀这才想起他还没有看过林彪的那封信，他想看看那到底是怎样的一封信。周恩来见他用目光在搜索什么，便把手头的一张纸递给彭德怀。彭德怀一看，竟轻轻地笑了一下，心里在说：“我当是怎样的一封信哩，不就是个战场指挥问题嘛。”他把信还回给周恩来，回到坐位上，依然笔挺地坐着，一句话也没说。大家也都愣了，等了他好久，他才淡淡地说了几句：“林彪的这封信写得不对头，遵义会议才改变领导，这时又提出来改变前敌指挥，不对头；特别是把我提出来，就更不对头了。说到右倾，前一段是有那么一点，因鲁班场和习水两仗没有打好，有些烦闷。烦闷就是右倾。”他没有提到林彪给他打电话，没有说及他在电话上是怎样回答林彪的，也压根没有去申明他根本不知道林彪写信的事。也许是想为林彪分摊点什么吧。因他不认帐，却又作了自我批评，这个看来很严重、叫人记取了几十年的问题，竟然就这么过去了。会议并没有展开对彭德怀的批判。４０年后，彭德怀在他的《自述》中追述道：“大概是５月中旬，中央在会理召开了一次会议，名曰‘会理会议’。这时有前述刘少奇和杨尚昆给中央军委的电报，又有林彪给中央军委的一封信，林信大意是，毛、朱、周主持大计，请彭德怀任前敌指挥，迅速北进与４方面军会合。在会议时我看了这封信，当时也未介意，认为这就是战场指挥呗，１、３军团在战斗中早就形成了这种关系：有时１军团指挥３军团，有时３军团指挥１军团，有时就自动配合……这次，毛主席在会上指出，林彪的信是彭德怀同志鼓动起来的。当时听了也有些难过，但大敌当前，追敌又迫近金沙江了，心想人的误会总是有的，以为林彪的信是出于好意，想把事情办好吧！我既没有同林彪谈过话，而同刘少奇谈话内容也是完全正当的，我就没有申明，等他们将来自己去申明。我就采取了事久自然明的态度。”他在《自述》中还提到：“此事到１９５９年庐山会议时，毛主席又重提此事，林彪同志庄严申明了：那封信与彭德怀同志无关，他写信彭不知道。”申明是申明了，但为时已经晚了。
要不是刘伯承和叶剑英赶来会场，说到蒋介石有一个“大渡河战役计划”，伍修权又打来电话向彭德怀报告说，会理城的坑道爆破没有成功，扩大会议也许还要开上一两天。