粟裕提出集中主力在中原战场作战的建议得到中共中央的批准后，在中原战场的国民党精锐主力第5军和第18军（整编第11师）成为粟部“夏季作战之中心目标”。第5军和第18军均为中共部队的老对手，第5军军长邱清泉作战强悍骄狂，第18军军长胡琏指挥灵活机敏，较为了解中共的战法，两军又是全美械装备，内战开始后与中共部队多次交手而未失利，始终保持了较强的战斗力，此时分属于徐州刘峙集团和华中白崇禧集团，是国民党军在徐淮——中原战场的主力中坚。中共认为，“只要该两军被歼灭，中原战局即可顺利发展”。粟裕将第5军列为首要歼灭目标，准备得手后再消灭第18军。
经过认真的研究思考，粟裕决定以鲁西南作为歼灭第5军的主战场。他首先部署在平汉路沿线的陈（士榘）唐（亮）兵团2个纵队自5月24日起由许昌向淮阳方向运动，吸引停留在陇海路商丘段以北的第5军南下。随后，粟裕指挥华东野战军5个纵队于5月底南渡黄河，进至鲁西南地区，准备南北夹击第5军。为了对付粟裕部队的南下行动，国民党统帅部令第5军速自河南柘城、杞县回师鲁西南，同时向鲁西南增调4个整编师，并令驻马店的第18军北上增援，摆出与华东野战军决战的态势。这样，国民党有可能在鲁西南地区集中多达近10个整编师的兵力，而华东野战军可以动用的兵力只有8个纵队（包括中原野战军1个纵队）。考虑到第5军和第18军的战力均较强，如果动用4-5个纵队攻击第5军，则只有2-3个纵队担任阻援，在缺乏有利地形可用的平原地区，面对的困难确实较大。因此粟裕认为，打第5军“并不是很有把握的。搞得不好，还会给我们自己造成不利局面。”为了捕捉战机，他当机立断地提出了“先打开封，后歼援敌”的方案，即利用国民党军在开封的防守力量较为薄弱之机，首先以陈唐兵团攻击开封，同时寻机打击国民党援军。6月16日，粟裕致电中共中央军委，报告作战部署，并告“因情况急迫，请示不及，已令各部执行”。17日，军委复电，完全同意其作战部署，并指示在“情况紧张时，独立处置，不要请示”，表示了对粟裕作战指挥的充分信任。