不过这个时候，瓦岗军内部的战略思想并非统一。此前归降的巩县县令柴孝和就对李密讲：
秦地山川之固，秦、汉所凭以成王业者也。今不若使翟司徒守洛口，裴柱国守回洛，明公自简精锐西袭长安。旣克京邑，业固兵强，然后东向以平河、洛，传檄而天下定矣。方今隋失其鹿，豪杰竞逐，不早为之，必有先我者，悔无及矣！
柴孝和的意思是让翟让和裴仁基守住洛阳，李密亲自带精锐向西突袭长安，再以长安为根据地，向东扫平河、洛之地，彼时天下可定。如果被其他势力抢先，到时后悔就来不及了。李密当然也考虑过西征长安的问题，但是须知他有过跟随杨玄感叛乱失败的经历，他明白如果洛阳打不下来而贸然让山东士兵向西进攻长安的话，士兵们会非常没有安全感，他们不愿意舍近求远，更不愿意抛弃故土去遥远的黄土高原。一旦开战，人心立散，这是杨玄感兵败带给李密的教训。瓦岗军内部正在商议时，突然传来急报：“隋炀帝自江都派出的援军，已接近洛阳！领兵者为王世充。”“王世充”这个名字同样不会令各位感到陌生。在小说演义中，王世充是洛阳王，单雄信的岳父，为人阴险狠毒。在正史中，王世充同样不是一个正面人物。王世充（？——621），字行满，本姓支，胡人出身，《旧唐书·王世充传》形容他：
世充颇涉经史，尤好兵法及龟策、推步之术。开皇中，以军功拜仪同，累转兵部员外郎。善敷奏，明习法律，然舞弄文法，高下其心。或有驳难之者，世充利口饰非，辞议锋起，众虽知其不可而莫能屈。
王世充凭借一连串的阿谀奉承之举，在炀帝巡幸江都期间“雕饰池台，奏献珍物”，一路做到江都宫监，成为宇文述以后隋炀帝的又一心腹。祖君彦的那篇《为李密檄洛州文》影响力太大，不久就传到了隋炀帝耳朵里，他又气又恼，加之洛阳城中还有自己的孙子越王杨侗，于是立刻下令王世充带江、淮劲卒五万驰援洛阳，平定瓦岗。李密此时已经来不及考虑究竟是该取洛阳还是取长安了，赶紧仓促整顿兵马，迎战王世充。《隋书·李密传》记载：“密逆拒之，战不利。柴孝和溺死于洛水，密甚伤之。”李密由于仓促应战，准备不足，被王世充击败，柴孝和也死于洛水之中。这是瓦岗军起义以来遭遇到的首次大败，不仅攻打洛阳的计划被迫搁置，而且赔上了柴孝和的性命。这不是李密愿意看到的。李密首战失利，不敢轻举妄动，遂分别与王世充在洛水东西两岸驻扎，成对峙之势，几次交战，互有胜负，局面一时陷入胶着状态。
李密分析了一下迟迟攻不下洛阳的原因，最终把矛头指向了一个人——翟让。翟让的存在，使得瓦岗军内部一直存在两大集团，就像水泊梁山上存在着晁盖集团和宋江集团一样，在瓦岗军内部，后进的秦琼、罗士信、裴仁基、裴行俨、程知节等，皆属于李密集团，他们跟翟让没什么感情，因为在进入瓦岗之后，他们只知道绝大部分战斗都是由李密指挥的。而李勣、单雄信这些瓦岗寨的元老级人物则属于翟让集团，他们是最早追随翟让的这批人，心底里也是拥护他的，否则当年也不会不辞辛苦前来投奔。两大集团的存在就意味着李密很难实现对瓦岗的全面掌控，也就没有办法发挥瓦岗军最大的战斗力，更何况，单雄信、李勣这些人对李密专权多少是有些看不过去的，少了这两员大将相助，瓦岗军的战斗力当然会大打折扣。此前笔者一直强调，李密和翟让之间的矛盾种子，很早就已经种下了，现在瓦岗军正经历着洛阳鏖战，经历着这段非常困难的时期，于是这颗矛盾的种子开始慢慢萌发。碰巧这时，翟让又做了几件让李密非常不满的事。
第一，李密有一个比较有钱的手下，翟让听说之后，把他抓了起来，索要钱财。这让李密很没面子，自己的手下自己惩罚不了，却要被别人抓起来拷问，颜面何存？翟让这件事做得真是非常糊涂。首先翟让没有理由随便向手下人要钱，其次手下不给钱翟让就要把他抓起来打，这与流氓的行为何异！这其实仍然是翟让性格中的弱点在作怪。我们一再强调，翟让不是一个做大事的人