部人心不齐，他们虽与新莽朝廷存在着尖锐的矛盾，但真要让他们起来造反却信心不足。
刘縯起事之初，“诸家子弟恐惧，皆亡逃自匿”,并纷纷扬言说：“伯升杀我!”意谓刘縯起兵造反，是置我等于死地。当时的情况不仅“子弟”如此，就是在一些刘氏长者和亲属里面，似也同样存在着某种对起兵的不理解和相当的不稳定情绪。如刘秀把起兵反莽之事告诉叔父刘良后，刘良听后大怒道：“汝与伯升志操不同，今家欲危亡，而反共谋如是!”再如刘氏兄弟起事后，邓晨家族的人也曾发出“家自富足，何故随妇家人入汤镬中”的怨言，等等。
为了稳定人心，刘秀身着“绛衣”(一种红色的将军战袍),头戴“大冠”(一种将军使用的武冠),就在人群里转来转去，有意让大家看见。众人看见刘秀这一身戎装打扮，都吃惊地说：“谨厚者亦复为之!”意思是说，连平时处事稳健、温文尔雅的刘秀也起而造反了，我们还怕什么?!于是“乃稍自安”。
对于这类刚刚发生不久的往事，在刘氏兄弟心里应该说都留下了不可磨灭的印象。这让他们觉得单单率领这样一支人心欠稳、孤立无援的队伍，后果将是不可想象的。在这种情况下，为了尽快摆脱孤立无援的处境，为了把反对王莽的武装斗争继续进行下去，他们很自然地或者说是本能地就要力求与活跃在南阳地区的新市、平林两支农民起义军实行联合，来达到共同推翻新莽统治的目的。