王莽的残酷压榨，加上一连串的天灾，逼得农民走投无路，纷纷起义。东方和南方都有大批的农民起来反抗官兵。
公元17年，南方荆州闹饥荒，老百姓不得不到沼泽地区挖野荸荠充饥。人多野荸荠少，引起了争夺。新市（今湖北京山东北）有两个有名望的人，一个叫王匡，一个叫王凤，出来给农民调解，受到农民的拥护。大家就公推他们当首领。
王匡、王凤就把这批饥民组织起来起义，一下子就聚集了好几百人，还有一些逃亡的犯人也来投奔他们。
王匡他们占领了绿林山（今湖北大洪山）作为根据地，攻占附近的乡村。不到几个月工夫，这支起义军发展到七八千人。
王莽派了两万官兵去围剿绿林军，被绿林军打得大败而逃。绿林军趁势攻下了几座县城，打开监狱，放出囚犯；把官家粮仓里的粮食，一部分分给当地穷人，大部分搬到绿林山。投奔绿林山的穷人越来越多，起义军增加到五万多。
第二年，绿林山上不幸发生了疫病，五万人差不多死了一半。还有一半只好离开绿林山，后来分作三路人马——新市兵、平林（在今湖北随县东北）兵和下江（长江在湖北西部以下叫下江）兵。这三路人马各自占领一块地盘，队伍又强大起来了。
当南方的绿林军在荆州一带打击官兵的时候，东方的起义军也壮大起来。琅琊海曲（今山东日照县）有个姓吕的老大娘，儿子是县里的一个公差，因为没肯依县官的命令毒打没钱付税的穷人，被县官杀害了。这一来激起了公愤。有上百个穷苦农民起来替吕母的儿子报仇，杀了县官，跟着吕母逃到黄海，一有机会就上岸打官兵。
这时候，另一个起义领袖樊崇带领几百个人占领了泰山。吕母死了后，她手下的人投奔樊崇起义军。不到一年工夫，就发展到一万多人，在青州和徐州之间来往打击官府、地主。
樊崇的起义军很讲纪律，规定谁杀死老百姓就要被处死，谁伤害老百姓就要受罚。所以，百姓能拥护他们。
公元22年，王莽派太师王匡（和绿林军中的王匡是两个人）和将军廉丹率领十万大军去镇压樊崇起义军。樊崇作好准备，跟官兵大战。为了避免起义兵士跟王莽的兵士混杂，樊崇叫他的部下都在自己的眉毛上涂上红颜色，作为识别的记号。这样，樊崇的起义军得了一个别名，叫“赤眉军”。
王莽的军队和赤眉军打了一仗。结果，官兵打了败仗，逃散了一大半。太师王匡的大腿被樊崇扎了一枪，逃了回去；将军廉丹在乱军之中被杀了。赤眉军越打越强，发展到了十多万人。
绿林、赤眉两支起义大军分别在南方和东方打败王莽军的消息一传开，别地方的农民也都活跃起来。黄河两岸的大平原上大大小小起义军有几十路。有一批没落的贵族和地主、豪强也趁机起兵，反对王莽。
南阳郡舂陵（今湖南宁远北）乡的豪强刘縯（音ｙǐｎ）、刘秀兄弟两人，因为王莽废除汉朝宗室的封号，不许刘姓人做官，心里怨恨，发动族人和宾客七八千人在舂陵乡起兵。他们和绿林军三路人马联合起来，接连打败了几名王莽的大将，声势就强大起来了。
绿林军的几支队伍没有统一的指挥。将士们认为人马多了，必须有个首领，才能统一号令。一些贵族地主出身的将军，利用当时有些人的正统观念，认为一定要找一个姓刘的人当首领，才能符合人心。
绿林军里姓刘的人很多，该推谁做首领呢？舂陵兵想推刘縯，可是新市和平林兵的将领怕刘縯势力太大，一定要立一个破落的贵族刘玄做皇帝。刘縯又提出等消灭了王莽、收服赤眉军以后，再立皇帝，也遭到反对。刘縯觉得自己力量不够，也只好同意了。
公元23年，绿林军各路将士就正式立刘玄做皇帝，恢复汉朝国号，年号“更始”，所以刘玄又称更始帝。更始帝拜王匡、王凤为上公，刘縯为大司徒，刘秀为太常偏将军，其他将领也各有各的封号。
打那时候起，绿林军又称为汉军。