《左传•昭公十一年》载：
楚灵王谋杀了蔡侯，把蔡国占领而为楚国的一个县城，并想把弃疾封为蔡公，让他去当蔡县的长官。（弃疾是灵王的幼弟，即后来的楚平王。)
灵王问“芋尹”申无宇（芋尹，官名）：“让弃疾去蔡，如何？”申无宇不赞成，说道，“我听说‘五大不在边，五细不在庭，（五种商贵人物不宜出任边地官吏，五种卑微人物不宜担任朝廷要职），‘亲不在外，羁不在内’(骨肉亲属不能远置外地，避难来客不能长留宫内）。现在您让弃疾到蔡县去，而郑丹这样的人倒留在身边。如此安排，我劝您要加以警惕！” (郑丹，名子革，郑国亡臣，投奔楚国而为“右尹”，人称“右尹子革”。）
灵王说：“我们国都的城墙高大坚固，足以对付任何叛逆，怕什么？”申无宇还是不同意，说道：“从历史看，过去郑、宋、齐、卫等国，都曾有过把‘五大’人物置于边城的事，结果都有害于国。所谓‘末大必折，尾大不掉’，我想您是懂得的。”
“末大必折”（末，末稍，这里指树枝），树枝大过于根，根支撑不了，一定会折断。同样的道理，“尾大不掉” (掉，摆动)，尾巴太大了，身体就甩不动它。
《淮南子•泰族训》说：“禽兽之性，大者为首而小者为尾。末大于本则折，尾大于腰则不掉矣。”
三国时魏人曹冏[jiǒng]的《六代论》作“尾大难掉”。唐代柳宗元的《封建论》作“末大不掉”（这个“末”字也作尾巴讲）。
这个成语，原意比喻地方势力太强或部属机构权力太大，难以驾驭；现又比喻机构臃肿庞大，指挥不灵。