南北朝末年，杨坚夺取了北周的政权，改国号为隋；自立为帝，即隋文帝；建都大兴，即今西安，这时长江以南，还是南朝陈后主陈叔宝的天下。隋文帝为了南北统一，于是兴师攻伐南陈。
据《南史•陈本纪》载，当时隋文帝杨坚曾对仆射高顈 [jiǒng](隋时仆射略同于宰相）说：“我为百姓父母，岂可 限一衣带水而不拯之乎？ ”
“限”，阻隔的意思。“一衣带水”，像一根衣带似的那么一条窄窄的河流，指长江。隋文帝自诩为百姓的父母，宣称他的南征是为了拯救江南百姓。他说：一条小小长江怎能阻挡得了我！难道因为隔了这“一衣带水”我就不能拯救他们了吗？
北宋初年的将领潘美，也曾说过类似这样的话。那时，宋太祖赵匡胤〔yìn〕派潘美为统帅，攻取江南的吴越（今浙江之地和江苏的一部分，国都杭州，吴越王钱镠[liú]。据《宋史•潘美传》,起初，宋军还没有充分准备好渡江用的船只，但是潘美决心很大，信心十足。他说：“美受诏（皇上之命），提(率领）骁果（骁勇果敢）数万人，期在必胜，岂限此一衣带水而不径（直捷了当地）渡乎? ”
这里说的“一衣带水”，也是指长江，说它并不宽，很容易渡过。
后来人们把“一衣带水”作为成语，用来泛指江河湖海之隔不足为阻。例如形容中朝两国人民亲如近邻,交往极便，不过是“一衣带水”而已。