汉武帝刘彻喜好歌乐，曾以李延年为“协律都尉”，主持乐府，命司马相如等写作歌词，谱曲传唱。他自己有时也吟诗作赋。他宠爱的李夫人，就是李延年的妹子，不但长得美丽，而且能歌善舞，颇有艺术才华。
据《汉书•孝武李夫人传》载，这位李夫人红颜薄命，过早逝世。死后，武帝时时怀念，常以无法再见为恨。有个道士乘机行骗，胡说会用招魂的办法使与死者见面。武帝信以为真，便请他招魂，恍惚之间似乎看到李夫人的影子，隐隐约约地在慢慢走过来，像是真的，却又不能真的相会。他因此更加伤感，写了一篇赋，里面有这样几句：“是耶非耶？立而望之，偏何姗姗其来迟！”
形容妇女行走的缓慢从容，叫做“姗姗”。后来，不论男女，甚至不限于人，凡是来到得晚了，一般都可叫做“姗姗来迟”，意谓慢慢吞吞地这么晚来。
现代作家姚雪垠《李自成》第二卷第十八章：“陈子山一见他（李信）就抱怨说：‘……快坐下做诗！什么事竟使你姗姗来迟？’”
《唐宋传奇•李师师传》有“珊珊而来”—语。“珊珊”形容美女行走时身上佩带的玉饰发出的声音，与“姗姗”不同。