虞世南出生于南朝陈武帝永定二年(公元558年)，在虞氏家族中排行第七。 南朝陈文帝天嘉二年（公元561年），虞世南的父亲虞荔因病去世，时年59岁,彼时虞世南四岁。 天嘉五至七年，陈宣帝太建一至七年（公元564年至575年），虞世南跟随大书法家王羲之的第七世孙智永法师学习书法。 太建七至十一年（公元575至579年），虞世南与兄虞世基一起跟随《玉篇》的作者顾野王学习，兄弟二人学习十分勤奋刻苦，甚至连洗脸梳头都顾不上，常常是十天半月不洗脸不梳头。 太建十三年（公元581年），陈文帝高荔行召虞世南为建安王法曹参军，此时，虞世南二十四岁。 隋文帝杨坚灭陈后，虞世南兄弟二人同入长安，名声大噪。开皇九年，虞世南初见隋文帝杨坚，南朝陈灭亡，虞世南以侍母为由留在建康，拒绝北上入长安。在晋王（杨广）府，做王府学士。 隋大业元年，虞世南被授秘书郎的职位，掌管图书经籍，成为隋炀帝的文学侍臣。隋炀帝喜爱虞世南的才华，但讨厌他过于刚直的性格，因此虞世南始终不受隋炀帝的重用，做了十年的七品小官，在此期间，虞世南翻阅大量的宫廷藏书，在秘书省的后堂编撰了《北堂书钞》。相反，虞世基却因为做事圆滑而得到隋炀帝的重用。 大业十四年（公元618年）3月，宇文化及发动叛乱，缢杀隋炀帝后，又要杀虞世基。虞世南知道消息后，抱持痛哭，一度请求自己代替哥哥受死，宇文化及没有答应虞世南的请求，虞世基最终被杀害，虞世南悲痛不已。隋灭后，虞世南被窦建德所获，在窦建德军任黄门侍郎。
