唐俭父亲唐鉴为隋戎州刺史，与高祖关系亲密，都是典军卫，因此唐俭与秦王在太原时常在一起游玩。 大业十三年(617年)初，李渊奉命为太原留守。当时，农民起义遍地爆发，隋炀帝政权摇摇欲坠，李渊正想趁此机会改朝换代，取隋而代之。但是，他只是暗中准备，不露声色，等待有利时机的到来。唐俭劝李渊道：“您在北面招抚戎狄，南面收附英雄豪杰，以此夺得天下，这是商汤、周武王才能够做到的壮举。”唐俭谈古论今，总结了历史的经验和教训，提出了完全为李渊所需要的建议。后李渊对唐俭的建议，是“言听计从”，无不接受。《墓志铭》记载：李渊与唐俭商讨了起兵大计，又拜唐俭为“大将军府记室，加为正议大夫”。
