隋朝大业十三年（公元617年），农历六月，李渊正式于晋阳（今太原）起兵，西河守将忠于朝廷，阻挡李渊西入关中之路。李渊派遣李建成与李世民经略西河（西河郡，治所在今山西汾阳），只带三日口粮。 李建成见大军缺乏军事训练，担心他们不能作战，于是严明军法。李建成与将士们同甘共苦，对百姓秋毫无犯。大军行至西河（西河郡，治所在今山西汾阳）城下，李建成与李世民亲至城下告知来意，不阻挡城外百姓入城，此举赢得城内百姓拥戴，纷纷出城来投。只有西河郡丞高德儒不肯归降，李建成率军攻城，西河郡司法书佐朱知瑾引军入城，擒斩郡丞高德儒，此外秋毫无犯，往返九日，便攻克西河。封李建成为陇西公，左领军大都督，太原郡守。
