627年（贞观元年），张公谨出任代州（今山西代县）都督，并上表朝廷请求实行屯田。此后，张公谨对时政得失多次进言，都得到唐太宗李世民的采纳。 629年（贞观三年），张公谨上奏朝廷，认为可以讨伐东突厥，并列举六条理由：“颉利可汗奢华残暴，诛杀忠良，亲近奸佞，此其一；薛延陀等部落均已叛离，此其二；突利、拓设、欲谷设均得罪颉利，无地自容，此其三；塞北地区经历霜冻干旱，粮食匿乏，此其四；颉利疏离族人，委重任于外族，胡人反复无常，大唐军队一到，必然内部纷乱，此其五；汉人早年到北方避乱，至此时人数较多，近来听说他们召聚武装，占据险要之地，大军出塞，自然内部响应，此其六。”唐太宗遂任命兵部尚书李靖为行军总管，讨伐东突厥，张公谨为副总管。 630年（贞观四年），颉利兵败，遣使请降，唐太宗命鸿胪寺卿唐俭前去抚慰。李靖与李勣（即徐世勣）在白道会军，打算出兵偷袭东突厥。张公谨得知后，反对道：“皇帝已接受他们投降，而且唐俭还在突厥，怎能出兵进攻？”李靖不听，发兵出击，终于平定了东突厥。
