贞观三年（629年）十二月，杜如晦病重辞官。唐太宗李世民特许俸禄赏赐依旧，多次派使者问候病情，名医好药不停送去府中。贞观四年（630年），杜如晦病情愈发严重，唐太宗派太子到杜如晦的府邸亲临问候，又亲自前往探望，抚摸着他哽咽，赐下杂帛千段。为了让杜如晦活着看到儿子拜授官职，李世民破格提拔杜如晦的儿子杜构任尚舍奉御。贞观四年（630年）三月，杜如晦病逝，享年四十六岁。唐太宗哀恸不已，停止朝会三天，追赠开府仪同三司。等杜如晦下葬时，又加赠杜如晦为司空，改封莱国公，谥号成，并亲笔下诏令虞世南为杜如晦撰写碑文。杜如晦墓在咸宁县南三十里（今陕西西安市长安区）司马村，现已被破坏，墓碑也不知所终。
