1857年六月初八日，曾纪泽妻子贺氏因难产早逝，年仅17岁。1859 年九月二十六日，曾纪泽再婚，女方乃刘蓉之女，是年，刘氏18岁，曾纪泽20岁。1871年正月十八日，刘氏在金陵两江总督署中生下第一子，取名广铭，乳名同儿，半年后，广铭罹患重病，一连腹泻20多天，是年七月二十三日，曾广铭夭折。同年，为安慰曾纪泽与刘氏之丧子之痛，经父亲曾国藩同意，曾纪鸿将第三子曾广铨过继给哥哥曾纪泽为子。 1873年，刘氏生次子曾广銮，1879年，刘氏在伦敦生三子曾广钖，1887年二月，曾广钖罹患肠痈医治无效夭折。至此，曾纪泽亲生的儿子唯有曾广銮存世。1890年闰二月二十三日，曾纪泽感染伤寒离世，曾广銮袭侯爵。曾广銮无子，又过继曾纪鸿次子曾广镕的儿子曾昭揆为嗣,1920年，曾广銮在湖南离世,1927年，曾昭揆死，仅20岁。 1893年十月十一日，过继给曾纪泽的曾广铨的夫人李氏生子曾约农。1949年，曾约农从香港赴台湾，历任台湾大学教授、东海大学校长、“总统府”政策顾问等职。1986年12月31日，一生未婚的曾约农逝世，曾纪泽一脉遂绝。
