胡琏到台湾后，一直想谋取“陆军总司令”，陈诚也出面支持，但蒋介石、蒋经国始终不松口，对他有戒心。 1977年，胡琏在台湾去世。两年后的1979年，原华东野战军副司令粟裕在视察南京军区和福州军区时，与老三野的将士们座谈。他提到胡琏时，言语中充满惋惜：“悍将谋才，古宁头之恨难消啊……”粟裕所说的“古宁头”，是指金门战役。在这场战役中，胡琏指挥下的国民党18军在金门岛的反登陆作战中，面对三野82、84、85师的攻势，最终惨败。共计9000余名国民党军队，其中7000多人被生俘，其余无一幸免。 粟裕和叶飞怎能不记得这场战斗呢？当时，华东野战军第十兵团司令叶飞曾说过：“金门就是这盘子里的肉，想什么时候夹就什么时候夹，跑不了。”金门战役失败后，叶飞受到处分，这场失败被他视为一次极为惨痛、无法原谅的教训。他也曾强调，这场失败的教训必须永远牢记。叶飞去世后，葬于厦门，而胡琏则葬在金门，两位宿敌隔海相望，令人感慨万千。 十八军之所以能够成为一支战斗力强大的部队，除了蒋介石的支持外，还有胡琏卓越的统军能力。胡琏善于指挥作战，他不仅让腐朽的十八军焕发了新的活力，也将其培养成了国民党的一线悍将。抗战结束后，十八军改编为整编第十一师，师内三万多名士兵全部装备了美式武器。 除此之外，蒋介石还常常安排其他军队听命于胡琏，甚至专门为他组建了一支名为“胡琏兵团”的部队。这支兵团成为国民党军队中的一支王牌，胡琏的军事才能在其中得到了充分的展现。胡琏的军事才能和领导能力让他成为国民党军中的一位重要人物。 1948年12月，国民党在淮海战场节节败退。徐州告急，十二兵团司令官黄维本应殊死战斗、率部突围，但他却在紧急军事会议后改变初衷，决定独自逃生。副司令胡琏、吴绍周对此亦同流合污，准备一走了之。 1949年，解放军发动渡江战役，直捣国民党在大陆的最后根据地。面对共军汹涌的攻势，胡琏却丝毫不敢应战，反而带着部下四处逃窜。逃亡路上，他仍不忘抓丁，强行拉走无数百姓，许多家庭因此家破人亡、妻离子散。人们对胡琏恨之入骨，咒骂他是个十恶不赦的罪人。 即便躲在台湾，胡琏对权力的渴望也从未停止。他一心觊觎陆军总司令的位置，对蒋介石三番五次地示好。有一次，他假意对蒋说，台湾亟需一位德高望重的将领统帅三军，自己定能不负所托。然而老谋深算的蒋介石岂会轻易如他所愿。 对蒋氏父子而言，让胡琏掌兵权实在风险过高。当时台湾只有约40万兵力，而胡琏的部下就占了近1/4。加之陈诚业已成为蒋经国最大的竞争对手，若是胡琏再联合土木系一起作梗，岂不是尾大不掉？因此，蒋介石虽表面仍对胡琏客气，但在背后却暗下决心要削弱其势力。 1965年3月，陈诚病逝。失去靠山的胡琏被打发去了南越，只能干些文职工作。1972年，蒋经国晋升胡琏为一级上将。这个看似荣耀的头衔背后，却是空有其表。正如他曾渴望却从未得到的陆军总司令一职，蒋氏父子对胡琏的戒心和打压，由此可见一斑。 胡琏的生活一直保持着简朴的作风。1943年，他晋升为师长，尽管职位高升，早晨仍因贫困到无法吃上鸡蛋，需要家人汇钱支援。他的生活方式与他一贯的作风相符：不图个人享乐，而是全身心投入到自己的职责中。金门古宁头之战结束后，12兵团18军的将士们为突如其来的胜利激动得热泪盈眶，但胡琏却低调表示，“我们军人失去了大陆，谈论胜利不好意思。”台湾的媒体评论他当时并未因胜利而过于激动，认为他依然保持冷静的头脑。 胡琏在金门的八年里，亲自带领士兵抬石头修路、开山凿洞，筑起了坚固的环岛防御体系。他还提倡将高粱种植在岛上，士兵通过用大米交换高粱，改变了金门岛的生态，改善了岛上居民的生活。他主张军车可供老人和孩子乘坐，以减轻贫民的出行困苦。当岛上新人结婚时，他还主动将自己的座车让作婚车，创造了千古一例。 1958年8月23日，福建前线的炮火再次笼罩金门岛。当日，俞大维受蒋介石委托前来金门慰问。胡琏与几位将领在宴会结束后，前往金门防卫司令部。在途经翠湖时，几位副司令因为酒意未曾注意到前方的危险，依旧沉浸在交谈中。就在这时，福建前线指挥部发出了炮击命令，炮火猛烈地袭击了金门岛。胡琏凭借多年的战场经验，迅速作出反应，立刻趴下并迅速滚到一处安全地带。相比之下，三位副司令未能保持警觉，最终全都被炮火所伤。 胡琏生前在书房里收藏了许多关于大陆的风景名胜，他一直怀念着陕西的故乡，遗憾的是，这个愿望未能亲自实现，而是由他的儿孙完成的。他始终坚信“中国只有一个”的理念，这种信念也为他赢得了许多历史学者的高度评价。有人称他为“有风骨的人，两袖清风”。1977年6月22日，胡琏因心脏病去世，享年70岁。葬礼上，蒋经国和俞大猷深感痛惜，泪流满面，悼念这位一代名将的离世。毛泽东曾评价胡琏为“狡如狐，猛如虎”，这无疑是对胡琏极高的评价。
