Amazon提出了一项大模型优化技术：CompLLM
arxiv.org/abs/2509.19228
基于该技术，在不修改模型的情况下，可以显著提升LLM处理长文本的效率：
🌟将长文本的首个词元生成速度（TTFT）提升高达4倍 。
🌟将KV缓存的内存占用减少一半 。
🌟在处理超长序列时，保持甚至超越原始模型的表现 。
主要原理是与以往将整个上下文作为一个整体进行压缩的方法不同，CompLLM 的核心创新在于将长文本分割成若干个独立的segment，并对每个片段分别进行压缩 。
Amazon提出了一项大模型优化技术：CompLLMarxiv.org/abs
蚁工厂
2025-09-25 08:58:36
0
阅读：0
