【[719星]Chitu（赤兔）：专注于效率、灵活性和可用性的高性能大语言模型推

爱生活爱珂珂 2025-03-16 18:27:48

【[719星]Chitu（赤兔）：专注于效率、灵活性和可用性的高性能大语言模型推理框架，让AI部署更灵活、更高效。亮点：1. 支持多种主流大语言模型，如DeepSeek、LLaMA等；2. 性能卓越，FP8模型在3节点上的输出速度可达BF16模型在6节点的75%~90%；3. 硬件适配广泛，不仅支持NVIDIA GPU，还兼容非NVIDIA GPU和CPU】

'Chitu is a high-performance inference framework for large language models, focusing on efficiency, flexibility, and availability.'

GitHub: github.com/thu-pacman/chitu

大语言模型 高效推理 硬件适配 AI创造营

0 阅读：0

猜你喜欢

爱生活爱珂珂

爱生活爱珂珂

感谢大家的关注

作者最新文章

1
早！[太阳] 早安 ​​​
2
【[1.3k星]ruby_llm：让Ruby开发者轻松拥抱AI的神器。核心价值在
3
【[204星]QwenLM/QwQ：阿里巴巴云Qwen团队开发的推理模型系列，专
4
【[719星]Chitu（赤兔）：专注于效率、灵活性和可用性的高性能大语言模型推
5
【[726星]AI-Researcher：用AI Agent实现全自动科学研究，
6
【[192星]Awesome-Efficient-Reasoning：高效推理领
7
【[129星]LHM：单张图片秒变3D可动画数字人模型的黑科技。亮点：1. 仅需
8
【MCP（Model Context Protocol）是一种新的开放协议，旨在
9
【Google DeepMind 宣布推出了 Gemini Robotics 和
10
【MCP Servers：汇集了众多MCP服务器和客户端的社区平台，为AI应用提

热门分类

推荐 热榜 军事 NBA 体育 社会 明星八卦 娱乐 财经 科技 汽车 历史 国际 游戏 动漫 公益 搞笑 商业 互联网 数码 国际足球 房产 家居 时尚 科学探索 职场 育儿 股票 教育 影视 情感 热点 中国军情 武器 中国南海 中国足球 亚洲杯 科比 综合体育 CBA 投资 楼市 大咖秀 外汇 创业 风口 SUV 豪车 概念车 优惠 新能源 美国 欧洲 朝日韩 俄罗斯 孕期 街拍 恋爱攻略 婚姻 正能量

科技TOP

1
有没有注意到海尔老板的领带上都是空调、洗衣机，双开门冰箱，细节满满。
2
现在的ai换脸真离谱…
3
最新国行三星手机系列价格更新，大家等急了吧，S25系列还没货[抠鼻]
4
雷军到底投了多少家企业，看看这个版图，不比马斯克小了。
5
【#OpenAI称DeepSeek是另一个华为#：受“国家补贴”、“国家控制”】
6
建议所有小米红米手机打开这个设置👿
7
小米15系列手机参数大起底，你选哪一款？
8
苹果操作系统外观或颠覆有消息称，苹果操作系统或将迎来全面革新，苹果公司正在筹备有
9
京东的刘强东曾经说过这么一句话：“以后国内只会有两个快递公司，一个京东，一个
10
【苹果撤下智能Siri广告，曾承认开发进度不及预期】近日，苹果公司因S

科技最新文章

1
京东的刘强东曾经说过这么一句话：“以后国内只会有两个快递公司，一个京东，一个
2
【#OpenAI称DeepSeek是另一个华为#：受“国家补贴”、“国家控制”】
3
华为新形态Pura新机，售价预计为:1、1999元起售（概率0%）；2、29
4
荣耀这四款手机，论配置和性价比都可以闭眼入，
5
“华为二公主”姚安娜终于也给华为产品代言了！这不，3月14日上午，华为终端和姚安
6
华为新形态手机预热，没想到代言人竟然是任正非二女儿姚安娜。不过给自家产品代言
7
【Manus：200万人等候使用Manus】中国AI智能体企业ManusAI表示
8
消费者的眼睛都是雪亮的！在识货荣耀手机销量榜可以看出，卖得最好最多的前五名，
9
【苹果撤下智能Siri广告，曾承认开发进度不及预期】近日，苹果公司因S
10
华为外包事件的发生，再次印证了刘强东那句话的含金量！曾经刘强东在公开场合就说