现在本地化部署模型,其实 QwQ-32b 几乎随便什么机器都能部署了,而且性能不差。。。所谓不差是和 r1 很接近的不差。
mac studio m4,四千美金 128GB 的版本搞定了。满精度只需要 64GB,但是更便宜也没必要。
虽然我还是觉得 llm 本地部署到底干什么。。。
现在本地化部署模型,其实 QwQ-32b 几乎随便什么机器都能部署了,而且性能不差。。。所谓不差是和 r1 很接近的不差。
mac studio m4,四千美金 128GB 的版本搞定了。满精度只需要 64GB,但是更便宜也没必要。
虽然我还是觉得 llm 本地部署到底干什么。。。
猜你喜欢
【1评论】【20点赞】
【37评论】【2点赞】
【2评论】【6点赞】
【76评论】【72点赞】
【123评论】【31点赞】
作者最新文章
热门分类
科技TOP
科技最新文章