能在24GB显存显卡上运行的最佳模型是什么？
reddit上一位老哥kyazoglu，花了一个半月测试了在24GB显存显卡上运行的所有模型，得出来这张表。给希望本地运行大模型的朋友一些参考。
⭐表现最好的模型是 Qwen2.5-32B-Instruct-AWQ（尽管在BBH任务表现差）。
⭐意外发现：DeepSeek R1蒸馏版Qwen性能略低于原版，可能与测试任务选择有关。Phi-4数学能力极强，堪称怪物。
⭐避坑建议：避免极低量化（
能在24GB显存显卡上运行的最佳模型是什么？reddit上一位老哥kyazogl
蚁工厂
2025-01-25 13:15:47
0
阅读：9
