发表于 2024年9月30日1年前 拿自己电脑跑，处理分析自然语言数据（中文）硬件是 1080TI 显卡首先，不管参数多少，必须要量化到 4bit ，然后用 llama.cpp 跑，下面说的都是 4BIT 量化后用 llama.cpp 跑的表现70B 往上的模型，应该都无缘。就算能跑起来，推理速度也是个大的问题。或者大家看有没有更好的部署方案上午测试了一些 10B 以下的模型，表现较好的有下面三个：Qwen2.5-7B-Instruct: 10B 以下，表现最好Gemma 2 9b It SimPO：缺点是经常会夹杂英文单词。普林斯顿的 NLP 小组微调出来的，看照片和人名清单，一堆 ChineseYi-1.5-9B-Chat： 表现次于 Qwen2.5-7B其它的，比如 MiniXXXX-4B ，只能说是个“玩具”，离“工具”的差距还不小还有一些模型，目的似乎只是研究，只能冲冲排行榜正在下几个 1XB 和 3XB 的模型，下午继续测试看大家有没有推荐的
硬件是 1080TI 显卡
首先，不管参数多少，必须要量化到 4bit ，然后用 llama.cpp 跑，下面说的都是 4BIT 量化后用 llama.cpp 跑的表现
70B 往上的模型，应该都无缘。就算能跑起来，推理速度也是个大的问题。或者大家看有没有更好的部署方案
上午测试了一些 10B 以下的模型，表现较好的有下面三个：
Qwen2.5-7B-Instruct: 10B 以下，表现最好
Gemma 2 9b It SimPO：缺点是经常会夹杂英文单词。普林斯顿的 NLP 小组微调出来的，看照片和人名清单，一堆 Chinese
Yi-1.5-9B-Chat： 表现次于 Qwen2.5-7B
其它的，比如 MiniXXXX-4B ，只能说是个“玩具”，离“工具”的差距还不小
还有一些模型，目的似乎只是研究，只能冲冲排行榜
正在下几个 1XB 和 3XB 的模型，下午继续测试
看大家有没有推荐的