本地大模型折腾了一晚上,最终选择出炉:
1.主用模型:Qwen-30B-Instruct,日常干活用它足够了。(指令遵循非常)
2. 推理备用:留了个 8-bit 魔改版的GPT OSS mlx。GPT-OSS 的 4-bit 版不太行,推理预算拉满三档意义不大。
3. coder 全部方向,打算不考虑本地模型直接用 SOTA旗舰(毕竟干活嘛)
1.主用模型:Qwen-30B-Instruct,日常干活用它足够了。(指令遵循非常)
2. 推理备用:留了个 8-bit 魔改版的GPT OSS mlx。GPT-OSS 的 4-bit 版不太行,推理预算拉满三档意义不大。
3. coder 全部方向,打算不考虑本地模型直接用 SOTA旗舰(毕竟干活嘛)
GPT15.09%