本地大模型折腾了一晚上,最终选择出炉:


1.主用模型:Qwen-30B-Instruct,日常干活用它足够了。(指令遵循非常)

2. 推理备用:留了个 8-bit 魔改版的GPT OSS mlx。GPT-OSS 的 4-bit 版不太行,推理预算拉满三档意义不大。

3. coder 全部方向,打算不考虑本地模型直接用 SOTA旗舰(毕竟干活嘛)
GPT11.74%
此页面可能包含第三方内容,仅供参考(非陈述/保证),不应被视为 Gate 认可其观点表述,也不得被视为财务或专业建议。详见声明
  • 赞赏
  • 评论
  • 转发
  • 分享
评论
0/400
暂无评论
交易,随时随地
qrCode
扫码下载 Gate APP
社群列表
简体中文
  • 简体中文
  • English
  • Tiếng Việt
  • 繁體中文
  • Español
  • Русский
  • Français (Afrique)
  • Português (Portugal)
  • Bahasa Indonesia
  • 日本語
  • بالعربية
  • Українська
  • Português (Brasil)