本地大模型折騰了一晚上,最終選擇出爐:


1.主用模型:Qwen-30B-Instruct,日常幹活用它足夠了。(指令遵循非常)

2. 推理備用:留了個 8-bit 魔改版的GPT OSS mlx。GPT-OSS 的 4-bit 版不太行,推理預算拉滿三檔意義不大。

3. coder 全部方向,打算不考慮本地模型直接用 SOTA旗艦(畢竟幹活嘛)
GPT8.65%
查看原文
此頁面可能包含第三方內容,僅供參考(非陳述或保證),不應被視為 Gate 認可其觀點表述,也不得被視為財務或專業建議。詳見聲明
  • 讚賞
  • 留言
  • 轉發
  • 分享
留言
0/400
暫無留言
交易,隨時隨地
qrCode
掃碼下載 Gate APP
社群列表
繁體中文
  • 简体中文
  • English
  • Tiếng Việt
  • 繁體中文
  • Español
  • Русский
  • Français (Afrique)
  • Português (Portugal)
  • Bahasa Indonesia
  • 日本語
  • بالعربية
  • Українська
  • Português (Brasil)