ローカル大モデルを一晩中試行錯誤した結果、最終的な選択が決まりました:
1.主要なモデル:Qwen-30B-Instruct、日常的な作業にはこれで十分です。(指示に従うのが非常に良い)
2. 推論の予備:8ビット改造版のGPT OSS mlxを残しました。GPT-OSSの4ビット版はあまり良くなく、推論予算をフルに使っても3段階の意味はあまりありません。
3. coder 全方向、ローカルモデルを考慮せずにSOTAフラッグシップを直接使用するつもりです(結局は仕事ですから)
1.主要なモデル:Qwen-30B-Instruct、日常的な作業にはこれで十分です。(指示に従うのが非常に良い)
2. 推論の予備:8ビット改造版のGPT OSS mlxを残しました。GPT-OSSの4ビット版はあまり良くなく、推論予算をフルに使っても3段階の意味はあまりありません。
3. coder 全方向、ローカルモデルを考慮せずにSOTAフラッグシップを直接使用するつもりです(結局は仕事ですから)
GPT17.01%