O grande modelo local foi testado a noite toda e, finalmente, a escolha foi feita:
1. Modelo principal: Qwen-30B-Instruct, é suficiente para o trabalho diário. (O seguimento de instruções é muito bom)
2. Inferência de backup: deixei um GPT OSS mlx modificado de 8 bits. A versão de 4 bits do GPT-OSS não é muito boa, esticar o orçamento de inferência para o máximo em três níveis não faz muito sentido.
3. coder todas as direções, pretende não considerar modelos locais e usar diretamente o SOTA flagship (afinal, é trabalho)
Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.
O grande modelo local foi testado a noite toda e, finalmente, a escolha foi feita:
1. Modelo principal: Qwen-30B-Instruct, é suficiente para o trabalho diário. (O seguimento de instruções é muito bom)
2. Inferência de backup: deixei um GPT OSS mlx modificado de 8 bits. A versão de 4 bits do GPT-OSS não é muito boa, esticar o orçamento de inferência para o máximo em três níveis não faz muito sentido.
3. coder todas as direções, pretende não considerar modelos locais e usar diretamente o SOTA flagship (afinal, é trabalho)