El gran modelo local ha estado en pruebas toda la noche, y finalmente se ha elegido.
1. Modelo principal: Qwen-30B-Instruct, es suficiente para el trabajo diario. (El cumplimiento de instrucciones es muy bueno)
2. Inferencia de respaldo: se dejó un GPT OSS mlx modificado de 8 bits. La versión de 4 bits de GPT-OSS no es muy buena, aumentar al máximo el presupuesto de inferencia en tres niveles no tiene mucho sentido.
3. coder en todas las direcciones, planea no considerar modelos locales y usar directamente el SOTA insignia (después de todo, hay que trabajar)
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
El gran modelo local ha estado en pruebas toda la noche, y finalmente se ha elegido.
1. Modelo principal: Qwen-30B-Instruct, es suficiente para el trabajo diario. (El cumplimiento de instrucciones es muy bueno)
2. Inferencia de respaldo: se dejó un GPT OSS mlx modificado de 8 bits. La versión de 4 bits de GPT-OSS no es muy buena, aumentar al máximo el presupuesto de inferencia en tres niveles no tiene mucho sentido.
3. coder en todas las direcciones, planea no considerar modelos locales y usar directamente el SOTA insignia (después de todo, hay que trabajar)