Yerel büyük model bir gece boyunca denedi, sonunda seçildi:
1.Ana model: Qwen-30B-Instruct, günlük işler için bu yeterlidir. (Talimatlara uyum çok iyi)
2. Çıkarım Yedeği: 8-bit modifiye edilmiş bir GPT OSS mlx bıraktım. GPT-OSS'un 4-bit versiyonu pek iyi değil, çıkarım bütçesini tam doldurmak üç aşamada pek anlamlı değil.
3. coder tüm yönler, yerel modeli düşünmemeyi ve doğrudan SOTA amiral gemisini kullanmayı planlıyor (sonuçta iş yapıyoruz)
1.Ana model: Qwen-30B-Instruct, günlük işler için bu yeterlidir. (Talimatlara uyum çok iyi)
2. Çıkarım Yedeği: 8-bit modifiye edilmiş bir GPT OSS mlx bıraktım. GPT-OSS'un 4-bit versiyonu pek iyi değil, çıkarım bütçesini tam doldurmak üç aşamada pek anlamlı değil.
3. coder tüm yönler, yerel modeli düşünmemeyi ve doğrudan SOTA amiral gemisini kullanmayı planlıyor (sonuçta iş yapıyoruz)
GPT14.47%
