Yerel büyük model bir gece boyunca denedi, sonunda seçildi:
1.Ana model: Qwen-30B-Instruct, günlük işler için bu yeterlidir. (Talimatlara uyum çok iyi)
2. Çıkarım Yedeği: 8-bit modifiye edilmiş bir GPT OSS mlx bıraktım. GPT-OSS'un 4-bit versiyonu pek iyi değil, çıkarım bütçesini tam doldurmak üç aşamada pek anlamlı değil.
3. coder tüm yönler, yerel modeli düşünmemeyi ve doğrudan SOTA amiral gemisini kullanmayı planlıyor (sonuçta iş yapıyoruz)
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Yerel büyük model bir gece boyunca denedi, sonunda seçildi:
1.Ana model: Qwen-30B-Instruct, günlük işler için bu yeterlidir. (Talimatlara uyum çok iyi)
2. Çıkarım Yedeği: 8-bit modifiye edilmiş bir GPT OSS mlx bıraktım. GPT-OSS'un 4-bit versiyonu pek iyi değil, çıkarım bütçesini tam doldurmak üç aşamada pek anlamlı değil.
3. coder tüm yönler, yerel modeli düşünmemeyi ve doğrudan SOTA amiral gemisini kullanmayı planlıyor (sonuçta iş yapıyoruz)