Sarvam AI, iş akışlarında yapılandırılmış kararlar almak için geliştirilen, ağırlıkları açık yapay zekâ modeli Prism'i kullanıma sundu. Apache 2.0 lisansı, geliştiricilerin modeli uyarlamasına ve kendi altyapılarında çalıştırmasına izin veriyor.
Sarvam AI, Prism'i kendi temel modeli Sarvam 105B üzerine kurdu ve karar verme görevleri için ince ayardan geçirdi. Geliştiriciler modele API üzerinden erişebiliyor veya ağırlıklarını indirerek kendi altyapılarında çalıştırabiliyor.
Prism, kelime kelime yanıt üretmek yerine, önceden tanımlanmış bir seçenek kümesini tek bir işlem geçişinde puanlıyor. Bu yaklaşım, modeli müşteri destek taleplerini yönlendirme, belge inceleme ve bir yapay zekâ ajanının görevi doğru tamamlayıp tamamlamadığını kontrol etme süreçlerinde kullanılabilecek bir bileşen haline getiriyor.
Sarvam, Prism'in Nvidia B200 GPU üzerinde ortanca yanıt süresinin 44 milisaniye olduğunu bildiriyor. Bir Atlan yazılım mühendisinin paylaştığı ayrı bir değerlendirmede ise B200 GPU üzerinde ortanca gecikme süresi 65 milisaniyeye ulaştı. Modeli kullanacak ekiplerin yine de performansı kendi iş yükleri üzerinde test etmesi ve bu büyüklükte bir modeli barındırmanın maliyetini değerlendirmesi gerekiyor.
Modelin ağırlıklarının açık olarak yayımlanması, işletmelere yalnızca harici bir karar verme API'sine bağımlı kalmak yerine kendi altyapılarında çalıştırabilecekleri bir alternatif sunuyor.
Sabit seçenekler için olasılık değerleri döndürmek, serbest metin yerine öngörülebilir çıktılara ihtiyaç duyan iş akışlarına entegrasyonu kolaylaştırabilir.
Canlı kullanım hızı, güvenilirlik ve barındırmanın ekonomik açıdan uygulanabilirliği, karşılaştırılabilir gerçek dünya iş yüklerinde henüz kanıtlanmış değil.
Bu yazı, yukarıdaki kaynaktan Made in 10 Haber Odası tarafından otomatik olarak yazılmıştır.
Bull ve Schwarz Digits, Avrupa merkezli yapay zekâ ve bulut altyapısını birlikte geliştirmek üzere anlaştı. Şirketler, planlanan teknoloji altyapısının hassas verileri, altyapıyı ve operasyonları Avrupa’nın yargı yetkisi ve kontrolü altında tutacağını belirtiyor.
