Cohere testlerinde, güçlü bir lider AI ajanı ile daha ucuz planlama ajanlarının oluşturduğu ekip, daha pahalı bir ekiple aynı performansı yakalayabildi. Sol liderliğinde Luna planlayıcıların kullanılması, tamamı Sol’dan oluşan ekibe kıyasla performansı düşürmeden maliyetleri %60 azalttı, ancak sonuçlar göreve göre değişti.
Cohere kıdemli araştırmacısı Nouha Dziri, işleri dağıtan ve raporları ortak bir çalışma alanında birleştiren bir liderin yönettiği AI ajanı ekipleriyle yapılan testleri sundu. Daha yetenekli Sol lideri daha ucuz Luna planlayıcılarla eşleştirmek, tüm rollerde Sol kullanmakla aynı sonucu daha düşük maliyetle verdi.
Testlerde, modellerden bir programı ikili dosyası ve teknik tanımı üzerinden yeniden oluşturmalarını, derlenebilir ve testleri geçebilir hale getirmelerini isteyen ProgramBench kullanıldı. Çalışan ajanları yalnızca keşif aşamasıyla sınırlamak, maliyetleri yarıya indirirken tam ekibin performansını yakaladı. Bu da söz konusu düzende asıl darboğazın neyin geliştirileceğini belirlemek olduğuna işaret etti.
AI ajanları geliştiren şirketler açısından bulgular, ek ajanları iş akışının tamamında kullanmanın maliyetini üstlenmeden önce nerede fayda sağladıklarını testlemeyi destekliyor. Bulgular genel bir maliyet avantajı ortaya koymuyor: başka bir kıyaslama testi olan Commit Zero’da, dokümantasyon ve testler sağlandığında uygulama geliştirme desteği daha iyi sonuç verdi.
Geliştiriciler, her role pahalı modeller atamadan önce daha ucuz planlama ajanlarını test ederek harcamalarını azaltabilir.
Kıyaslama testlerinin farklı sonuçlar vermesi, iş akışındaki darboğazı belirlemeyi her durumda daha büyük ajan ekiplerini tercih etmekten daha önemli kılıyor.
Bu düzenin dışında tasarruf sağlanıp sağlanmadığı henüz kanıtlanmış değil; ekonomik değerlendirme yapabilmek için çalıştırma başına maliyetlerin de kamuya açıklanması gerekiyor.
Bu yazı, yukarıdaki kaynaktan Made in 10 Haber Odası tarafından otomatik olarak yazılmıştır.
Physicl, fiziksel yapay zekâ için eğitim verisi üretmek üzere on milyon dolar tohum yatırım aldı. Platform, modellerin zorlandığı durumları 3 boyutlu olarak yeniden oluşturarak geliştiricilerin modellerindeki zayıf noktalara odaklanmasını sağlıyor.
