Together AI, modeller, trafik ve donanım değiştikçe yapay zekâ çıkarımını otomatik olarak optimize ettiğini belirttiği Together Compiler’ı tanıttı. Şirket, seçili açık kaynaklı modellerde 24 saatten kısa sürede saniyede üretilen token sayısında 2,6 kata varan artış bildirdi.
Together AI, Together Compiler’ı 4 Kasım’da Polymorphic Inference adını verdiği yaklaşımın bir parçası olarak tanıttı. Sistem, bir yapay zekâ ajanı topluluğunu, üretim ortamındaki uç noktaları sürekli yeniden derleyen kalıcı bir motorla birleştiriyor.
Together AI’a göre, son 3 ayda kullanıma sunulan modeller OpenRouter trafiğinin %80’ini oluşturuyor. Şirket, sabit çıkarım yapılandırmalarının model mimarisi, istek boyutu ve donanımdaki değişimlere ayak uyduramadığını savunuyor.
Yapay zekâ uygulamaları çalıştıran şirketler için olası fayda, iş yükleri değiştikçe daha az elle ayarlama gerektirmesi. Ancak açıklamada token başına maliyet karşılaştırmaları yer almadığı için, saniyede üretilen token sayısında bildirilen artışlar müşterilerin ne kadar tasarruf edebileceğini henüz ortaya koymuyor.
Çıkarımın otomatik ayarlanması mühendislik işini azaltabilir; ancak bu ürün duyurusu, elle yapılan bakımın ne kadarının yerini alacağını göstermiyor.
Bildirilen performans artışları şirketin kendi iddialarına dayanıyor; farklı müşteri iş yüklerinde tutarlı iyileşme sağlandığının kanıtı değil.
Yeni performans verilerine rağmen, token başına maliyet karşılaştırmalarının eksikliği daha düşük işletme giderlerine geçişin henüz gösterilmediği anlamına geliyor.
Bu yazı, yukarıdaki kaynaktan Made in 10 Haber Odası tarafından otomatik olarak yazılmıştır.
Goldman Sachs ve Apollo Global Management, SpaceX’in yaklaşık 40 milyar dolarlık çip finansmanının bölümlerini satmak için görüşüyor. Paket, kira ön ödemesiyle birlikte yaklaşık 47,3 milyar dolarlık Nvidia Rubin çiplerinin alımını finanse edecek; teslimat 2027’nin ilk yarısında.
