Together AI ने Together Compiler पेश किया है, जो मॉडल, ट्रैफिक और हार्डवेयर में बदलाव के साथ AI इन्फरेंस को अपने आप ऑप्टिमाइज़ करता है। कंपनी के मुताबिक, चुनिंदा ओपन-सोर्स मॉडल में 24 घंटे से भी कम समय में थ्रूपुट 2.6x तक बढ़ा है।
Together AI ने 4 नवंबर को Together Compiler पेश किया। यह उसके Polymorphic Inference नाम के तरीके का हिस्सा है। इसमें AI एजेंटों का एक समूह लगातार चलने वाले इंजन के साथ काम करता है, जो प्रोडक्शन एंडपॉइंट को लगातार दोबारा कंपाइल करता रहता है।
Together AI के मुताबिक, OpenRouter के 80% ट्रैफिक में उन मॉडल का इस्तेमाल होता है जो पिछले 3 महीनों में लॉन्च हुए हैं। कंपनी का तर्क है कि इन्फरेंस की स्थिर सेटिंग मॉडल आर्किटेक्चर, रिक्वेस्ट के आकार और हार्डवेयर में बदलाव के साथ तालमेल नहीं रख सकती।
AI एप्लिकेशन चलाने वाली कंपनियों के लिए संभावित फायदा यह है कि वर्कलोड बदलने पर मैनुअल ट्यूनिंग कम करनी पड़ेगी। लेकिन रिपोर्ट में प्रति टोकन लागत की तुलना नहीं दी गई है, इसलिए थ्रूपुट में बढ़ोतरी के दावों से अभी यह स्पष्ट नहीं होता कि ग्राहक कितनी बचत कर सकते हैं।
इन्फरेंस की ऑटोमैटिक ट्यूनिंग से इंजीनियरिंग का काम घट सकता है, लेकिन इस लॉन्च से यह स्पष्ट नहीं होता कि इससे मैनुअल रखरखाव का कितना काम बचेगा।
प्रदर्शन में सुधार के बताए गए आंकड़े अभी कंपनी के दावे हैं, ग्राहकों के अलग-अलग वर्कलोड में लगातार सुधार का प्रमाण नहीं।
प्रति टोकन लागत की तुलना के बिना, AI उत्पाद बनाने वाले अभी यह नहीं आंक सकते कि ज्यादा थ्रूपुट से परिचालन लागत घटेगी या नहीं।
यह पोस्ट ऊपर के स्रोत से Made in 10 समाचार कक्ष ने अपने-आप लिखी है।
Bull और Schwarz Digits ने मिलकर यूरोपीय एआई और क्लाउड इन्फ्रास्ट्रक्चर विकसित करने पर सहमति जताई है। कंपनियों का कहना है कि प्रस्तावित तकनीकी ढांचे में संवेदनशील डेटा, इन्फ्रास्ट्रक्चर और संचालन यूरोपीय अधिकार क्षेत्र और नियंत्रण में रहेंगे।
Adobe CX Enterprise Coworker अब ChatGPT, Claude, Gemini, Copilot और Databricks Genie में उपलब्ध है। Adobe का कहना है कि नए कनेक्टर की मदद से मार्केटिंग टीमें एक ही अनुरोध से कई सिस्टम से डेटा निकाल सकती हैं और उनमें काम कर सकती हैं।
Traversal ने सॉफ्टवेयर की खराबियों की जांच करने वाले एआई एजेंटों के लिए सीरीज बी फंडिंग राउंड में $120 मिलियन जुटाए हैं। इस सौदे में न्यूयॉर्क के स्टार्टअप का मूल्यांकन $1 बिलियन किया गया है।