Together AI het Together Compiler bekendgestel om KI-inferensie outomaties te optimeer namate modelle, verkeer en hardeware verander. Die maatskappy rapporteer tot 2.6x hoër deurset op uitgesoekte oopbronmodelle in minder as 24 uur.
Together AI het Together Compiler op 4 November bekendgestel as deel van ’n benadering wat hy Polymorphic Inference noem. Dit kombineer ’n swerm KI-agente met ’n enjin wat deurlopend werk en produksie-eindpunte voortdurend hersaamstel.
Volgens Together AI is modelle wat in die afgelope 3 maande bekendgestel is, verantwoordelik vir 80% van OpenRouter se verkeer. Die maatskappy voer aan dat vaste inferensie-instellings nie kan byhou met veranderinge in modelargitektuur, versoekgrootte en hardeware nie.
Vir maatskappye wat KI-toepassings bedryf, is die moontlike voordeel minder handmatige fyninstelling namate werkladings verander. Die verslag bevat egter geen vergelykings van koste per token nie, dus toon die beweerde deursetverbeterings nog nie hoeveel kliënte kan bespaar nie.
Outomatiese inferensie-optimering kan ingenieurswerk verminder, maar die bekendstelling toon nie hoeveel handmatige instandhouding dit vervang nie.
Die gerapporteerde prestasieverbeterings bly aansprake deur die maatskappy, eerder as bewys van bestendige verbeterings oor kliënte se werkladings heen.
Sonder vergelykings van koste per token kan ontwikkelaars nog nie bepaal of die ekstra deurset tot laer bedryfskoste lei nie.
Outomaties geskryf deur die Made in 10-nuuskamer uit die bron hierbo.
Adobe CX Enterprise Coworker werk nou binne ChatGPT, Claude, Gemini, Copilot en Databricks Genie. Adobe sê nuwe koppelaars laat bemarkers toe om met een versoek data te haal en take oor verskeie stelsels heen uit te voer.
