Together AI a lancé Together Compiler pour optimiser automatiquement l’inférence IA à mesure que les modèles, le trafic et le matériel évoluent. L’entreprise annonce un débit jusqu’à 2,6 fois supérieur sur une sélection de modèles open source, obtenu en moins de 24 heures.
Together AI a présenté Together Compiler le 4 novembre dans le cadre d’une approche baptisée Polymorphic Inference. Celle-ci associe un essaim d’agents IA à un moteur fonctionnant en permanence, qui recompile en continu les points de terminaison en production.
Selon Together AI, les modèles lancés au cours des 3 derniers mois représentent 80 % du trafic d’OpenRouter. L’entreprise estime que les configurations d’inférence fixes ne peuvent pas suivre l’évolution de l’architecture des modèles, de la taille des requêtes et du matériel.
Pour les entreprises qui exploitent des applications d’IA, le bénéfice potentiel est de réduire les réglages manuels à mesure que les charges de travail évoluent. Mais les informations publiées ne fournissent aucune comparaison du coût par token : les gains de débit annoncés ne permettent donc pas encore d’établir les économies que les clients pourraient réaliser.
L’optimisation automatique de l’inférence pourrait réduire le travail d’ingénierie, mais cette annonce ne permet pas de déterminer quelle part de la maintenance manuelle elle remplace.
Les gains de performance annoncés restent des affirmations de l’entreprise, et non la preuve d’améliorations constantes sur les différentes charges de travail des clients.
Sans comparaison du coût par token, les entreprises qui développent des applications ne peuvent pas encore déterminer si ce débit supplémentaire se traduit par une baisse des coûts d’exploitation.
Rédigé automatiquement par la rédaction de Made in 10 à partir de la source ci-dessus.
Traversal a levé 120 millions de dollars en série B pour ses agents IA qui analysent les défaillances logicielles. L’opération valorise la startup new-yorkaise à 1 milliard de dollars.
