Sarvam AI a lancé Prism, un modèle d’IA à poids ouverts conçu pour prendre des décisions structurées dans les processus métier. Sa licence Apache 2.0 permet aux développeurs d’adapter le modèle et de le déployer sur leur propre infrastructure.
Sarvam AI a conçu Prism à partir de son modèle de fondation Sarvam 105B, puis l’a affiné pour la prise de décision. Les développeurs peuvent y accéder par une API ou télécharger ses poids pour le déployer sur leur propre infrastructure.
Plutôt que de générer une réponse mot à mot, Prism attribue un score à un ensemble d’options prédéfinies en un seul passage de calcul. Il pourrait ainsi servir à orienter les demandes au service client, à examiner des documents ou à vérifier qu’un agent IA a correctement accompli une tâche.
Sarvam indique que le temps de réponse médian de Prism sur un GPU Nvidia B200 était de 44 millisecondes. Dans une évaluation distincte partagée par un ingénieur logiciel d’Atlan, la latence médiane sur un GPU B200 a atteint 65 millisecondes. Les équipes doivent encore tester les performances sur leurs propres charges de travail et évaluer le coût d’hébergement d’un modèle de cette taille.
La mise à disposition des poids offre aux entreprises une solution qu’elles peuvent déployer elles-mêmes, plutôt que de dépendre uniquement d’une API externe de prise de décision.
Le renvoi de probabilités pour des options prédéfinies peut simplifier l’intégration dans des processus qui nécessitent des résultats prévisibles plutôt que du texte rédigé.
La rapidité, la fiabilité et la viabilité économique de l’hébergement en production restent à démontrer sur des charges de travail réelles comparables.
Rédigé automatiquement par la rédaction de Made in 10 à partir de la source ci-dessus.
Together AI a lancé Together Compiler pour optimiser automatiquement l’inférence IA à mesure que les modèles, le trafic et le matériel évoluent. L’entreprise annonce un débit jusqu’à 2,6 fois supérieur sur une sélection de modèles open source, obtenu en moins de 24 heures.
