OpenAI a généralisé l’accès à Decisions API, en y ajoutant la prise en charge de la voix et des images. Speak, l’un des premiers clients, a indiqué que le délai entre les actions était passé de 1,4 seconde à 0,13 seconde.
Decisions API d’OpenAI utilise une version reconfigurée de ChatGPT Luna pour accélérer l’inférence et réduire les coûts, plutôt qu’un modèle spécialement entraîné à la prise de décision. OpenAI a également réparti géographiquement ses ressources d’inférence pour réduire les délais dans les différentes régions.
Jev, de TypeSafe, a contribué à établir la catégorie des modèles d’IA qui choisissent rapidement entre plusieurs options et indiquent leur niveau de confiance dans leurs décisions. Lors des premiers essais, des ingénieurs de Box, Datadog, Ramp et Speak ont utilisé l’API d’OpenAI pour remplacer des LLM et obtenir un débit de traitement plus élevé.
Pour les développeurs, les modèles de décision offrent une alternative aux LLM pour les processus reposant sur des choix rapides. La solution la plus adaptée dépend toujours de la charge de travail, avec des compromis entre intelligence, coût, calibrage du niveau de confiance et rapidité.
La disponibilité générale donne aux développeurs un fournisseur supplémentaire à tester pour les processus exigeant des décisions rapides.
La prise en charge de la voix et des images élargit les usages possibles de l’API au-delà de la classification de texte.
Les gains de vitesse rapportés par les premiers clients ne permettent pas de déterminer quel modèle sera le plus adapté aux tâches propres à une entreprise.
Rédigé automatiquement par la rédaction de Made in 10 à partir de la source ci-dessus.
Hugging Face a publié Carbon-X, un modèle d’IA open source qui répond en langage naturel aux questions sur l’ADN. Le modèle peut fonctionner en local sur un ordinateur portable, sans transmettre de données génétiques sensibles à des services cloud, mais ses prédictions n’ont pas été validées par des expériences en laboratoire.
