Amazon Web Services a publié UAEF, un outil gratuit et open source pour tester les agents IA sur plusieurs frameworks logiciels. Il évalue les agents selon 36 critères et signale les régressions lorsque les prompts ou les modèles changent.
Amazon Web Services a publié en open source son Universal Agent Evaluation Framework (UAEF). Il évalue l’utilisation des outils, la qualité des réponses, la sécurité, la rapidité, les conversations longues et la collaboration entre agents. Certains scores sont calculés directement ; d’autres sont attribués par un modèle d’IA sur Amazon Bedrock, qui sert de juge.
Les frameworks d’agents comme LangGraph, LangChain, Strands Agents et Amazon Bedrock AgentCore enregistrent différemment les étapes suivies par un agent. UAEF convertit ces enregistrements dans un format commun, ce qui pourrait réduire le besoin de reconstruire les tests lorsque les équipes changent de framework.
Pour les équipes qui mettent à jour un agent IA, UAEF peut comparer des exécutions de tests enregistrées et signaler tout score en baisse de plus de 5 %, en classant la régression par gravité. Le logiciel est gratuit, mais l’évaluation par l’IA et le stockage des résultats dépendent toujours des services AWS.
Un format de test commun pourrait réduire le travail nécessaire pour comparer les agents ou changer de framework de développement.
La dépendance à AWS pour l’évaluation et le stockage signifie que la disponibilité en open source ne supprime pas les dépendances au cloud.
L’utilisation par 12 organisations annoncée par AWS ne démontre pas à ce stade qu’UAEF améliore la fiabilité des agents à grande échelle.
Rédigé automatiquement par la rédaction de Made in 10 à partir de la source ci-dessus.
Databricks annonce que Genie Ontology a atteint un taux de réussite de 91 % sur des tâches dans un espace de travail, contre 45 % et 58 % pour 2 agents d’IA de pointe. Le test utilisait une entreprise fictive dont les règles de reporting étaient dispersées dans des tables, des notebooks et des documents.
Selon BloombergNEF, les centres de données dédiés à l’IA prévoient 181 GW de production électrique au gaz sur site aux États-Unis, au Royaume-Uni et en Europe continentale. Ces projets visent à contourner les délais de raccordement au réseau électrique, et 90 % des centrales à gaz prévues se trouvent aux États-Unis.
Databricks a lancé une version enrichie de son assistant Genie et des agents IA qui analysent en continu les données des entreprises. Une fonctionnalité distincte, Ontology, cartographie les informations à l’échelle d’une organisation pour permettre aux salariés de les retrouver et de les analyser.