Amazon Web Services ha publicado UAEF, una herramienta gratuita y de código abierto para evaluar agentes de IA en varios frameworks de software. Evalúa los agentes con 36 métricas y detecta retrocesos cuando cambian las instrucciones o los modelos.
Amazon Web Services ha publicado su Universal Agent Evaluation Framework (UAEF) como software de código abierto. Evalúa el uso de herramientas, la calidad de las respuestas, la seguridad, la velocidad, las conversaciones largas y la colaboración entre agentes. Algunas puntuaciones se calculan directamente; otras utilizan un modelo de IA en Amazon Bedrock como evaluador.
Los frameworks de agentes como LangGraph, LangChain, Strands Agents y Amazon Bedrock AgentCore registran los pasos de cada agente de forma diferente. UAEF convierte esos registros a un formato común, lo que evita tener que rehacer las pruebas cuando los equipos cambian de framework.
Para los equipos que actualizan un agente de IA, UAEF permite comparar ejecuciones de pruebas guardadas y señalar cualquier puntuación que caiga más de un 5%, clasificando el retroceso según su gravedad. El software es gratuito, pero la evaluación mediante IA y el almacenamiento de resultados siguen dependiendo de los servicios de AWS.
Un formato común de pruebas podría reducir el trabajo necesario para comparar agentes o cambiar de framework de desarrollo.
La evaluación y el almacenamiento dependientes de AWS implican que publicar el código abierto no elimina la dependencia de la nube.
El uso declarado por 12 organizaciones todavía no demuestra que UAEF mejore la fiabilidad de los agentes a gran escala.
Escrito automáticamente por la Redacción de Made in 10 a partir de la fuente de arriba.
Databricks afirma que Genie Ontology logró una tasa de éxito del 91% en tareas de un entorno de trabajo, frente al 45% y el 58% de 2 agentes de IA de frontera. La prueba utilizó una empresa ficticia cuyas reglas para elaborar informes estaban repartidas entre tablas, cuadernos de código y documentos.
Databricks ha lanzado una versión actualizada de su asistente Genie y agentes de IA que analizan continuamente los datos de las empresas. Una función independiente, Ontology, organiza la información de toda la empresa para que el personal pueda recuperarla y realizar análisis.
Fractile ha captado 720 millones de dólares en una ronda de serie C para desarrollar chips que ejecutan modelos de IA. Sus chips especializados llegarían a los centros de datos el próximo año, por lo que las mejoras de rendimiento prometidas aún deben demostrarse.