A Amazon Web Services lançou o UAEF, uma ferramenta gratuita e de código aberto para testar agentes de IA em vários frameworks de software. A ferramenta avalia agentes em 36 métricas e sinaliza regressões quando há mudanças nos prompts ou nos modelos.
A Amazon Web Services disponibilizou o Universal Agent Evaluation Framework (UAEF) como software de código aberto. A ferramenta avalia uso de ferramentas, qualidade das respostas, segurança, velocidade, conversas longas e colaboração entre agentes. Algumas pontuações são calculadas diretamente; outras usam um modelo de IA no Amazon Bedrock como avaliador.
Frameworks de agentes como LangGraph, LangChain, Strands Agents e Amazon Bedrock AgentCore registram as etapas de um agente de formas diferentes. O UAEF converte esses registros para um formato comum, o que pode reduzir o trabalho necessário ao trocar de framework.
Para equipes que atualizam um agente de IA, o UAEF permite comparar execuções de testes salvas e sinalizar qualquer queda superior a 5% na pontuação, classificando a regressão por gravidade. O software é gratuito, mas a avaliação por IA e o armazenamento dos resultados ainda dependem de serviços da AWS.
Um formato comum de testes pode reduzir o trabalho necessário para comparar agentes ou trocar de framework de desenvolvimento.
A avaliação por IA e o armazenamento dos resultados dependem de serviços da AWS; nesses recursos, o código aberto não elimina a dependência da nuvem.
O uso relatado por 12 organizações ainda não comprova que o UAEF melhora a confiabilidade dos agentes em escala nem estabelece uma mudança duradoura de plataforma.
Escrito automaticamente pela Redação da Made in 10 a partir da fonte acima.
Pesquisa da BloombergNEF identifica planos de 181 GW de geração de energia a gás no local para data centers de IA nos EUA, no Reino Unido e na Europa continental. As propostas buscam contornar atrasos na conexão à rede elétrica, com 90% das usinas a gás planejadas nos EUA.
