Amazon Web Services het UAEF vrygestel, ’n gratis oopbronhulpmiddel om KI-agente oor verskeie sagtewareraamwerke heen te toets. Dit beoordeel agente volgens 36 maatstawwe en merk verswakkings uit wanneer instruksies of modelle verander.
Amazon Web Services het sy Universal Agent Evaluation Framework (UAEF) as oopbronsagteware beskikbaar gestel. Dit beoordeel die gebruik van hulpmiddels, antwoordgehalte, veiligheid, spoed, lang gesprekke en samewerking tussen agente. Sommige tellings word regstreeks bereken; ander gebruik ’n KI-model op Amazon Bedrock as beoordelaar.
Agentraamwerke soos LangGraph, LangChain, Strands Agents en Amazon Bedrock AgentCore teken ’n agent se stappe op verskillende maniere aan. UAEF skakel dié rekords na ’n gemeenskaplike formaat om, sodat spanne nie toetse van voor af hoef op te stel wanneer hulle van raamwerk verander nie.
Vir spanne wat ’n KI-agent bywerk, kan UAEF gestoorde toetslopies vergelyk en enige telling wat met meer as 5% daal, uitmerk en die verswakking volgens erns gradeer. Die sagteware is gratis, maar KI-gebaseerde beoordeling en die berging van resultate is steeds van AWS-dienste afhanklik.
’n Gemeenskaplike toetsformaat kan die werk verminder wat nodig is om agente te vergelyk of van ontwikkelingsraamwerk te verander.
Omdat beoordeling en berging van AWS afhanklik is, skakel oopbronbeskikbaarheid nie afhanklikheid van wolkdienste uit nie.
Die gerapporteerde gebruik deur 12 organisasies bewys nog nie dat UAEF agente se betroubaarheid op groot skaal verbeter nie.
Outomaties geskryf deur die Made in 10-nuuskamer uit die bron hierbo.
Databricks sê Genie Ontology het ’n slaagsyfer van 91% op werkruimtetake behaal, teenoor 45% en 58% vir 2 gevorderde KI-agente. Die toets het ’n fiktiewe onderneming gebruik waarvan die verslagdoeningsreëls oor tabelle, notaboeke en dokumente versprei was.
Navorsing deur BloombergNEF toon dat KI-datasentrums in die VSA, die Verenigde Koninkryk en die vasteland van Europa 181GW se gasgedrewe kragopwekking op hul eie persele beplan. Die voorstelle is daarop gemik om vertragings met aansluitings by die elektrisiteitsnet te omseil, met 90% van die beplande gaskragstasies in die VSA.
Databricks het ’n bygewerkte Genie-assistent en KI-agente bekendgestel wat maatskappydata deurlopend ontleed. ’n Afsonderlike Ontology-funksie karteer inligting regoor ’n organisasie sodat personeel dit kan opspoor en ontledings kan doen.