Amazon Web Services выпустила UAEF — бесплатный инструмент с открытым исходным кодом для тестирования ИИ-агентов на разных программных фреймворках. Он оценивает агентов по 36 показателям и выявляет ухудшения при изменении промптов или моделей.
Amazon Web Services открыла исходный код Universal Agent Evaluation Framework (UAEF). Инструмент оценивает использование инструментов, качество ответов, безопасность, скорость, длительные диалоги и взаимодействие между агентами. Часть показателей рассчитывается напрямую, а для остальных в качестве оценщика используется ИИ-модель на Amazon Bedrock.
Фреймворки для агентов, такие как LangGraph, LangChain, Strands Agents и Amazon Bedrock AgentCore, по-разному записывают действия агента. UAEF приводит эти записи к общему формату, что может сократить объём работы при переходе с одного фреймворка на другой.
При обновлении ИИ-агента команды могут с помощью UAEF сравнивать сохранённые результаты тестовых запусков и выявлять снижение любого показателя более чем на 5%, определяя серьёзность ухудшения. Сам инструмент бесплатный, но оценка с помощью ИИ и хранение результатов по-прежнему зависят от сервисов AWS.
Единый формат тестирования может сократить объём работы при сравнении агентов или смене фреймворка разработки.
Оценка с помощью ИИ и хранение результатов зависят от AWS, поэтому открытый исходный код не устраняет зависимость от облачных сервисов в этих задачах.
По данным AWS, инструмент используют 12 организаций, но это пока не доказывает, что UAEF повышает надёжность агентов при масштабном применении.
Написано автоматически редакцией Made in 10 по источнику выше.
Databricks сообщает, что Genie Ontology успешно выполнила 91% задач в рабочей среде против 45% и 58% у 2 передовых ИИ-агентов. В тесте использовали вымышленную компанию, правила отчётности которой были разбросаны по таблицам, блокнотам и документам.
По данным исследования BloombergNEF, для ИИ-дата-центров в США, Великобритании и континентальной Европе планируют построить газовые электростанции на собственных площадках общей мощностью 181 ГВт. Эти проекты призваны обойти задержки с подключением к электросетям; 90% планируемых газовых электростанций находятся в США.
Databricks представила обновлённого помощника Genie и ИИ-агентов, которые непрерывно анализируют данные компании. Отдельная функция Ontology просматривает корпоративные данные, чтобы сотрудники могли быстро получать информацию и анализировать её.