Amazon Web Services, Universal Agent Evaluation Framework (UAEF) aracını açık kaynak olarak kullanıma sundu. Araç, araç kullanımını, yanıt kalitesini, güvenliği, hızı, uzun konuşmaları ve ajanlar arasındaki iş birliğini değerlendiriyor. Bazı puanlar doğrudan hesaplanırken bazıları için Amazon Bedrock üzerindeki bir yapay zekâ modeli hakem olarak kullanılıyor.
LangGraph, LangChain, Strands Agents ve Amazon Bedrock AgentCore gibi ajan geliştirme çatıları, bir ajanın adımlarını farklı biçimlerde kaydediyor. UAEF bu kayıtları ortak bir biçime dönüştürüyor. Bu ortak biçim, ekipler geliştirme çatısını değiştirdiğinde gereken işi azaltabilir.
UAEF, bir yapay zekâ ajanını güncelleyen ekipler için kaydedilmiş test çalıştırmalarını karşılaştırabiliyor, %5'ten fazla düşen puanları işaretleyebiliyor ve gerilemeyi ciddiyetine göre sınıflandırabiliyor. Yazılım ücretsiz olsa da yapay zekâ tabanlı puanlama ve sonuçların saklanması hâlâ AWS hizmetlerine bağlı.