Databricks afirma que Genie Ontology logró una tasa de éxito del 91% en tareas de un entorno de trabajo, frente al 45% y el 58% de 2 agentes de IA de frontera. La prueba utilizó una empresa ficticia cuyas reglas para elaborar informes estaban repartidas entre tablas, cuadernos de código y documentos.
Databricks probó su enfoque, desarrollado con Turing, en un entorno de trabajo activo de Databricks que representaba a Calderwick Energy, un proveedor británico ficticio. Cada tarea se ejecutó 5 veces y todos los agentes estuvieron sujetos a los controles de acceso a datos de Unity Catalog.
Genie Ontology extrae definiciones de negocio de cuadernos de código, paneles, consultas SQL guardadas y documentos, y recupera los fragmentos pertinentes cuando Genie responde. En una tarea, encontró en un cuaderno la tasa histórica correcta utilizada para la planificación, en lugar de usar la tasa distinta que aparecía en una tabla.
Para las empresas que desarrollan herramientas de datos con IA, el resultado señala la importancia de recuperar el contexto del negocio, no solo de leer tablas. Pero la comparación tiene límites: los agentes rivales utilizaron un conjunto de herramientas de Databricks en lugar de ejecutarse de forma nativa, y Databricks afirma que la diferencia de rendimiento se reduce cuando hay poco conocimiento almacenado en el entorno de trabajo o cuando las tablas y los esquemas son suficientes.
Los cuadernos y documentos de informes existentes pueden ser útiles para sistemas de IA que necesitan interpretar reglas de negocio propias de cada empresa.
Quienes desarrollan agentes deben revisar el acceso a herramientas y la recuperación de información antes de atribuir los resultados de una prueba a un mejor modelo de IA.
El rendimiento fuera de esta prueba presentada por la empresa sigue sin demostrarse, sobre todo en implementaciones con poco contexto de negocio almacenado.
Escrito automáticamente por la Redacción de Made in 10 a partir de la fuente de arriba.
Fractile ha captado 720 millones de dólares en una ronda de serie C para desarrollar chips que ejecutan modelos de IA. Sus chips especializados llegarían a los centros de datos el próximo año, por lo que las mejoras de rendimiento prometidas aún deben demostrarse.
