Databricks annonce que Genie Ontology a atteint un taux de réussite de 91 % sur des tâches dans un espace de travail, contre 45 % et 58 % pour 2 agents d’IA de pointe. Le test utilisait une entreprise fictive dont les règles de reporting étaient dispersées dans des tables, des notebooks et des documents.
Databricks a testé son approche, développée avec Turing, dans un espace de travail Databricks actif représentant Calderwick Energy, un fournisseur britannique fictif. Chaque tâche a été exécutée 5 fois, tous les agents étant soumis aux contrôles d’accès aux données de Unity Catalog.
Genie Ontology extrait les définitions métier des notebooks, tableaux de bord, requêtes SQL enregistrées et documents, puis récupère les extraits pertinents lorsque Genie répond. Pour une tâche, il a trouvé dans un notebook le bon taux historique utilisé pour la planification, plutôt que d’utiliser le taux différent figurant dans une table.
Pour les entreprises qui développent des outils d’IA dédiés aux données, ce résultat souligne l’importance de retrouver le contexte métier, et pas seulement de lire les tables. Mais la comparaison a ses limites : les agents concurrents utilisaient un ensemble d’outils Databricks plutôt que de fonctionner nativement, et Databricks indique que l’écart de performance se réduit lorsque les connaissances disponibles dans l’espace de travail sont limitées ou que les tables et les schémas suffisent.
Les notebooks et documents de reporting existants peuvent aider les systèmes d’IA à interpréter les règles métier propres à une entreprise.
L’accès aux outils et la recherche de contexte doivent être examinés avant d’attribuer les résultats d’un test d’agents à la supériorité du modèle d’IA sous-jacent.
Les performances au-delà de ce test rapporté par l’entreprise restent à démontrer, surtout dans les déploiements où peu de contexte métier est stocké.
Rédigé automatiquement par la rédaction de Made in 10 à partir de la source ci-dessus.
Databricks a lancé une version enrichie de son assistant Genie et des agents IA qui analysent en continu les données des entreprises. Une fonctionnalité distincte, Ontology, cartographie les informations à l’échelle d’une organisation pour permettre aux salariés de les retrouver et de les analyser.
