Databricks сообщает, что Genie Ontology успешно выполнила 91% задач в рабочей среде против 45% и 58% у 2 передовых ИИ-агентов. В тесте использовали вымышленную компанию, правила отчётности которой были разбросаны по таблицам, блокнотам и документам.
Databricks протестировала свой подход, разработанный совместно с Turing, в действующей рабочей среде Databricks, воспроизводящей вымышленного британского поставщика Calderwick Energy. Каждую задачу запускали 5 раз, при этом на всех агентов распространялись ограничения доступа к данным Unity Catalog.
Genie Ontology извлекает бизнес-определения из блокнотов, дашбордов, сохранённых SQL-запросов и документов, а затем подбирает нужные фрагменты, когда Genie отвечает на вопросы. В одной из задач система нашла в блокноте правильную ставку, использовавшуюся для планирования в прошлом, вместо того чтобы взять другую ставку из таблицы.
Для компаний, которые разрабатывают ИИ-инструменты для работы с данными, результат указывает на важность поиска бизнес-контекста, а не только чтения таблиц. Но у сравнения есть ограничения: конкурирующие агенты использовали набор инструментов Databricks, а не работали в среде напрямую. Кроме того, по данным Databricks, разрыв в результатах сокращается, когда в рабочей среде мало накопленных знаний или для решения задач достаточно таблиц и схем данных.
Существующие блокноты и документы по отчётности могут быть полезными источниками для ИИ-систем, которым нужно интерпретировать бизнес-правила конкретной компании.
Прежде чем считать результаты тестирования агентов доказательством превосходства лежащей в их основе ИИ-модели, разработчикам стоит изучить доступ к инструментам и настройки поиска информации.
Результативность за пределами этого теста, о котором сообщила сама компания, остаётся неподтверждённой, особенно при внедрении в средах с небольшим объёмом сохранённого бизнес-контекста.
Написано автоматически редакцией Made in 10 по источнику выше.
Databricks представила обновлённого помощника Genie и ИИ-агентов, которые непрерывно анализируют данные компании. Отдельная функция Ontology просматривает корпоративные данные, чтобы сотрудники могли быстро получать информацию и анализировать её.
