Databricks के मुताबिक, वर्कस्पेस से जुड़े कामों में Genie Ontology की पास दर 91% रही, जबकि 2 अग्रणी AI एजेंटों की पास दर 45% और 58% थी। टेस्ट में एक काल्पनिक कारोबार का इस्तेमाल किया गया, जिसके रिपोर्टिंग नियम टेबल, नोटबुक और दस्तावेजों में बिखरे हुए थे।
Databricks ने Turing के साथ मिलकर तैयार किए गए अपने तरीके को एक लाइव Databricks वर्कस्पेस में परखा, जो ब्रिटेन के काल्पनिक सप्लायर Calderwick Energy को दर्शाता था। हर काम 5 बार चलाया गया और सभी एजेंटों पर Unity Catalog के डेटा एक्सेस नियंत्रण लागू थे।
Genie Ontology नोटबुक, डैशबोर्ड, सहेजी गई SQL क्वेरी और दस्तावेजों से कारोबार की परिभाषाएं निकालता है। फिर Genie के जवाब देते समय उनसे संबंधित अंश खोजकर लाता है। एक काम में इसने टेबल में दी गई अलग दर का इस्तेमाल करने के बजाय नोटबुक में योजना बनाने के लिए इस्तेमाल हुई सही ऐतिहासिक दर खोजी।
AI डेटा टूल बनाने वाली कंपनियों के लिए यह नतीजा बताता है कि सिर्फ टेबल पढ़ना नहीं, बल्कि कारोबार से जुड़ा संदर्भ खोजना भी अहम है। लेकिन इस तुलना की सीमाएं हैं: प्रतिद्वंद्वी एजेंट सीधे Databricks में चलने के बजाय Databricks के टूलसेट का इस्तेमाल कर रहे थे, जिसमें Genie MCP शामिल नहीं था। Databricks का यह भी कहना है कि जब वर्कस्पेस में जानकारी कम हो या टेबल और स्कीमा ही पर्याप्त हों, तो प्रदर्शन का अंतर घट जाता है।
मौजूदा नोटबुक और रिपोर्टिंग दस्तावेज उन AI सिस्टम के लिए उपयोगी इनपुट हो सकते हैं, जिन्हें किसी कंपनी के खास कारोबारी नियम समझने होते हैं।
किसी एजेंट बेंचमार्क को बेहतर मूल AI मॉडल का सबूत मानने से पहले, टूल बनाने वालों को देखना चाहिए कि एजेंटों को किन टूल का एक्सेस मिला था और जानकारी खोजने की व्यवस्था कैसी थी।
कंपनी की ओर से बताया गया यह टेस्ट अकेले दूसरे इस्तेमालों में प्रदर्शन स्थापित नहीं करता। अलग से, Databricks का कहना है कि वर्कस्पेस में संदर्भ कम होने पर प्रदर्शन का अंतर घटता है।
यह पोस्ट ऊपर के स्रोत से Made in 10 समाचार कक्ष ने अपने-आप लिखी है।
Databricks ने अपडेट किया गया Genie असिस्टेंट और कंपनी के डेटा का लगातार विश्लेषण करने वाले एआई एजेंट लॉन्च किए हैं। अलग से दी गई Ontology सुविधा संगठन का डेटा स्कैन करती है, ताकि कर्मचारी जानकारी हासिल कर सकें या विश्लेषण कर सकें।
