Box представила Box Content Retrieval на своей конференции для разработчиков и показала, как агенты могут получать нужные фрагменты документов вместо чтения файлов целиком. Вице-президент Nvidia по программному обеспечению для генеративного ИИ Кари Бриски ожидает, что ответы будут поступать в 4 раза быстрее, ошибок будет на 20% меньше, а расход токенов сократится на 90%. Это прогнозы, а не результаты измерений, приведённые в источнике.
Функция использует Nvidia Nemotron Embed — проект, предлагающий модели эмбеддингов с открытыми весами для автоматизированного поиска информации. Эмбеддинги отражают смысловые связи, а не только ключевые слова, помогая находить связанные материалы даже при различиях в формулировках или языке.
Для компаний, которые создают ИИ-агентов, важно различать доступ к модели и работающую систему поиска по документам. Хотя модели Nemotron доступны бесплатно, Box также опирается на уже имеющиеся метаданные и механизмы управления правами доступа, поэтому воспроизвести систему целиком сложнее.