Box presentó Box Content Retrieval en su conferencia para desarrolladores y mostró cómo los agentes pueden recibir fragmentos relevantes de documentos en lugar de leer archivos completos. Kari Briski, vicepresidenta de software de IA generativa de Nvidia, prevé respuestas 4 veces más rápidas, con un 20% menos de errores y un 90% menos de tokens utilizados. Son estimaciones, no resultados medidos que haya comunicado la fuente.
La función utiliza Nvidia Nemotron Embed, un proyecto que ofrece modelos de embeddings con pesos abiertos para la recuperación automatizada de información. Sus embeddings representan los conceptos subyacentes más allá de las palabras clave, lo que permite encontrar material relacionado aunque cambien la redacción o el idioma.
Para las empresas que desarrollan agentes de IA, la diferencia está entre tener acceso a un modelo y contar con un sistema operativo de recuperación de documentos. Aunque los modelos Nemotron están disponibles de forma gratuita, Box también se apoya en sus metadatos y controles de permisos existentes, lo que hace más difícil reproducir el sistema completo.