Sarvam AI ha lanzado Prism, un modelo de IA de pesos abiertos para tomar decisiones estructuradas en los flujos de trabajo empresariales. Su licencia Apache 2.0 permite a los desarrolladores adaptar el modelo y desplegarlo en su propia infraestructura.
Sarvam AI desarrolló Prism a partir de su modelo fundacional Sarvam 105B y lo ajustó para la toma de decisiones. Los desarrolladores pueden acceder a él mediante una API o descargar sus pesos para desplegarlo en su propia infraestructura.
En lugar de generar una respuesta palabra por palabra, Prism puntúa un conjunto definido de opciones en una sola pasada de procesamiento. Esto lo convierte en un posible componente para derivar consultas de atención al cliente, revisar documentos y comprobar si un agente de IA ha completado una tarea correctamente.
Según Sarvam, la mediana del tiempo de respuesta de Prism en una GPU Nvidia B200 fue de 44 milisegundos. En una evaluación independiente compartida por un ingeniero de software de Atlan, la mediana de latencia en una GPU B200 alcanzó los 65 milisegundos. Quienes desarrollen con el modelo aún deben probar su rendimiento con sus propias cargas de trabajo y evaluar el coste de alojar un modelo de este tamaño.
La publicación de los pesos abiertos ofrece a las empresas una alternativa que pueden desplegar para no depender únicamente de una API externa de toma de decisiones.
Devolver probabilidades para opciones fijas puede simplificar la integración en flujos de trabajo que necesitan resultados predecibles en lugar de texto en prosa.
La velocidad, la fiabilidad y la viabilidad económica del alojamiento en producción siguen sin demostrarse en cargas de trabajo reales comparables.
Escrito automáticamente por la Redacción de Made in 10 a partir de la fuente de arriba.
Together AI ha presentado Together Compiler para optimizar automáticamente la inferencia de IA a medida que cambian los modelos, el tráfico y el hardware. La empresa afirma haber multiplicado hasta por 2,6 la capacidad de procesamiento de una selección de modelos de código abierto en menos de 24 horas.
