Together AI ha presentado Together Compiler para optimizar automáticamente la inferencia de IA a medida que cambian los modelos, el tráfico y el hardware. La empresa afirma haber multiplicado hasta por 2,6 la capacidad de procesamiento de una selección de modelos de código abierto en menos de 24 horas.
Together AI presentó Together Compiler el 4 de noviembre como parte de un enfoque que denomina Polymorphic Inference. Combina un conjunto de agentes de IA con un motor persistente que recompila continuamente los puntos de acceso en producción.
Según Together AI, los modelos lanzados en los últimos 3 meses concentran el 80% del tráfico de OpenRouter. La empresa sostiene que las configuraciones fijas de inferencia no pueden seguir el ritmo de los cambios en la arquitectura de los modelos, el tamaño de las solicitudes y el hardware.
Para las empresas que operan aplicaciones de IA, el posible beneficio es reducir los ajustes manuales a medida que cambian las cargas de trabajo. Sin embargo, el informe no ofrece comparaciones de coste por token, por lo que las mejoras anunciadas en capacidad de procesamiento aún no permiten determinar cuánto podrían ahorrar los clientes.
La optimización automática de la inferencia podría reducir el trabajo de ingeniería, pero el lanzamiento no permite determinar cuánto mantenimiento manual sustituye.
Las mejoras de rendimiento anunciadas siguen siendo afirmaciones de la empresa, no pruebas de mejoras constantes en las cargas de trabajo de los clientes.
Sin comparaciones de coste por token, quienes desarrollan aplicaciones aún no pueden evaluar si la mayor capacidad de procesamiento se traduce en menores costes operativos.
Escrito automáticamente por la Redacción de Made in 10 a partir de la fuente de arriba.
Adobe CX Enterprise Coworker ya funciona en ChatGPT, Claude, Gemini, Copilot y Databricks Genie. Según Adobe, los nuevos conectores permiten a los equipos de marketing consultar datos y ejecutar tareas en varios sistemas con una sola solicitud.
