Las pruebas de Cohere mostraron que un agente de IA potente al mando, junto con agentes de planificación más baratos, podía igualar los resultados de un equipo más caro. Usar planificadores Luna bajo la dirección de Sol redujo los costes un 60% sin perder rendimiento frente a un equipo formado solo por Sol, aunque los resultados variaron según la tarea.
Nouha Dziri, investigadora sénior de Cohere, presentó pruebas con equipos de agentes de IA en los que un agente principal delega tareas y combina informes en un espacio de trabajo compartido. Combinar Sol, más capaz, al mando con planificadores Luna más baratos dio el mismo resultado que usar Sol en todos los puestos, pero a menor coste.
Las pruebas utilizaron ProgramBench, que pide a los modelos reconstruir un programa a partir de su archivo binario y sus especificaciones para que compile y supere las pruebas. Limitar a los agentes auxiliares a tareas de exploración permitió igualar el rendimiento del equipo completo y reducir los costes a la mitad, lo que sugiere que descubrir qué había que construir era el principal cuello de botella en esta configuración.
Para las empresas que desarrollan agentes de IA, los resultados respaldan probar en qué puntos aportan valor los agentes adicionales antes de pagar por ellos en todo el flujo de trabajo. No demuestran una ventaja general en costes: otra evaluación, Commit Zero, obtuvo mejores resultados con ayuda en la implementación cuando se proporcionaban documentación y pruebas.
Quienes desarrollan estas soluciones podrían reducir el gasto probando agentes de planificación más baratos antes de asignar modelos caros a todas las funciones.
Los resultados dispares de las evaluaciones hacen que identificar el cuello de botella del flujo de trabajo sea más importante que optar por equipos de agentes más grandes en todos los casos.
Los ahorros fuera de esta configuración siguen sin demostrarse, y aún hacen falta datos públicos sobre los costes por ejecución para evaluar su viabilidad económica.
Escrito automáticamente por la Redacción de Made in 10 a partir de la fuente de arriba.
Physicl ha captado diez millones de dólares en una ronda semilla para crear datos de entrenamiento para IA física. Su plataforma recrea situaciones difíciles en 3D para que los desarrolladores puedan abordar los puntos débiles de sus modelos.
