Nouha Dziri, pesquisadora sênior da Cohere, apresentou testes com equipes de agentes de IA nas quais um líder delega tarefas e reúne relatórios em um espaço de trabalho compartilhado. Combinar o líder Sol, mais capaz, com planejadores Luna, mais baratos, entregou o mesmo resultado que usar Sol em toda a equipe, a um custo menor.
Os testes usaram o ProgramBench, que pede aos modelos que reconstruam um programa a partir de seu binário e de sua especificação, de modo que ele compile e passe nos testes. Restringir os agentes executores à exploração igualou o desempenho da equipe completa e reduziu os custos pela metade, sugerindo que descobrir o que construir era o principal gargalo nessa configuração.
Para empresas que desenvolvem agentes de IA, os resultados reforçam a importância de testar em quais etapas agentes adicionais ajudam antes de pagar por eles em todo o fluxo de trabalho. Eles não demonstram uma vantagem geral de custo: outro benchmark, o Commit Zero, apresentou ganhos com ajuda na implementação quando a documentação e os testes eram fornecidos.