Des tests de Cohere ont montré qu’un agent IA performant chargé de la coordination, associé à des agents de planification moins coûteux, pouvait égaler une équipe plus chère. Avec des agents de planification Luna sous la direction de Sol, les coûts ont baissé de 60 % sans perte de performance par rapport à une équipe entièrement composée de Sol, mais les résultats variaient selon la tâche.
Nouha Dziri, chercheuse senior chez Cohere, a présenté des tests d’équipes d’agents IA dont le coordinateur délègue le travail et rassemble les comptes rendus dans un espace de travail partagé. Associer Sol, plus performant, à des agents de planification Luna moins coûteux a donné le même résultat qu’une équipe utilisant uniquement Sol, pour un coût inférieur.
Les tests ont utilisé ProgramBench, qui demande aux modèles de reconstruire un programme à partir de son binaire et de ses spécifications afin qu’il compile et réussisse les tests. Limiter les agents exécutants à l’exploration a permis d’égaler les performances de l’équipe complète tout en divisant les coûts par 2, ce qui suggère que déterminer ce qu’il fallait construire constituait le principal goulot d’étranglement dans cette configuration.
Pour les entreprises qui développent des agents IA, ces résultats invitent à tester les étapes où des agents supplémentaires sont utiles avant de payer pour leur intervention tout au long du processus. Ils ne démontrent pas un avantage général en matière de coûts : un autre banc d’essai, Commit Zero, bénéficiait d’une aide à l’implémentation lorsque la documentation et les tests étaient fournis.
Les concepteurs pourraient réduire leurs dépenses en testant des agents de planification moins coûteux avant d’attribuer chaque rôle à des modèles chers.
Les résultats contrastés des bancs d’essai montrent que le goulot d’étranglement du processus compte davantage qu’une préférence systématique pour des équipes d’agents plus nombreuses.
Les économies en dehors de cette configuration restent à démontrer, et des coûts publics par exécution sont encore nécessaires pour en évaluer la viabilité économique.
Rédigé automatiquement par la rédaction de Made in 10 à partir de la source ci-dessus.
Mercor, Micro1 et Handshake achètent des documents de travail pour contribuer au développement de modèles d’IA, rapporte Wired. Cette démarche privilégie les processus de travail réels aux tâches simulées, ce qui soulève des questions sur la vie privée des salariés.
