Cohere se toetse het bevind dat ’n sterk leidende KI-agent saam met goedkoper beplanningsagente ’n duurder span se prestasie kon ewenaar. Luna-beplanners onder ’n Sol-leier het koste met 60% verlaag sonder om swakker as ’n span met net Sol te presteer, maar die resultate het volgens taak verskil.
Cohere se senior navorser Nouha Dziri het toetse van KI-agentspanne aangebied waarin ’n leidende agent werk delegeer en verslae in ’n gedeelde werkruimte saamvoeg. Die meer bekwame Sol-leier het saam met goedkoper Luna-beplanners dieselfde resultaat teen ’n laer koste gelewer as wanneer Sol deurgaans gebruik is.
Die toetse het ProgramBench gebruik, wat modelle vra om ’n program uit sy binêre lêer en spesifikasie te herbou sodat dit kompileer en toetse slaag. Deur die werksagente tot verkenning te beperk, is die volle span se prestasie geëwenaar terwyl koste gehalveer is. Dit dui daarop dat die bepaling van wat gebou moes word, die grootste knelpunt in hierdie opstelling was.
Vir maatskappye wat KI-agente bou, ondersteun die bevindings die benadering om eers te toets waar ekstra agente help voordat daar deur die hele werkvloei vir hulle betaal word. Dit bewys nie ’n algemene kostevoordeel nie: ’n ander maatstaftoets, Commit Zero, het beter resultate met implementeringshulp opgelewer wanneer dokumentasie en toetse verskaf is.
Bouers kan besteding verminder deur goedkoper beplanningsagente te toets voordat hulle duur modelle aan elke rol toewys.
Die uiteenlopende maatstaftoetsresultate maak die knelpunt in die werkvloei belangriker as ’n algemene voorkeur vir groter agentspanne.
Besparings buite hierdie opstelling is steeds onbewese, en openbaar beskikbare koste per uitvoering is nog nodig om die kostedoeltreffendheid te beoordeel.
Outomaties geskryf deur die Made in 10-nuuskamer uit die bron hierbo.
Physicl het tien miljoen dollar se saadbefondsing ingesamel om opleidingsdata vir fisieke KI te skep. Sy platform herskep moeilike situasies in 3D sodat ontwikkelaars swakhede in hul modelle kan teiken.
