Тесты Cohere показали, что команда с более сильным ведущим ИИ-агентом Sol и более дешёвыми агентами-планировщиками Luna может не уступать более дорогой команде. Использование планировщиков Luna под управлением Sol снизило затраты на 60% без потери качества по сравнению с командой только из Sol, но результаты зависели от задачи.
Старший исследователь Cohere Нуха Дзири представила результаты тестирования команд ИИ-агентов, в которых ведущий агент делегирует работу и объединяет отчёты в общем рабочем пространстве. Более сильный ведущий агент Sol в сочетании с более дешёвыми планировщиками Luna обеспечил тот же результат, что и использование Sol на всех ролях, но с меньшими затратами.
В тестах использовался ProgramBench: он требует от моделей восстановить программу по её бинарному файлу и спецификации так, чтобы она компилировалась и проходила тесты. Когда работу агентов-исполнителей ограничили исследованием задачи, удалось достичь качества полной команды при вдвое меньших затратах. Это указывает на то, что главным узким местом в этой конфигурации было определение того, что именно нужно создать.
Для компаний, разрабатывающих ИИ-агентов, результаты служат аргументом в пользу проверки того, на каких этапах дополнительные агенты приносят пользу, прежде чем оплачивать их работу на протяжении всего процесса. Тесты не доказывают, что такой подход всегда дешевле: в другом бенчмарке, Commit Zero, помощь в реализации улучшала результат, когда были предоставлены документация и тесты.
Разработчики могут сократить расходы, если протестируют более дешёвых агентов-планировщиков, прежде чем назначать дорогие модели на все роли.
Различия в результатах бенчмарков показывают, что важнее определить узкое место рабочего процесса, чем безусловно отдавать предпочтение более многочисленным командам агентов.
Экономия за пределами этой конфигурации остаётся недоказанной, а для оценки экономической эффективности по-прежнему нужны открытые данные о стоимости каждого запуска.
Написано автоматически редакцией Made in 10 по источнику выше.
Physicl привлекла десять миллионов долларов в посевном раунде для создания данных для обучения физического ИИ. Её платформа воссоздаёт сложные ситуации в 3D, чтобы разработчики могли работать над слабыми местами своих моделей.
