آزمایش‌های Cohere نشان داد یک عامل راهبر قدرتمند هوش مصنوعی در کنار عامل‌های برنامه‌ریز ارزان‌تر می‌تواند عملکردی هم‌سطح یک گروه گران‌تر داشته باشد. استفاده از برنامه‌ریزهای Luna زیر نظر راهبر Sol، هزینه‌ها را در مقایسه با گروهی متشکل از عامل‌های Sol، بدون افت عملکرد ۶۰٪ کاهش داد؛ اما نتایج بسته به نوع کار متفاوت بود.
نوها دزیری، پژوهشگر ارشد Cohere، نتایج آزمایش گروههایی از عامل‌های هوش مصنوعی را ارائه کرد که در آنها یک عامل راهبر کارها را واگذار میکند و گزارشها را در یک فضای کاری مشترک ترکیب میکند. ترکیب راهبر توانمندتر Sol با برنامه‌ریزهای ارزان‌تر Luna، با هزینهٔ کمتر همان نتیجهای را به دست داد که استفاده از Sol در همهٔ نقشها داشت.
این آزمایشها با ProgramBench انجام شد؛ معیاری که از مدلها میخواهد یک برنامه را از روی نسخهٔ باینری و مشخصات آن بازسازی کنند، بهگونهای که کامپایل شود و آزمونها را پشت سر بگذارد. محدود کردن عامل‌های اجرایی به کاوش، عملکردی هم‌سطح گروه کامل داشت و هزینه‌ها را نصف کرد؛ نتیجهای که نشان میدهد در این چیدمان، تشخیص اینکه چه چیزی باید ساخته شود گلوگاه اصلی بوده است.
به شرکتهایی که عامل‌های هوش مصنوعی میسازند توصیه میشود، پیش از پرداخت هزینهٔ عامل‌های بیشتر در سراسر فرایند کار، آزمایش کنند که این عاملها در کدام بخشها مفیدند. این یافتهها مزیت هزینهای عمومی را ثابت نمیکنند: معیار دیگری به نام Commit Zero، هنگامی که مستندات و آزمونها در اختیار مدلها قرار میگرفت، از کمک عاملها در پیادهسازی سود میبرد.
سازندگان بهتر است پیش از سپردن همهٔ نقشها به مدلهای گران، برنامه‌ریزهای ارزان‌تر را آزمایش کنند تا ببینند آیا هزینه‌ها کاهش مییابد یا نه.
تفاوت نتایج معیارها نشان میدهد شناسایی گلوگاه فرایند کار مهمتر از ترجیح همیشگی گروههای بزرگتر عاملهاست.
صرفهجویی خارج از این چیدمان هنوز اثبات نشده است؛ انتشار عمومی هزینهٔ هر اجرا و نتایج خانوادهٔ دیگری از معیارها می‌تواند شواهد اقتصادی محکمتری فراهم کند و ارزیابی را تغییر دهد.
این نوشته را اتاق خبر Made in 10 بهطور خودکار از روی منبع بالا نوشته است.
Sakana AI با سیستم AI Scientist-v2 تولید فرضیه، اجرای آزمایش و نوشتن مقالهٔ علمی را خودکار کرده است. از سه مقالهٔ آزمایشی، فقط یکی امتیاز لازم برای پذیرش در یک کارگاه علمی را گرفت؛ همان مقاله نیز پیش از بررسی نهایی پس گرفته شد.
