Together AI представила Together Compiler для автоматической оптимизации инференса ИИ при изменении моделей, трафика и оборудования. По данным компании, на отдельных моделях с открытым исходным кодом пропускную способность удалось увеличить до 2,6 раза менее чем за 24 часа.
4 ноября Together AI представила Together Compiler как часть подхода, который компания называет Polymorphic Inference. Он объединяет множество ИИ-агентов с постоянно работающим механизмом, который непрерывно перекомпилирует рабочие эндпоинты.
По данным Together AI, на модели, выпущенные за последние 3 месяца, приходится 80% трафика OpenRouter. Компания считает, что фиксированные конфигурации инференса не успевают за изменениями архитектуры моделей, размера запросов и оборудования.
Для компаний, использующих ИИ-приложения, потенциальная польза — меньше ручной настройки при изменении нагрузки. Однако в отчёте нет сравнений стоимости обработки токена, поэтому заявленный прирост пропускной способности пока не позволяет определить, сколько клиенты смогут сэкономить.
Автоматическая настройка инференса может сократить трудозатраты инженеров, но представленные данные не показывают, какой объём ручного обслуживания она заменяет.
Заявленный прирост производительности остаётся утверждением компании, а не доказательством стабильных улучшений на разных клиентских нагрузках.
Без сравнений стоимости обработки токена разработчики пока не могут оценить, приведёт ли рост пропускной способности к снижению операционных расходов.
Написано автоматически редакцией Made in 10 по источнику выше.
Adobe CX Enterprise Coworker теперь доступен в ChatGPT, Claude, Gemini, Copilot и Databricks Genie. По заявлению Adobe, новые коннекторы позволяют маркетологам одним запросом получать данные и выполнять задачи в нескольких системах.
