Sarvam AI выпустила Prism — ИИ-модель с открытыми весами для принятия структурированных решений в бизнес-процессах. Лицензия Apache 2.0 позволяет разработчикам адаптировать модель и развёртывать её на собственной инфраструктуре.
Sarvam AI создала Prism на основе своей базовой модели Sarvam 105B и дообучила её для принятия решений. Разработчики могут обращаться к ней через API или скачать веса для развёртывания на собственной инфраструктуре.
Вместо того чтобы генерировать ответ слово за словом, Prism за 1 проход оценивает заданный набор вариантов. Это позволяет использовать её для распределения обращений в службе поддержки, проверки документов и оценки того, правильно ли ИИ-агент выполнил задачу.
По данным Sarvam, медианное время ответа Prism на графическом процессоре Nvidia B200 составило 44 миллисекунды. В отдельном тестировании, результатами которого поделился инженер-программист Atlan, медианная задержка на графическом процессоре B200 достигла 65 миллисекунд. Разработчикам ещё предстоит проверить производительность на собственных задачах и оценить стоимость размещения модели такого размера.
Выпуск модели с открытыми весами даёт компаниям возможность развернуть её у себя, а не полагаться исключительно на внешний API для принятия решений.
Вероятности для фиксированного набора вариантов могут упростить интеграцию в процессы, которым нужны предсказуемые результаты, а не текстовые ответы.
Скорость, надёжность и экономическая целесообразность размещения в рабочей среде пока не подтверждены на сопоставимых реальных задачах.
Написано автоматически редакцией Made in 10 по источнику выше.
Together AI представила Together Compiler для автоматической оптимизации инференса ИИ при изменении моделей, трафика и оборудования. По данным компании, на отдельных моделях с открытым исходным кодом пропускную способность удалось увеличить до 2,6 раза менее чем за 24 часа.
