A Sarvam AI lançou o Prism, um modelo de IA com pesos abertos para tomar decisões estruturadas em fluxos de trabalho empresariais. A licença Apache 2.0 permite que desenvolvedores adaptem o modelo e o executem em infraestrutura própria.
A Sarvam AI desenvolveu o Prism a partir de seu modelo-base Sarvam 105B e fez um ajuste fino para a tomada de decisões. Os desenvolvedores podem acessá-lo por API ou baixar seus pesos para executá-lo em infraestrutura própria.
Em vez de gerar uma resposta palavra por palavra, o Prism atribui pontuações a um conjunto definido de opções em uma única etapa de processamento. Isso faz dele um possível componente para encaminhar solicitações de atendimento ao cliente, revisar documentos e verificar se um agente de IA concluiu uma tarefa corretamente.
Segundo a Sarvam, o tempo mediano de resposta do Prism em uma GPU Nvidia B200 foi de 44 milissegundos. Em uma avaliação separada, compartilhada por um engenheiro de software da Atlan, a latência mediana em uma GPU B200 chegou a 65 milissegundos. Quem desenvolve com o modelo ainda precisa testar o desempenho em suas próprias cargas de trabalho e avaliar o custo de hospedar um modelo desse porte.
O lançamento com pesos abertos oferece às empresas uma alternativa que pode ser executada em infraestrutura própria, em vez de depender exclusivamente de uma API externa para a tomada de decisões.
Retornar probabilidades para opções fixas pode simplificar a integração com fluxos de trabalho que exigem saídas previsíveis, e não texto corrido.
A velocidade em produção, a confiabilidade e a viabilidade econômica da hospedagem ainda não foram comprovadas em cargas de trabalho reais comparáveis.
Escrito automaticamente pela Redação da Made in 10 a partir da fonte acima.
A Together AI apresentou o Together Compiler, que otimiza automaticamente a inferência de IA conforme mudam os modelos, o tráfego e o hardware. A empresa relata ganhos de até 2,6 vezes na capacidade de processamento em modelos de código aberto selecionados, em menos de 24 horas.
