A Together AI apresentou o Together Compiler, que otimiza automaticamente a inferência de IA conforme mudam os modelos, o tráfego e o hardware. A empresa relata ganhos de até 2,6 vezes na capacidade de processamento em modelos de código aberto selecionados, em menos de 24 horas.
A Together AI apresentou o Together Compiler em 4 de novembro como parte de uma abordagem que chama de Polymorphic Inference. A solução combina um conjunto de agentes de IA com um mecanismo persistente que recompila continuamente os endpoints em produção.
Segundo a Together AI, modelos lançados nos últimos 3 meses respondem por 80% do tráfego do OpenRouter. A empresa argumenta que configurações fixas de inferência não conseguem acompanhar as mudanças na arquitetura dos modelos, no tamanho das requisições e no hardware.
Para empresas que operam aplicações de IA, o benefício potencial é reduzir os ajustes manuais conforme as cargas de trabalho mudam. Mas o relatório não apresenta comparações de custo por token, então os ganhos de capacidade de processamento relatados ainda não demonstram quanto os clientes poderiam economizar.
A otimização automática da inferência pode reduzir o trabalho de engenharia, mas o lançamento não demonstra quanto da manutenção manual ela substitui.
Os ganhos de desempenho relatados continuam sendo afirmações da empresa, não uma comprovação de melhorias consistentes nas cargas de trabalho dos clientes.
Sem comparações de custo por token, quem desenvolve aplicações ainda não consegue avaliar se a maior capacidade de processamento se traduz em menores custos operacionais.
Escrito automaticamente pela Redação da Made in 10 a partir da fonte acima.
A Runway demonstrou o Continuum, um sistema que transmite uma tela interativa gerada por um modelo de vídeo. A demonstração incluiu um agente de programação usando o Continuum para raciocinar sobre um problema envolvendo um modelo 3D de bicicleta.
