Sarvam AI het Prism bekendgestel, ’n KI-model met oop gewigte wat gestruktureerde besluite in sakewerkvloei kan neem. Die Apache 2.0-lisensie stel ontwikkelaars in staat om die model aan te pas en op hul eie infrastruktuur te ontplooi.
Sarvam AI het Prism op sy Sarvam 105B-grondslagmodel gebou en dit vir besluitneming fyn ingestel. Ontwikkelaars kan dit deur ’n API gebruik of die gewigte aflaai om dit op hul eie infrastruktuur te ontplooi.
Eerder as om ’n antwoord woord vir woord te genereer, ken Prism in ’n enkele verwerkingsgang tellings aan ’n vasgestelde stel opsies toe. Dit maak dit ’n moontlike komponent vir die roetering van kliëntediensversoeke, die hersiening van dokumente en die nagaan of ’n KI-agent ’n taak korrek voltooi het.
Volgens Sarvam was Prism se mediaanreaksietyd op ’n Nvidia B200 GPU 44 millisekondes. In ’n afsonderlike evaluering wat ’n sagteware-ingenieur van Atlan gedeel het, het die mediaanvertraging op ’n B200 GPU 65 millisekondes bereik. Ontwikkelaars moet steeds die werkverrigting met hul eie werkladings toets en die koste bepaal om ’n model van hierdie grootte te huisves.
Die vrystelling met oop gewigte gee ondernemings ’n alternatief wat hulle self kan ontplooi, eerder as om uitsluitlik op ’n eksterne besluitnemings-API staat te maak.
Die terugstuur van waarskynlikhede vir vaste opsies kan integrasie vereenvoudig in werkvloei wat voorspelbare uitsette eerder as lopende teks vereis.
Spoed in produksie, betroubaarheid en die ekonomiese haalbaarheid van huisvesting is nog nie oor vergelykbare werkladings in die praktyk bewys nie.
Outomaties geskryf deur die Made in 10-nuuskamer uit die bron hierbo.
Together AI het Together Compiler bekendgestel om KI-inferensie outomaties te optimeer namate modelle, verkeer en hardeware verander. Die maatskappy rapporteer tot 2.6x hoër deurset op uitgesoekte oopbronmodelle in minder as 24 uur.
