Një zhvillues ka ndërtuar katër aplikacione AI me Laya, të cilat funksionojnë tërësisht në shfletues, pa server, çelës API apo kosto për thirrje. Ato mbulojnë një agjent AI, vlerësimin e RAG, automatizimin e rrjedhave të punës dhe kujtesën afatgjatë të agjentëve, me mekanizëm për të përcaktuar kur duhet harruar informacioni.
Laya është një model vendimmarrjeje me 421 milionë parametra nga ConvAI Innovations, i bazuar në ModernBERT-large dhe me kod të hapur nën licencën Apache 2.0. Nuk gjeneron tekst: merr një pyetje me alternativa, përgjigje po/jo ose shkallë vlerësimi dhe kthen probabilitetin për secilën mundësi. Synon detyra si drejtimi i kërkesave, moderimi i përmbajtjes dhe kontrollet e sigurisë së agjentëve.
Sipas shifrave të paraqitura, Laya merr një vendim në rreth 33–40 ms në një GPU T4, kundrejt 236–276 ms për modelin gjenerues Jev të TypeSafe. Autori raporton gjithashtu se, në zgjedhjen e veprimit të radhës, Laya tejkaloi një LLM gjenerues pothuajse katër herë më të madh.
Për shfletuesin, modeli u konvertua në ONNX dhe u kuantizua: varianti int8 është rreth 422 MB dhe përdor WASM, ndërsa int4 është rreth 278 MB dhe përdor WebGPU. Ai shkarkohet një herë nga Hugging Face, ruhet në memorien lokale të shfletuesit dhe ekzekutohet përmes ONNX Runtime Web. Sipas autorit, të dhënat e shkruara nuk largohen nga faqja; para ngarkimit të modelit, demonstrimet shfaqin përgjigje të regjistruara, të etiketuara qartë.
Burimi: DEV Community (Web Dev Feed) — lexoni artikullin e plotë në anglisht.
