AI Playground i DevKit është një ndërfaqe bisede me model gjuhësor që funksionon tërësisht në shfletues. Faqja statike në GitHub Pages nuk kërkon backend, çelës API apo pagesë për token. Sipas autorit, përpunimi lokal bën që teksti i përdoruesit të mos dërgohet në server.
Sistemi përdor Transformers.js v3 dhe modelin SmolLM-135M-Instruct, të kuantizuar në 4 bit (q4f16). Shkarkimi fillestar, bashkë me tokenizuesin, është rreth 121 MB dhe ruhet në cache për vizitat e ardhshme. Përpunimi provon fillimisht WebGPU dhe, kur kjo nuk është e disponueshme, përdor WASM në CPU. Gjenerimi kryhet në një Web Worker për të mos bllokuar ndërfaqen; tokenët shfaqen gradualisht, bashkë me shpejtësinë në tokenë për sekondë.
Modeli me 135 milionë parametra mund t’u përgjigjet pyetjeve të thjeshta dhe të kryejë detyra të vogla krijuese, por mund të prodhojë informacion të sajuar. Autori thekson se nuk është në nivelin e modeleve GPT dhe se demonstrimi nuk synon të zëvendësojë një API.
Ky version i DevKit shton edhe një dekodues JWT që nuk verifikon nënshkrimin, një shpjegues shprehjesh cron me pesë ekzekutimet e ardhshme, një gjenerues paletash ngjyrash dhe një kohëmatës Pomodoro. Sipas prezantimit, mjetet punojnë lokalisht, pa ngarkime skedarësh, llogari apo gjurmim.
Burimi: DEV Community (Web Dev Feed) — lexoni artikullin e plotë në anglisht.
