Strot përdor një LLM vetëm një herë, gjatë përpilimit, për ta kthyer synimin e përdoruesit në një mekanizëm lokal vendimmarrjeje. Më pas kryen klasifikim, pikëzim dhe drejtim të çdo rekordi në pajisjet e përdoruesit, me kosto marxhinale zero sipas prezantimit. Rezultatet jepen si JSON me tipe të përcaktuara, probabilitete dhe nivele besueshmërie.
Në prodhim, sistemi është një artefakt Python i pandryshueshëm dhe i pavarur. Një model i vogël lokal vendos për çdo rekord, pa gjeneruar përmbajtje dhe me rezultate brenda kufijve të përcaktuar. Kur besueshmëria është e ulët, sistemi përmbahet nga vendimi në vend që të hamendësojë. Funksioni run() e drejton rekordin te një veprim dhe ekzekuton funksionin përkatës të përpiluar; decide() u përgjigjet pyetjeve me zgjedhje, pikëzim ose vlerë boolean.
Prezantimi përfshin prova me SupersonicLabs/Julia-1, model me 144 milionë parametra që punon në CPU, grupe reale të dhënash dhe kontejnerë të pastër Docker. Dosja benchmarks/ mundëson riprodhimin e provave dhe publikon edhe humbjet. Modeli lokal mund të përfshihet në imazhin e aplikacionit për prodhim pa lidhje interneti.
DEVELOPERS.md mbulon arkitekturën, përpilimin, kalibrimin dhe kufizimet, vendosjen në prodhim, ndërrimin e modelit dhe API-në. Strot ka licencë MIT; modeli i parazgjedhur ka licencë Apache-2.0. Zbatimi mbështetet në ide nga STROT (arXiv:2505.01636).
Burimi: Hacker News — lexoni artikullin e plotë në anglisht.
