Administrimi i një proxy-je për modelet e mëdha gjuhësore (LLM), në infrastrukturë që përdoruesi e kontrollon vetë, është argumenti qendror i autorit për të kuptuar më mirë përdorimin e këtyre shërbimeve. Ai vë në pikëpyetje nëse panelet e ofruesve japin të dhëna të mjaftueshme për vendimmarrje teknike.
Sipas autorit, treguesit e paraqitur në ndërfaqet dhe panelet analitike nuk zëvendësojnë statistikat e përdorimit të tokenëve me seri kohore, të nevojshme për inxhinierët. Ai përmend edhe mundësitë e eksportit përmes OTel, por këmbëngul te kontrolli i drejtpërdrejtë mbi monitorimin dhe rrugën që ndjekin të dhënat.
Autori nuk rekomandon një ofrues konkret. Ai sugjeron që proxy-ja të vendoset në një mjedis nën kontrollin e përdoruesit dhe të përshtatet sipas nevojave. Në rastin e vet, thotë se ka shtuar mundësi për monitorim më të hollësishëm, pika fundore për serverë MCP të personalizuar dhe funksione të tjera.
Si shembull praktik, ai thotë se gjatë një sesioni programimi mund të identifikojë brenda 20 sekondash pse një kërkesë nuk u shërbye nga cache. Këtë kontroll e kryen manualisht, por API-ja e proxy-t mundëson automatizimin. Përfundimi i tij është se kontrolli mbi infrastrukturën, monitorimin e aplikacionit, rrugëtimin dhe ruajtjen e të dhënave ndihmon në mbikëqyrjen e modelit gjatë inferencës.
Burimi: Hacker News — lexoni artikullin e plotë në anglisht.
