Çmimet për token nuk pasqyrojnë të gjithë koston e përdorimit të API-ve të inteligjencës artificiale. Autori, i cili kaloi gjashtë muaj duke ndërtuar një mjet analitik me AI për përpunimin e komenteve të klientëve, tregon se shpenzimet shtesë i konsumuan buxhetin e zhvillimit. Sipas tekstit, kostoja e modeleve të arsyetimit ka rënë mbi 90% në dy vjet, por tarifat e ulëta nuk e eliminojnë këtë rrezik.
Një burim kryesor shpenzimesh është historiku i bisedës. Për të ruajtur kontekstin, një chatbot mund të dërgojë sërish mesazhet e mëparshme në çdo kërkesë. Në shembullin e dhënë, një pyetje prej 6 tokenësh bëhet kërkesë prej 2,500 tokenësh kur përfshihet historiku. Pas pesë shkëmbimeve të tilla, konsumi arrin në 12,500 tokenë, edhe me tarifën 0.002 dollarë për 1,000 tokenë.
Autori thotë se uli kostot me 60% duke zbatuar një mekanizëm që përmbledh historikun përpara dërgimit në API. Megjithatë, kjo zgjidhje kërkoi punë dhe kompleksitet teknik që nuk ishin parashikuar në buxhetin fillestar.
Një tjetër pengesë janë kufijtë e ritmit të kërkesave, të cilët, sipas autorit, shpesh i përshtaten prototipimit dhe jo përdorimit në prodhim. Kur tejkalohen, aplikacioni nis të kthejë gabime 429, duke e kthyer çështjen nga një llogaritje tarifash edhe në problem funksionimi.
Burimi: DEV Community (Web Dev Feed) — lexoni artikullin e plotë në anglisht.
