Një zhvillues raporton se uli me afro 40% shpenzimet për API-të e modeleve të mëdha gjuhësore (LLM), duke ua shpërndarë detyrat modeleve të ndryshme sipas kompleksitetit dhe kostos. Fillimisht përdorte Claude për arsyetim kompleks dhe kontekst të gjatë, GPT për programim të përgjithshëm dhe DeepSeek për përpunim masiv teksti.
Për të krahasuar tarifat, ndërtoi një kalkulator vetëm në frontend, me HTML/JS, pa regjistrim. Mjeti në llm-api-cost-calculator.vercel.app llogarit koston sipas vëllimit të tokenëve dhe modelit të zgjedhur. Ai adreson dallimet në faturim për tokenët hyrës, dalës dhe të ruajtur në cache, si edhe tarifat për 1 mijë ose 1 milion tokenë.
Strategjia i ndan detyrat në tri nivele: Claude-Max ose Azure-GPT për planifikim arkitekture, korrigjim gabimesh komplekse dhe ristrukturim kodi me kontekst të gjatë; Gemini-Ultra ose GPT-4o për kod standard dhe logjikë ndërfaqeje; Gemini-Flash ose DeepSeek për klasifikim masiv, përmbledhje dhe shprehje të thjeshta regex. Sipas autorit, detyrat e thjeshta përbënin 70% të thirrjeve të agjentit të tij.
Për të menaxhuar çelësat API dhe kufijtë e kërkesave, ai kaloi te një gateway me një pikë të vetme hyrëse, të përputhshme me OpenAI. Kjo mundëson kalimin automatik te GPT kur Claude nuk është i disponueshëm ose arrin kufirin e kërkesave.
Burimi: DEV Community (Web Dev Feed) — lexoni artikullin e plotë në anglisht.
