Një udhëzues teknik paraqet ndërtimin e një mjeti të vogël për rreshtin e komandave (CLI) në Python, për të testuar një API të modeleve të mëdha gjuhësore përpara integrimit në një aplikacion më të madh. Shembulli përdor pikën fundore Chat Completions të HeFu, të dokumentuar si të përputhshme me OpenAI.
Mjeti pranon një kërkesë tekstuale, lejon zgjedhjen e modelit dhe shfaq përgjigjen të plotë ose gradualisht përmes opsionit –stream. Në modalitetin pa transmetim gradual, raporton edhe numrin e tokenëve hyrës dhe dalës, kur API-ja i kthen këto të dhëna. Modeli i parazgjedhur është deepseek-v4-flash dhe mund të ndryshohet me variablën HEFU_MODEL ose argumentin –model.
Përgatitja përfshin krijimin e një mjedisi virtual, instalimin e paketës OpenAI për Python dhe vendosjen e çelësit në variablën e mjedisit HEFU_API_KEY. Konfigurimi ndan adresën e API-së, https://hefu.hk/api/v1, nga çelësi i autentikimit dhe modeli që përdoret për çdo thirrje.
Skripti llm_cli.py trajton mungesën e çelësit, tejkalimin e afatit të kërkesës, problemet e lidhjes dhe gabimet HTTP të API-së. Klienti konfigurohet me afat pritjeje prej 30 sekondash dhe një riprovim, ndërsa transmetimi gradual mbyllet shprehimisht pas përpunimit.
Burimi: DEV Community (Web Dev Feed) — lexoni artikullin e plotë në anglisht.
