Inicializimi i klientit LLM drejtpërdrejt në kodin e shërbimeve FastAPI krijon varësi nga një ofrues i vetëm. Kalimi nga OpenAI te Anthropic ose te një Llama i vetëhostuar mund të kërkojë ndryshime në çdo endpoint që përdor chat.completions.create. Xinference (xorbitsai/inference) paraqitet si shtresë ndërmjetëse me ndërfaqe të pajtueshme me OpenAI, për të ndërruar modelet pa prekur kodin e aplikacionit.
Autori përshkruan testimin e tri konfigurimeve: një proxy të centralizuar për të gjithë proceset FastAPI, një nënproces Xinference për çdo proces Gunicorn/Uvicorn dhe përdorimin brenda procesit përmes Python SDK. Testet përdorën një endpoint StreamingResponse që dërgonte tokenë përmes SSE te një klient React.
Shembulli funksionon kur Xinference është aktiv dhe modeli është ngarkuar. Për prodhimin ngrihen çështje si ndërprerja e shërbimit gjatë transmetimit dhe kufiri prej katër kërkesash të njëkohshme në një instancë. Ngarkimi fillestar i peshave në memorien GPU mund të zgjasë 30–90 sekonda, duke shkaktuar tejkalim të afatit të përgjigjes, gabime 504 nga Nginx dhe ritentime që rëndojnë të njëjtin model ende të pangarkuar.
Si masë zbutëse, teksti propozon ngarkimin paraprak të modeleve gjatë nisjes së kontejnerit ose kontrolle asinkrone të gatishmërisë përpara pranimit të trafikut.
Burimi: DEV Community (Web Dev Feed) — lexoni artikullin e plotë në anglisht.
