TL;DR Transmetimi i përgjigjeve LLM përmes ngjarjeve të dërguara nga serveri (SSE) shkurton kohën e perceptuar për shenjën e parë (TTFT) nga sekonda në milisekonda duke ruajtur një lidhje http të lehtë dhe njëdrejtimëshe. Pa menaxhim aktiv të presionit të prapambetjes, klientët e ngadaltë në rrjedhën e poshtme shkaktojnë fryrjen e kujtesës në proxies të ndërmjetëm, pasi emetuesit e shpejtë të tokenit mbingarkojnë tamponët e foleve TCP.
Burimi: DEV Community (Web Dev Feed) — lexoni artikullin e plotë në anglisht.
