Një test me 10,000 kërkesa të automatizuara krahasoi kohën deri te tokeni i parë (TTFT) dhe rikuperimin pas dështimeve për shërbimet LLM, përmes lidhjeve të drejtpërdrejta dhe platformave ndërmjetëse. Matjet u kryen gjatë një jave në nyje në Amerikën e Veriut, Evropë dhe Azi-Paqësor.
Sipas rezultateve të publikuara, TTFT-ja mediane ishte 182 ms për OpenAI (GPT-4o), 215 ms për Anthropic (Claude 3.5) dhe 114 ms për Groq (Llama-3.3-70B). Për platformat ndërmjetëse, u raportuan 196 ms për SentioGate Router, 245 ms për OpenRouter dhe 218 ms për LiteLLM të vetëhostuar. Vonesa shtesë nga drejtimi i kërkesave ishte përkatësisht nën 18 ms, rreth 63 ms dhe rreth 36 ms.
Testuesit simuluan gabime HTTP 429 dhe HTTP 503 për të vlerësuar reagimin ndaj kufizimit të kërkesave dhe mbingarkesës. Klientët e drejtpërdrejtë kthyen gabime te aplikacioni. Sipas autorëve, SentioGate zbuloi gabimin 429 në 12 ms dhe ridrejtoi kërkesën te një ofrues alternativ në më pak se 45 ms, pa ndërhyrjen e klientit.
Matrica raporton gjithashtu 0% shtesë mbi çmimin e tokenëve për SentioGate dhe 5%–10% për OpenRouter. Këto vonesa dhe mekanizma rikuperimi kanë rëndësi për pritjen e përdoruesve dhe vazhdimësinë e aplikacioneve. Metodologjia dhe kodi i testimit janë publikuar me burim të hapur te SentioGate/llm-routing-benchmarks.
Burimi: DEV Community (Web Dev Feed) — lexoni artikullin e plotë në anglisht.
