IboChat është një aplikacion ku personazhet me AI përgjigjen me tekst dhe zë në mbi 24 gjuhë. Përdoruesit mund të krijojnë personazhe të personalizuara brenda pak minutash. Aplikacioni, i publikuar në chat.emreguzel.ca, synon të ruajë personalitetin e tyre gjatë gjithë bisedës.
Sistemi përdor Flask, modelin GLM (glm-4.5-air) përmes API-së së Z.ai dhe faster-whisper lokalisht për kthimin e të folurit në tekst. Llogaritë mbështeten te SQLite dhe hashimi me Werkzeug, ndërsa aplikacioni ekzekutohet në Docker pas Cloudflare. Çdo kërkesë ndaj modelit përfshin personalitetin e personazhit, historikun e fundit dhe kodin e gjuhës.
Për zërin, aplikacioni provon me radhë tri alternativa: GPT-SoVITS për zëra të klonuar në katër gjuhë, OmniVoice Studio për mbulim shumëgjuhësh dhe Edge TTS si rezervë me zëra standardë. GPT-SoVITS kërkon rreth 5–18 sekonda për sintezën, ndërsa OmniVoice rreth 30–40 sekonda.
Problemi kryesor ishte bashkëndarja e një GPU-je 4 GB nga dy modelet zanore, që shkaktonte audio të dëmtuar. Zgjidhja ishte nisja e GPT-SoVITS sipas kërkesës, ndalimi pas 120 sekondash pasiviteti dhe lirimi i VRAM-it të OmniVoice para çdo thirrjeje. Meqë ngarkimi i modelit zgjat rreth 30–50 sekonda, serveri tani kontrollon gatishmërinë dhe kalon te alternativa tjetër zanore, në vend që ta lërë kërkesën në pritje.
Burimi: DEV Community (Web Dev Feed) — lexoni artikullin e plotë në anglisht.
