Teknologjia neurale e shndërrimit të tekstit në të folur (TTS), e përdorur në asistentët zanorë, librat audio dhe podkastet e gjeneruara nga AI, e kthen tekstin në zë përmes modeleve të të nxënit të thellë. Procesi përfshin përgatitjen e tekstit, modelimin akustik dhe krijimin e sinjalit audio.
Fillimisht, teksti normalizohet: zgjerohen shkurtesat, numrat kthehen në fjalë dhe pikësimi ndihmon në përcaktimin e pauzave e të intonacionit. Më pas, shkronjat shndërrohen në fonema, njësitë më të vogla të tingullit, për të qartësuar shqiptimin. Kjo fazë zakonisht përdor një model të trajnuar mbi një fjalor shqiptimi.
Modeli akustik parashikon një mel-spektrogram, që paraqet shpërndarjen e energjisë së tingullit sipas kohës dhe frekuencës. Tacotron 2 përdor një arkitekturë me vëmendje, ndërsa modelet joautoregresive përpunojnë paralelisht për të rritur shpejtësinë. Një vokoder e kthen më pas këtë paraqitje në valë zanore: WaveNet ofron cilësi të lartë, por është i ngadaltë; HiFi-GAN synon gjenerim të shpejtë, afër kohës reale.
VITS bashkon modelimin akustik dhe vokoderin në një rrjet të vetëm. Teksti trajton edhe klonimin e zërit: përshtatjen e një modeli TTS të paratrajnuar me timbrin e një folësi të ri, duke përdorur një sasi relativisht të vogël regjistrimesh, shpesh vetëm disa minuta audio.
Burimi: DEV Community (Web Dev Feed) — lexoni artikullin e plotë në anglisht.
