Telepult.Web është një shtesë shfletuesi që modifikon pamjen e kamerës përpara se ajo t’u transmetohet pjesëmarrësve në videotelefonatë. Projekti nisi në Google Meet dhe u zgjerua në Zoom Web, Microsoft Teams, Discord, Slack huddles dhe rreth 30 faqe të tjera.
Autori u frymëzua nga një postim në Telegram për Snap, një shtesë për Google Meet nga @deniza-png, që lejon përdoruesin të «zhduket» nga pamja duke përdorur një fotografi paraprake të dhomës bosh. Me Telepult.Web synoi të përfshinte edhe sfonde, maska, ngjitëse, titra të përkthyer dhe një teleprompter.
Shtesa ndërhyn te getUserMedia, funksioni me të cilin faqet kërkojnë kamerën dhe mikrofonin. Ajo hap kamerën reale, përpunon kuadrot në një canvas dhe ia kthen faqes pamjen e modifikuar si transmetim normal video për WebRTC. Efektet shfaqen te pjesëmarrësit e tjerë dhe në regjistrime, pa qenë nevoja që të tjerët të instalojnë diçka.
Përpunimi kufizohet në rreth 30 kuadro në sekondë. Kur kuadri i mëparshëm ende po përpunohet, cikli pasues anashkalohet për të shmangur grumbullimin e kuadrove dhe humbjen e sinkronizimit me audion në kompjuterë më të dobët. Mikrofoni trajtohet veçmas, ndërsa, nëse modifikimi dështon, ruhet transmetimi origjinal. Për fytyrën, duart dhe segmentimin përdoret Google MediaPipe Tasks Vision, me modele që ekzekutohen në shfletues përmes WebAssembly dhe me GPU kur funksionon.
Burimi: DEV Community (Web Dev Feed) — lexoni artikullin e plotë në anglisht.
