Avantazhi konkurrues në AI për ndërmarrjet po zhvendoset nga zgjedhja e modelit te infrastruktura që e mbështet. Me kalimin nga eksperimentimi në përdorim real, sfida është ofrimi i aftësive të AI-së me besueshmëri, kosto të përballueshme dhe në shkallë të gjerë.
Në qendër është sistemi inxhinierik që rrethon modelin: arkitektura, menaxhimi i memories, planifikimi i ekzekutimit dhe optimizimi. Këto përcaktojnë efikasitetin me të cilin aftësitë e modelit shndërrohen në funksionalitete për biznesin dhe ndikojnë në vendimet për investime teknologjike.
Teksti thekson se arkitektura duhet të përcaktohet nga ngarkesa e punës, jo thjesht nga modeli. Një asistent për klientët kërkon përgjigje të shpejta, ndërsa përpunimi i dokumenteve mund të kryhet gjatë natës. Edhe aplikacionet që përdorin të njëjtin model bazë mund të kenë nevojë për infrastruktura të ndryshme.
Në përdorim real, krahas saktësisë, rëndësi marrin vonesa, kërkesat e njëkohshme, memoria, shfrytëzimi i GPU-ve, kostot dhe trafiku i paparashikueshëm. Një model me përgjigje pak më të mira nuk është domosdoshmërisht zgjedhja e duhur nëse dyfishon koston e inferencës ose nuk përmbush kërkesat e shpejtësisë. Vendimet për memorien, planifikimin dhe përpunimin në grupe duhen trajtuar si pjesë të një sistemi të ndërlidhur.
Burimi: MIT Technology Review — lexoni artikullin e plotë në anglisht.
