Si arrijnë modelet e mëdha gjuhësore të ruajnë kaq shumë informacion dhe ta rikujtojnë kur u kërkohet? Një shkrim shpjegues i trajton shtresat lineare, rrjetet MLP dhe mekanizmin self-attention si lloje të ndryshme të memories asociative, ku informacioni kërkohet sipas ngjashmërisë.
Në këtë qasje, çdo kujtim është një çift çelës–vlerë: çelësi shërben për kërkim, ndërsa vlera është informacioni që duhet rikthyer. Cilësia e memories nuk varet vetëm nga sasia e ruajtur, por edhe nga aftësia për ta rikthyer saktë. Sa më shumë kujtime të ruhen, aq më shumë mund të ndërhyjnë te njëri-tjetri gjatë rikujtimit.
Shkrimi përdor raportin ndërhyrje–sinjal për të vlerësuar kapacitetin: kufiri arrihet kur ndërhyrja nga kujtimet e tjera bëhet po aq e madhe sa sinjali i kërkuar. Për një memorie lineare, me çelësa dhe vlera të rastësishme sipas supozimeve të paraqitura, ky kufi është afërsisht sa numri i dimensioneve të çelësit.
Sipas krahasimit të autorit, kalimi nga një shtresë lineare te një MLP dhe më pas te self-attention përmirëson kapacitetin dhe rikujtimin. Me çelësa 64-dimensionalë, kapaciteti i vlerësuar rritet nga rreth 64 kujtime në rreth 2,700 dhe më pas në mbi një milion. Self-attention paraqitet si një mekanizëm me rikujtim shumë të mirë dhe me mundësi për të ruajtur një numër potencialisht të pakufizuar kujtimesh.
Burimi: Hacker News — lexoni artikullin e plotë në anglisht.
