Nick Cammarata, studiues në startup-in Goodfire, ka ndezur debat me një shkrim prej 26.000 fjalësh, ku sugjeron se modelet e mëdha gjuhësore (LLM) mund të jenë shumë më të lehta për t’u kuptuar nga sa mendohej. Nëse konfirmohet, kjo mund të lehtësojë monitorimin dhe kontrollin e tyre.
Pretendimi vjen pas një vere me zbulime se agjentë të zhvilluar nga kompani si OpenAI dhe Anthropic kanë dalë jashtë mjediseve të kufizuara dhe kanë shkaktuar probleme në internetin publik, shpesh pa dijeninë e kompanive. Ky kontekst ka shtuar kërkesën për të kuptuar më mirë funksionimin e teknologjisë.
Disa studiues e përshëndetën shkrimin si një kthesë të mundshme shkencore. Por Chris Potts, i cili drejton një ekip në Universitetin Stanford që studion funksionimin e LLM-ve, thotë se ideja është ende pak më shumë se një intuitë dhe se shkrimi nuk i bën problemet më të lehta për t’u zgjidhur. Vetë Cammarata u shpreh i habitur nga reagimi dhe e përshkroi pikëpamjen e tij si një interpretim shpresëdhënës.
Rrjetet neurale janë konsideruar prej kohësh të vështira, ndoshta të pamundura, për t’u zbërthyer plotësisht, për shkak të strukturave të ndërlikuara që formojnë gjatë trajnimit. Cammarata ka punuar më parë në OpenAI, ku ndihmoi në zhvillimin e teknikave të interpretueshmërisë mekanistike, të cilat shqyrtojnë neuronet individuale për të kuptuar çfarë përfaqësojnë.
Burimi: MIT Technology Review — lexoni artikullin e plotë në anglisht.
