Artificial Analysis Intelligence Index v5.0 vlerëson aftësitë e modeleve gjuhësore në arsyetim, njohuri, matematikë dhe programim. Ai shërben për krahasimin e modeleve, por ka kufizime dhe nuk zbatohet domosdoshmërisht drejtpërdrejt në çdo rast përdorimi.
Versioni v5.0 përfshin nëntë vlerësime: AA-Briefcase v1.1, AutomationBench-AA, GDP.pdf, FrontierCode 2.0, Terminal-Bench 4.0, AA-Omniscience v1.1, HLE-Diamond, CritPt v2 (Hard Subset) dhe Terminal-Bench-Science 0.1.0. Rezultati llogaritet si mesatare e ponderuar e katër kategorive: punë me njohuri, programim, shkencë dhe aftësi të përgjithshme, secila me peshë 25%.
Testet janë kryesisht tekstuale dhe në anglisht. Aftësitë për përpunimin e imazheve, të folurit dhe përdorimin e shumë gjuhëve maten veçmas dhe nuk përfshihen në rezultatin e indeksit. Indeksi shumëgjuhësh mbështetet në vlerësimin Global-MMLU-Lite.
Metodologjia synon paanshmëri dhe zbatueshmëri në praktikë. Për llogaritjen e kostos përdoren numërimet e tokenëve të raportuara nga ofruesit e API-ve, kur janë të disponueshme; përndryshe përdoret një tokenizues rezervë. Në vlerësimin e GDP.pdf, Artificial Analysis nuk përdor funksionet e API-së për futjen e dokumenteve. Për shkak të dallimeve në këtë proces dhe në vlerësues, rezultatet e tij dhe ato të Surge AI nuk janë drejtpërdrejt të krahasueshme.
Burimi: Hacker News — lexoni artikullin e plotë në anglisht.
