Zgjedhja mes GPT, Gemini dhe Claude duhet të mbështetet te rezultatet me të dhënat reale të aplikacionit, shpejtësia dhe kostoja e tokenëve, jo te një renditje universale. Artikulli propozon një test krahasues me 30–50 raste reale, me të dhënat personale të maskuara, dhe 3–5 kritere vlerësimi.
Për një detyrë nxjerrjeje të dhënash, kriteret mund të jenë vlefshmëria e JSON-it, prania e të gjitha fushave dhe përputhja e numrave me burimin. Testet duhet të përfshijnë edhe raste të vështira: tekste shumë të gjata, gjuhë të përziera, përmbajtje të keqformuar dhe kërkesa që duhen refuzuar.
Modelet thirren përmes të njëjtit funksion, me parametra të njëjtë. Si shembull përdoret OROO Blue, që ofron një API për modelet e OpenAI, Google dhe Anthropic. Rezultatet vlerësohen duke fshehur identitetin e modelit, për të kufizuar paragjykimin, dhe krahasohen sipas cilësisë, kohës së përgjigjes dhe konsumit mesatar të tokenëve.
Gjatë provave rekomandohet një çelës API i dedikuar, me kufizime për modelet, tokenët dhe ritmin e kërkesave, i ruajtur në një variabël mjedisi ose menaxher sekretesh. Dataset-i dhe kriteret ruhen në depon e kodit, ndërsa testet përsëriten pas çdo përditësimi të modelit. Mbajtja e zgjedhjes së modelit në konfigurim lehtëson ndërrimin dhe kthimin te varianti i mëparshëm.
Burimi: DEV Community (Web Dev Feed) — lexoni artikullin e plotë në anglisht.
