Në një test me 200 lezione të lëkurës të konfirmuara me biopsi, një version i përshtatur i rrjetit nervor konvolucional Inception v3 dha diagnozën e saktë në 125 raste (62%). GPT-6 Astra dhe Claude Fable 5.1 identifikuan saktë përkatësisht 84 dhe 85 raste (42%), duke zgjedhur mes gjashtë diagnozave.
Rastet u përzgjodhën rastësisht nga MILK10k, një grup publik të dhënash i publikuar në vitin 2025. Për çdo lezion kishte një fotografi klinike dhe një imazh dermoskopik. Edhe lezionet beninje ishin biopsuar, çka e bënte kampionin më të vështirë për diagnostikim.
Inception v3, i prezantuar nga Google më 2015, u përshtat për rreth 20 minuta me 68,011 imazhe nga ISIC Archive, në një GPU H100. Rastet e testit dhe çdo fotografi tjetër e të njëjtit lezion apo pacient u përjashtuan nga të dhënat e trajnimit dhe validimit. Dy LLM-të morën të njëjtat imazhe dhe udhëzime, me cilësimet standarde.
CNN identifikoi 13 nga 30 melanomat, kundrejt 8 dhe 11 për LLM-të, por gaboi duke klasifikuar si beninje shumë prej melanomave të tjera. Epërsia e përgjithshme nuk nënkupton siguri klinike. Autori deklaron se projektoi testin dhe bëri vlerësimet klinike, ndërsa analiza dhe draftet e para u prodhuan me Claude Code të Anthropic, kompania që zhvillon edhe njërin prej modeleve të testuara.
Burimi: Hacker News — lexoni artikullin e plotë në anglisht.
