Një analizë e kërkesave në katër faqe të vogla e të reja, më 19–25 tetor 2026, krahasoi IP-të e vizitorëve që identifikoheshin si robotë me listat e publikuara nga operatorët. Autori, mirëmbajtës i mjetit CLI crawlerpeek, përjashtoi kërkesat e serverit të vet dhe testet manuale.
Në intervalet e publikuara të IP-ve përputheshin 98% e kërkesave të OAI-SearchBot, 96% të Googlebot dhe ClaudeBot dhe 94% të GPTBot. Për ChatGPT-User përputhja ishte 81%, për Bingbot 79%, për PerplexityBot 22% dhe për CCBot 0%. Applebot dhe AhrefsBot arritën 100%.
Nga 332 kërkesa pa përputhje, 287 vinin nga një rrjet i vetëm pritjeje që pretendonte tetë identitete robotësh; verifikimi reverse DNS nuk u konfirmua me kërkimin përpara. Për 45 të tjerat mungonte reverse DNS. Autori e konsideron rastin e rrjetit të vetëm dëshmi të fortë të falsifikimit të user-agent, por thekson se mungesa në listë nuk provon identitet të rremë: listat mund të përditësohen me vonesë dhe kampioni është i kufizuar.
Për lejim, bllokim apo kufizim kërkesash, analiza rekomandon verifikimin me listat e IP-ve ose reverse DNS, jo vetëm me user-agent. crawlerpeek kontrollon edhe rregullat e robots.txt sipas RFC 9309 dhe përgjigjen reale të faqes, për të zbuluar mospërputhje si lejimi në robots.txt ndërsa WAF kthen gabimin 403.
Burimi: DEV Community (Web Dev Feed) — lexoni artikullin e plotë në anglisht.
