Një kontroll i regjistrave të nginx për të parë nëse asistentët e AI e lexonin faqen zbuloi se një e treta e kërkesave të identifikuara si trafik nga këto bot-e nuk vinin nga burimet që pretendonin. Autori fillimisht i numëroi kërkesat sipas identifikuesve user-agent, pastaj kontrolloi adresat IP nga të cilat ato vinin.
Regjistrat tregonin 1136 kërkesa me emrin ClaudeBot, 420 me GPTBot, 356 me PerplexityBot dhe 230 me Applebot. Gjithashtu, 213 kërkesa identifikoheshin si ChatGPT-User dhe 196 si OAI-SearchBot. Verifikimi tregoi se vetëm emri i deklaruar në user-agent nuk mjaftonte për të konfirmuar origjinën.
Operatorët e bot-eve publikojnë intervalet e adresave IP për verifikim. OpenAI ofron openai.com/gptbot.json për bot-in e trajnimit, openai.com/searchbot.json për bot-in që ndërton indeksin e kërkimit të ChatGPT dhe openai.com/chatgpt-user.json për kërkesat e drejtpërdrejta kur pyetja e përdoruesit aktivizon shfletimin.
Apple publikon search.developer.apple.com/applebot.json për Applebot, që u shërben Spotlight, Siri dhe Apple Intelligence. Këto skedarë përmbajnë prefikse CIDR. Sipas autorit, krahasimi i adresave në regjistra me këto lista kërkon rreth 20 rreshta kodi Python, pa varësi të jashtme.
Burimi: DEV Community (Web Dev Feed) — lexoni artikullin e plotë në anglisht.
