Për të zbuluar nëse zvarritësit e AI-së kanë vizituar një faqe të re WordPress, regjistrimi i kërkesave duhet konfiguruar përpara publikimit. Udhëzuesi vlen për instalime të vetëstrehuara, ku administratori kontrollon serverin. Dy kërkesa janë thelbësore: të ruhen të dhëna të mjaftueshme për çdo kërkesë dhe të lidhet user agent me një adresë IP të verifikueshme.
Në nginx ose Apache, formati i regjistrave duhet vendosur në nivel serveri. Të dhënat kryesore përfshijnë kohën me zhvendosjen ndaj UTC-së, IP-në reale të klientit, user agent të plotë, metodën, adresën e kërkuar, statusin HTTP, bajtet e dërguara dhe kohën e përgjigjes. Pas një CDN-je ose proxy, duhet konfiguruar saktë identifikimi i IP-së reale.
Statuset 200, 304, 403 dhe 429 tregojnë situata të ndryshme: një zvarritës i bllokuar nuk është njësoj si një që nuk ka ardhur. Adresat e kërkuara tregojnë nëse është vizituar /robots.txt ose /llms.txt, ndërsa koha e përgjigjes ndihmon të dallohen vonesat. Duhet kontrolluar edhe logrotate dhe të ruhet një kopje e regjistrave të javës së parë.
Shembulli me awk numëron kërkesat sipas user agent për GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot dhe zvarritës të tjerë. Kjo identifikon emrat e deklaruar në kërkesa; verifikimi kërkon edhe kontrollin e IP-së përkatëse.
Burimi: DEV Community (Web Dev Feed) — lexoni artikullin e plotë në anglisht.
