Asistentët AI që kërkojnë në internet i marrin faqet përpara se të përgjigjen. Nëse nuk arrijnë t’i hapin ose marrin vetëm një strukturë pa përmbajtje, nuk do t’i citojnë. Katër pengesat kryesore janë bllokimet në robots.txt, etiketa ose header-i noindex, teksti që shfaqet vetëm pasi ekzekutohet JavaScript dhe rregullat e firewall-it ose CDN-së që bllokojnë crawler-at.
Duhet dalluar mes crawler-ave të kërkimit, si OAI-SearchBot dhe PerplexityBot, dhe atyre të trajnimit, si GPTBot dhe ClaudeBot. Bllokimi i të parëve pengon qasjen nga kërkimi me AI; bllokimi i të dytëve zakonisht nuk e ndikon atë. Disa shabllone dhe shtojca sigurie i bllokojnë të dy grupet bashkë.
GEO Doctor (geo-doctor), mjet falas me licencë MIT, kontrollon robots.txt, qasjen e crawler-ave AI, noindex dhe dukshmërinë e tekstit kryesor. Ai vlerëson vetëm lexueshmërinë teknike, jo cilësinë e përmbajtjes. Punon me Node.js 18+ ose brenda asistentëve si Claude Code, Codex dhe Kimi Code; të dhënat mbeten në skedarët e projektit, pa server të vetin.
Zgjidhjet përfshijnë lejimin e crawler-ave të kërkimit, kontrollin për noindex të mbetur gabimisht nga mjedisi i testimit dhe përfshirjen e tekstit kryesor në HTML-në fillestare ose në faqe statike. Burimi: https://github.com/Fangx-AI/geo-doctor. Autori deklaron se mirëmban mjetin dhe se artikulli u hartua me ndihmën e Claude, pastaj u rishikua prej tij.
Burimi: DEV Community (Web Dev Feed) — lexoni artikullin e plotë në anglisht.
