Botët e AI e respektojnë ndryshe skedarin robots.txt. Një rregull Disallow: / për një ofrues mund të bllokojë pa dashje edhe një tjetër, të rëndësishëm për programin GEO. Materiali i PandaWM, ekip marketingu ndërkombëtar me bazë në Hong Kong, rekomandon një matricë politikash të ruajtur në sistemin e kontrollit të versioneve.
Hapi i parë është identifikimi i botëve nga regjistrat e aksesit të dy javëve, duke shënuar user-agent, vëllimin e kërkesave sipas shtigjeve dhe kodet e statusit. Për secilin përcaktohet nëse lejohet gjithë përmbajtja publike, vetëm blogu dhe dokumentacioni, zbatohet crawl-delay kur mbështetet, apo bllokohet aksesi. Botët për trajnim dhe ata për përgjigje të drejtpërdrejta duhen vlerësuar veçmas.
Shembulli për GPTBot lejon /blog/ dhe /docs/, ndërsa bllokon pjesën tjetër me Disallow: /. Komentet duhet të shënojnë datën e rishikimit. Pas çdo ndryshimi në CDN ose WAF, rekomandohet kontrolli me curl i robots.txt dhe testimi i disa URL-ve me user-agent përkatës, sepse rregullat në këto shtresa mund të mbizotërojnë mbi skedarin në serverin burimor.
Matrica kërkon një përgjegjës dhe rishikim tremujor, pasi botë të rinj shfaqen dhe të vjetrit ndryshojnë emër. Materiali thekson edhe nevojën për fakte të njëtrajtshme në faqe, burime për shifrat dhe data përditësimi, që përmbajtja të citohet pa hamendësime.
Burimi: DEV Community (Web Dev Feed) — lexoni artikullin e plotë në anglisht.
