Një analizë e publikuar në yappatyih.com shqyrtoi më 20 tetor 2026 rregullat robots.txt të 100 faqeve kryesore në Malajzi, në dhjetë sektorë. Nga këto, 13 ndalonin të paktën një prej 17 robotëve të AI të përfshirë në kontroll. Asnjë nuk i bllokonte të gjithë dhe asnjë nuk bllokonte Googlebot, robotin e kërkimit të Google.
Faqet e lajmeve kishin më shumë kufizime: pesë nga 15 të kontrolluara, përfshirë New Straits Times, Harian Metro dhe Bernama. Asnjë bankë, kompani telekomunikacioni, faqe udhëtimesh apo universitet, skedari i të cilit mund të lexohej, nuk bllokonte robotë të AI.
GPTBot i OpenAI ishte roboti më i bllokuar, nga nëntë faqe. CCBot dhe Bytespider bllokoheshin secili nga tetë, ndërsa ClaudeBot i Anthropic nga shtatë. Google-Extended, që përcakton përfshirjen e faqeve në modelet e AI të Google, bllokohej nga katër. Dhjetë prej 13 faqeve me kufizime bllokonin robotë për trajnimin e modeleve, por lejonin robotët e kërkimit të OpenAI dhe Perplexity.
Në total, 74 faqe i lejonin të gjithë robotët e AI ose nuk kishin robots.txt; nëntë nuk e kishin këtë skedar. Për 13 faqe të tjera, skripti nuk arriti ta lexonte. Vetëm 18 nga 78 skedarët e lexueshëm përmendnin robotë të AI. Në këtë analizë, bllokim quhej rregulli që i ndalon një roboti marrjen e faqes rrënjë «/», duke kufizuar hyrjen në gjithë sajtin, përveç shtigjeve të lejuara veçmas.
Burimi: DEV Community (Web Dev Feed) — lexoni artikullin e plotë në anglisht.
