Matja javore e robots.txt në 1.000 domene të njohura .jp tregon se si faqet japoneze kufizojnë botët e AI. Edicioni i dytë, për javën 45 të vitit 2026, bazohet në skanimin e 1 nëntorit, të publikuar më 2 nëntor. Kampioni mbetet i pandryshuar dhe vjen nga lista Tranco W3ZV9 e 25 tetorit 2026.
Nga 719 domene ku u përcaktuan rregullat për secilin bot, 76 bllokonin GPTBot në shtegun / (10,6%), 73 ClaudeBot (10,2%) dhe 38 OAI-SearchBot (5,3%). Të paktën një bot trajnimi bllokohej nga 113 domene, ose 15,7%. Javën e mëparshme, këto numra ishin përkatësisht 74, 73, 39 dhe 111. Kufizimet vetëm për disa direktori nuk numërohen si bllokim i /.
Nga 1.000 domenet, 815 iu përgjigjën kërkesës për robots.txt; 23 ridrejtonin te një domen tjetër dhe u përjashtuan. Nga 792 të mbeturat, 63 kthyen statusin 403 (8%), ndaj rregullat e tyre nuk mund të lexoheshin. Rastet me 403, 5xx ose statuse të tjera bllokuese nuk përfshihen te 719 domenet e vlerësuara. Skedari llms.txt u gjet në domenin e vet te 30 faqe, kundrejt 29 një javë më parë.
Kërkesat u dërguan nga një IP japoneze. Të 2.277 kërkesat e regjistruara kishin nënshkrim Web Bot Auth, por pas rinisjes së skanimit, për 275 faqe nuk u regjistruan numri i kërkesave dhe prania e nënshkrimit. Shifrat u rillogaritën në mënyrë të pavarur para publikimit; studimi publikon vetëm numërime, pa emërtuar faqet.
Burimi: DEV Community (Web Dev Feed) — lexoni artikullin e plotë në anglisht.
