Google njoftoi më 30 tetor se planifikon të mbështesë në vitin 2027 një preferencë të përbashkët në robots.txt për mospërdorimin e përmbajtjes në trajnimin e AI. Megjithatë, sinjali i ri nuk do t’i zëvendësojë automatikisht rregullat ekzistuese për ofrues të veçantë.
Google do ta trajtojë këtë sinjal si ndalim për Google-Extended vetëm kur ky i fundit nuk është përcaktuar shprehimisht në skedar. Nëse robots.txt përmban një leje të posaçme për Google-Extended, nuk duhet supozuar se ndalimi i ri i përbashkët e anulon atë. Pronarët dhe zhvilluesit duhet të verifikojnë cili rregull ka përparësi.
Drafti i 30 tetorit përcakton tokenin __usage_ai-training përmes grupeve të zakonshme të robots.txt. Ai është propozim individual, jo standard i miratuar nga IETF. Sipas draftit, një grup User-Agent me shenjën universale * nuk përputhet me këtë token; preferenca për trajnimin është e veçantë nga rregullat për crawler-at.
Për faqet e bizneseve, kufizimi i trajnimit, përdorimi i përmbajtjes në përgjigje të gjeneruara dhe kontrolli i trafikut të crawler-ave janë zgjedhje të ndryshme. Ato duhen dokumentuar sipas qëllimit, shtigjeve përkatëse dhe përjashtimeve të ofruesve, përpara ndryshimit të skedarit. Artikulli deklaron se është gjeneruar dhe verifikuar me AI, është publikuar automatikisht dhe nuk është shqyrtuar nga Keith.
Burimi: DEV Community (Web Dev Feed) — lexoni artikullin e plotë në anglisht.
