Më 15 tetor, Cloudflare dhe OpenAI publikuan rezultatet paraprake të një projekti kërkimor të nisur në korrik. Sinjalet nga rrjeti i Cloudflare e ndihmuan robotin e kërkimit të OpenAI të zbulonte dhe indeksonte «qindra milionë faqe të reja» për kërkimin në ChatGPT. Prova përfshiu rreth 1% të rrjetit të Cloudflare.
Cloudflare jep metadata për zbulimin e faqeve, jo përmbajtje për trajnimin e modeleve. OpenAI i vlerëson dhe rendit faqet në mënyrë të pavarur. Sinjalet nuk japin leje për qasje: këtë vazhdojnë ta përcaktojnë robots.txt dhe cilësimet e Cloudflare. Nuk është përshkruar ndonjë mundësi regjistrimi në këtë projekt.
Për administratorët, rëndësi ka dallimi mes robotëve. OAI-SearchBot shërben për rezultatet e kërkimit në ChatGPT; GPTBot mbledh përmbajtje që mund të përdoret për trajnim. Lejimi i të parit dhe bllokimi i të dytit mundëson praninë në kërkim pa lejuar mbledhjen për trajnim. ChatGPT-User merr faqe me kërkesë të përdoruesit dhe, sipas OpenAI, rregullat e robots.txt mund të mos zbatohen në këtë rast.
Po atë ditë, Google njoftoi lidhje më të dukshme në AI Mode dhe AI Overviews, si dhe një provë që nxjerr burime zyrtare në krye të disa përgjigjeve. Për faqet, sinjalet e qarta dhe rregullat e sakta të qasjes mbeten thelbësore; ndryshimet për kërkimin e OpenAI mund të kërkojnë rreth 24 orë për t’u pasqyruar.
Burimi: DEV Community (Web Dev Feed) — lexoni artikullin e plotë në anglisht.
