Kalimi i një faqeje te Cloudflare nuk garanton që shërbimet e AI mund ta lexojnë, edhe kur ajo hapet normalisht në shfletues. Cloudflare mund t’i trajtojë ndryshe robotët dhe vizitorët njerëzorë, duke ndikuar te qasja e ChatGPT, Claude dhe Perplexity në përmbajtje.
Operatorët përdorin robotë të veçantë për trajnimin e modeleve, kërkimin dhe indeksimin, si dhe hapjen e faqeve me kërkesë të përdoruesit. Bllokimi i njërit nuk bllokon domosdoshmërisht të tjerët. Sipas OpenAI, faqet që përjashtojnë OAI-SearchBot nuk shfaqen në përgjigjet e kërkimit të ChatGPT. ChatGPT-User dhe Perplexity-User mund të mos ndjekin robots.txt kur marrin një faqe me kërkesë të një personi.
Sipas dokumentacionit të përshkruar për tetorin 2026, Cloudflare i ndan politikat në Search, Agent dhe Training. Te Security Settings > Configure AI bot policies mund të zgjidhet lejimi, bllokimi ose bllokimi në faqet me reklama. Nga 15 shtatori 2026, Training ka edhe opsionin Disallow AI Training, që publikon në robots.txt preferencën kundër trajnimit dhe ruan qasjen për kërkim të disa robotëve me përdorim të dyfishtë.
Ndërkaq, opsionet e bllokimit për Training prekin edhe Applebot, Bingbot dhe Googlebot, pra edhe kërkimin. Çelësi i vjetër “Block AI bots” është nxjerrë nga përdorimi dhe cilësimet janë migruar te kontrollet e reja; administratorët duhet të verifikojnë si janë transferuar.
Burimi: DEV Community (Web Dev Feed) — lexoni artikullin e plotë në anglisht.
