Robotë si GPTBot, ClaudeBot dhe meta-externalagent, që mbledhin të dhëna për trajnimin e AI-së, po u shkaktojnë zhvilluesve trafik të lartë dhe kosto shtesë hostimi. Sipas raportimeve të cituara nga diskutimet në Hacker News, problemi prek edhe faqe të vogla, pa rritje reale të numrit të përdoruesve.
Read the Docs raportoi kosto prej mijëra dollarësh nga këta robotë. Kompania e AI-së që shkaktoi dëmin më të madh e kompensoi shërbimin, pasi çështja u identifikua, u dokumentua dhe u përshkallëzua. Një zhvillues me një instancë git në serverin e vet regjistroi 37,212,377 kërkesa në 60 ditë, mbi 99% prej tyre nga robotë, me përdorim të vazhdueshëm të CPU-së prej 30–50%.
Një lojë e vogël në shfletues, me rreth 120 përdorues në javë, e kufizoi wiki-n me hyrje të detyrueshme pasi trafiku i robotëve rrëzoi disa herë procesin MariaDB. Një operator tjetër bllokoi përmes Cloudflare robotin e OpenAI, duke raportuar dhjetëra mijëra kërkesa në minutë.
Rreziku financiar është veçanërisht i lartë në platformat serverless, ku tarifohen thirrjet e funksioneve, trafiku ose koha e CPU-së. Për një aplikacion Next.js me SSR, 10,000 faqe të kërkuara mund të nënkuptojnë 10,000 thirrje funksionesh. Disa zhvillues raportojnë gjithashtu robotë që anashkalojnë cache-in, duke shtuar parametra në URL ose duke shpërfillur header-at Vary, çka kufizon mbrojtjen që ofron CDN-ja.
Burimi: DEV Community (Web Dev Feed) — lexoni artikullin e plotë në anglisht.
