Integrimi i Firecrawl në një sistem agjentësh AI pa server evidentoi vështirësi me kufizimet e Cloudflare Workers. Sipas përshkrimit teknik, SDK-ja Python e Firecrawl mbështetet te lidhjet jetëgjata dhe riprovimet, ndërsa konfigurimi i Workers kufizon kohën e CPU-së në 50 ms për thirrje dhe nuk ruan gjendje ndërmjet kërkesave.
Implementimi fillestar grumbullonte mbi 200 detyra për mbledhjen e të dhënave nga faqet, shteronte kufirin e kërkesave të API-së së Firecrawl dhe linte Workers në pritje të operacioneve të papërfunduara. Problemi kryesor ishte përshtatja e kontrollit asinkron të detyrave me modelin jetëshkurtër të ekzekutimit të Workers.
Zgjidhja e paraqitur përdor Hono.js për rutimin dhe Workers KV për ruajtjen e gjendjes. Kërkesa në /scrape nis një detyrë Firecrawl, ruan identifikuesin me afat skadimi prej 5 minutash dhe kthen përgjigje me kodin 202. Endpoint-i /poll/:jobId kontrollon të dhënat në KV ose kërkon statusin nga API-ja e Firecrawl.
Kur detyra përfundon, rezultati ruhet për 60 sekonda dhe kthehet përmbajtja markdown. Për detyrat ende në proces, përgjigjja sugjeron riprovim pas 2 sekondash; për ato të skaduara ose të pagjetura kthehet kodi 404. Teksti thekson nevojën për radhë të strukturuara, kufij kohorë dhe rutim alternativ kur endpoint-i kryesor nuk përgjigjet.
Burimi: DEV Community (Web Dev Feed) — lexoni artikullin e plotë në anglisht.
