Që një faqe të lexohet nga sistemet e AI, teksti rekomandon lejimin e robotëve përkatës në robots.txt, paraqitjen e fakteve kryesore në HTML dhe shtimin e të dhënave të strukturuara. Robotët kanë role të ndryshme: GPTBot dhe ClaudeBot mbledhin të dhëna për trajnim, ndërsa OAI-SearchBot përdoret për rezultatet e kërkimit në ChatGPT.
Bllokimi i robotëve të kërkimit ose i atyre që marrin faqe me kërkesë të përdoruesit e përjashton faqen nga përgjigjet e drejtpërdrejta të shërbimit përkatës. Bllokimi i robotëve të trajnimit prek vetëm versionet e ardhshme të modeleve. Sipas tekstit, disa faqe që vendosën bllokime të përgjithshme gjatë viteve 2024–2025 u përjashtuan pa dashje edhe nga kërkimi në ChatGPT dhe Perplexity.
llms.txt është një konventë e propozuar: një skedar Markdown në /llms.txt me përshkrimin e faqes, faktet kryesore dhe lidhjet më të dobishme. Disa faqe publikojnë edhe llms-full.txt me tekstin e plotë të faqeve kryesore. Mbështetja ndryshon sipas shërbimit, ndaj ky skedar është plotësues, jo garanci për përfshirje në përgjigje.
Duhet kontrolluar edhe nëse CDN ose WAF bllokojnë robotët, pavarësisht lejeve në robots.txt; regjistrat e serverit tregojnë kodet 200 ose 403. Çmimet, veçoritë dhe pyetjet e shpeshta duhet të jenë në HTML, jo vetëm përmes JavaScript. Rekomandohen edhe schema markup në përputhje me tekstin e dukshëm dhe një sitemap me të gjitha faqet publike e data të sakta lastmod.
Burimi: DEV Community (Web Dev Feed) — lexoni artikullin e plotë në anglisht.
