ROBOTS.TXTFree · no signup
robots.txt AI rules generator
These are the 20 AI crawlers our audit recognises. Decide per crawler whether it may access your content — the robots.txt block updates live.
GPTBotOpenAIتدريب نماذج OpenAI
ChatGPT-UserOpenAIتصفح ChatGPT المباشر عند سؤال المستخدم
ClaudeBotAnthropicتدريب نماذج Anthropic
Claude-SearchBotAnthropicزاحف بحث Claude — يفهرس الصفحات لتظهر في نتائج البحث
Claude-UserAnthropicجلب مباشر عند سؤال المستخدم في Claude
Claude-WebAnthropicاسم قديم من Anthropic لم تعد تذكره
anthropic-aiAnthropicزاحف Anthropic القديم
PerplexityBotPerplexityفهرسة Perplexity للإجابات المستشهدة
Google-ExtendedGoogleتدريب Gemini والاعتماد على صفحاتك في إجابات تطبيقات Gemini (لا يؤثر على بحث Google)
BytespiderByteDanceزاحف ByteDance/TikTok
CCBotCommon Crawlأرشيف Common Crawl (تستخدمه نماذج كثيرة للتدريب)
AmazonbotAmazonزاحف Alexa/Amazon
FacebookBotMetaزاحف Meta لنماذج الذكاء الاصطناعي
Applebot-ExtendedAppleتدريب نماذج Apple
DiffbotDiffbotاستخراج البيانات المهيكلة
cohere-aiCohereتدريب نماذج Cohere
OAI-SearchBotOpenAIزاحف بحث ChatGPT — يجلب الصفحات للاستشهاد بها في الإجابات
Perplexity-UserPerplexityجلب مباشر عند سؤال المستخدم في Perplexity
DuckAssistBotDuckDuckGoتوليد إجابات DuckAssist
meta-externalagentMetaتدريب نماذج Meta وفهرسة المحتوى لمنتجاتها
Your robots.txt block
# AI crawler access rules # AI guidance file: /llms.txt # Allowed crawlers need no section of their own: they follow your User-agent: * rules. # A section with only Allow: / would make that crawler ignore those rules (RFC 9309).
Merge into your existing robots.txt at the site root. Bots you allow need no section of their own: they follow your User-agent: * rules, and a section with only Allow: / would make that bot ignore them. If your file already has a section for a bot you block here, delete it: its Allow: / would win over this Disallow.