ROBOTS.TXTمجاني · بدون تسجيل
مولّد قواعد robots.txt لزواحف AI
هذه الزواحف الـ20 التي يتعرّف عليها فحصنا. قرّر لكل زاحف هل يصل إلى محتواك — وكتلة robots.txt تتحدّث مباشرة.
GPTBotOpenAIتدريب نماذج OpenAI
ChatGPT-UserOpenAIتصفح ChatGPT المباشر عند سؤال المستخدم
ClaudeBotAnthropicتدريب نماذج Anthropic
Claude-SearchBotAnthropicزاحف بحث Claude — يفهرس الصفحات لتظهر في نتائج البحث
Claude-UserAnthropicجلب مباشر عند سؤال المستخدم في Claude
Claude-WebAnthropicاسم قديم من Anthropic لم تعد تذكره
anthropic-aiAnthropicزاحف Anthropic القديم
PerplexityBotPerplexityفهرسة Perplexity للإجابات المستشهدة
Google-ExtendedGoogleتدريب Gemini والاعتماد على صفحاتك في إجابات تطبيقات Gemini (لا يؤثر على بحث Google)
BytespiderByteDanceزاحف ByteDance/TikTok
CCBotCommon Crawlأرشيف Common Crawl (تستخدمه نماذج كثيرة للتدريب)
AmazonbotAmazonزاحف Alexa/Amazon
FacebookBotMetaزاحف Meta لنماذج الذكاء الاصطناعي
Applebot-ExtendedAppleتدريب نماذج Apple
DiffbotDiffbotاستخراج البيانات المهيكلة
cohere-aiCohereتدريب نماذج Cohere
OAI-SearchBotOpenAIزاحف بحث ChatGPT — يجلب الصفحات للاستشهاد بها في الإجابات
Perplexity-UserPerplexityجلب مباشر عند سؤال المستخدم في Perplexity
DuckAssistBotDuckDuckGoتوليد إجابات DuckAssist
meta-externalagentMetaتدريب نماذج Meta وفهرسة المحتوى لمنتجاتها
كتلة robots.txt الخاصة بك
# AI crawler access rules # AI guidance file: /llms.txt # Allowed crawlers need no section of their own: they follow your User-agent: * rules. # A section with only Allow: / would make that crawler ignore those rules (RFC 9309).
ادمجها في ملف robots.txt الحالي في جذر الموقع. الزواحف المسموح لها لا تحتاج قسماً خاصاً بها: تتبع قواعد User-agent: * عندك، وإن أضفت لها قسماً باسمها فيه Allow: / وحده فستتجاهل تلك القواعد. وإن كان في ملفك قسم آخر لزاحف تحظره هنا فاحذفه، لأن Allow: / فيه يغلب هذا المنع.