هل أمنع بوتات الذكاء الاصطناعي (GPTBot وغيره) في robots.txt؟
على حسب هدفك. منع بوتات التدريب زي GPTBot و ClaudeBot و CCBot و Google-Extended مش بيأثر على ترتيبك ولا فهرستك في جوجل. لكن منع بوتات البحث زي OAI-SearchBot و PerplexityBot ممكن يقلل ظهورك كمصدر في إجاباتهم. وأوعى تمنع Googlebot: ده بيشيلك من نتائج جوجل ومن AI Overviews مع بعض.
التشخيص
هتعرف إن عندك المشكلة لو:
- لاقيت GPTBot و ClaudeBot كتير في سجلات السيرفر
- خايف محتوايا يتاخد لتدريب نماذج الذكاء الاصطناعي
- عايز أظهر في ChatGPT و Perplexity بس من غير ما محتوايا يتستخدم في التدريب
- منعت بوتات وخايف أكون أذيت ترتيبي في جوجل
السبب غالبًا:
كل شركة ذكاء اصطناعي ليها أكتر من بوت بأسماء مختلفة: بوت لتدريب النماذج وبوت للبحث والاستشهاد بالمصادر، والخلط بينهم أو مع Googlebot بيخلّي الناس تمنع الحاجة الغلط.
الأدوات اللي هتحتاجها
خطوات الحل
حدد انت عايز إيه بالظبط
اسأل نفسك سؤالين منفصلين: عايز محتوايا يُستخدم في تدريب النماذج؟ وعايز أظهر كمصدر في إجابات البحث بالذكاء الاصطناعي؟ أغلب المواقع اللي بتعتمد على الزيارات بتسيب بوتات البحث مسموحة، وبتقرر في بوتات التدريب حسب سياستها.
Googlebot: سيبه مسموح دايمًابوتات البحث بالذكاء الاصطناعي: سيبها لو عايز تتذكر كمصدربوتات التدريب: قرارك وما بتأثرش على ترتيب جوجلاعرف أسماء البوتات المهمة
الاسم اللي بتكتبه في User-agent لازم يكون مطابق للي الشركة معلناه. Google-Extended مش بوت بيزحف لوحده، ده اسم بيتحكم في استخدام اللي Googlebot جمعه لتدريب Gemini، ومنعه مش بيأثر على ظهورك أو ترتيبك في بحث جوجل.
User-agentوظيفتهGPTBot (OpenAI) تدريب النماذج OAI-SearchBot (OpenAI) الظهور في بحث ChatGPT ClaudeBot (Anthropic) تدريب النماذج CCBot (Common Crawl) أرشيف مفتوح بيُستخدم في التدريب Google-Extended تدريب Gemini · مالوش علاقة بترتيب جوجل PerplexityBot الظهور في نتائج Perplexity Googlebot بحث جوجل و AI Overviews · ما تمنعوش شاشة توضيحية مبسطة من بوتات الذكاء الاصطناعي، والأرقام أمثلة. اكتب القواعد في robots.txt
كل بوت في مجموعة لوحده. المثال ده بيمنع بوتات التدريب وبيسيب البحث. خلّي القواعد العامة لجوجل والباقي زي ما هي.
robots# منع التدريب User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: CCBot Disallow: / User-agent: Google-Extended Disallow: / # بوتات البحث مسموحة (عشان تظهر كمصدر) User-agent: OAI-SearchBot User-agent: PerplexityBot Disallow: /wp-admin/ # باقي البوتات ومنها Googlebot User-agent: * Disallow: /wp-admin/ Sitemap: https://example.com/sitemap.xml
اختبر قبل ما تنشر
في المختبر اللي تحت الصق الملف، واختار GPTBot واكتب أي مسار: لازم يطلع ممنوع. بعدها اختار Googlebot لنفس المسار: لازم يطلع مسموح. لو Googlebot اتمنع يبقى فيه قاعدة غلط.
اعرف حدود robots.txt
robots.txt طلب مش قفل: البوتات المحترمة بتلتزم بيه، لكن مش كل البوتات. ومنعه بيأثر على الزحف من وقت التعديل، مش على اللي اتجمع قبل كده. لو عايز منع فعلي استخدم إعدادات البوتات في Cloudflare أو جدار الحماية عندك، وراجع سجلات السيرفر من وقت للتاني لأن أسماء بوتات جديدة بتظهر.
جرّب بنفسك
اختبر فهمك
لو منعت Google-Extended في robots.txt، إيه اللي هيحصل لترتيبك في بحث جوجل؟
عايز تطلع من AI Overviews. هل منع Google-Extended يكفي؟
الإجابة دي فادتك؟
شكرًا! رأيك بيساعدنا نحسّن الإجابة.
أسئلة مرتبطة
ملف robots.txt بيمنع جوجل من صفحات مهمة. أعرف ده إزاي وأصلحه؟
افتح yoursite.com/robots.txt ودوّر على Disallow بيغطي مسارات مهمة (أشهرها Disallow: / المتساب من نسخة التجربة). جرّب الروابط في أداة الفحص، وعدّل القواعد، واعرف إن robots.txt بيمنع الزحف مش الفهرسة.
إزاي أظهر في إجابات الذكاء الاصطناعي (AI Overviews) والمحركات التوليدية؟
مفيش إعداد خاص ولا كود سحري. جوجل بيقول إن نفس أساسيات السيو هي اللي بتحدد الظهور في AI Overviews: صفحة مفهرسة، محتوى مفيد ومباشر، ومعلومات واضحة يسهل اقتباسها. وفي ChatGPT و Perplexity، لازم كمان تسمح لبوتاتهم بالزحف.
هل المحتوى المكتوب بالذكاء الاصطناعي بيضر السيو؟
لأ، مش لمجرد إنه مكتوب بالذكاء الاصطناعي. جوجل بيقيّم جودة المحتوى وفايدته مش طريقة كتابته. اللي بيضر هو إنك تطلّع صفحات كتير بالجملة من غير قيمة حقيقية عشان تتلاعب بالترتيب، وده جوجل بيعتبره سبام (Scaled content abuse) سواء اتكتب بـ AI أو بإيد بشر.
إزاي أحل أخطاء الخادم 5xx في Search Console؟
خطأ 5xx معناه إن السيرفر فشل يرد على Googlebot. جوجل بيبطّأ الزحف لما يقابله، ولو الخطأ استمر الصفحات ممكن تخرج من الفهرس. حدد الروابط من تقرير فهرسة الصفحات، اختبرها مباشرة، دوّر على السبب في سجلات السيرفر (ضغط، plugin، قاعدة بيانات، جدار حماية بيمنع Googlebot)، وبعد الإصلاح اضغط التحقق من الإصلاح.