ملف robots.txt بيمنع جوجل من صفحات مهمة. أعرف ده إزاي وأصلحه؟
افتح yoursite.com/robots.txt ودوّر على Disallow بيغطي مسارات مهمة (أشهرها Disallow: / المتساب من نسخة التجربة). جرّب الروابط في أداة الفحص، وعدّل القواعد، واعرف إن robots.txt بيمنع الزحف مش الفهرسة.
التشخيص
هتعرف إن عندك المشكلة لو:
- رسالة: تم حظرها بواسطة ملف robots.txt
- الموقع كله اختفى بعد إطلاق النسخة الجديدة
- صفحات بتظهر في جوجل من غير وصف
السبب غالبًا:
قاعدة Disallow واسعة زيادة، أو ملف منسوخ من بيئة التجربة، أو منع ملفات CSS و JS اللي جوجل محتاجها للعرض.
الأدوات اللي هتحتاجها
خطوات الحل
افتح الملف واقراه
اكتب yoursite.com/robots.txt في المتصفح. أخطر سطر هو Disallow: / تحت User-agent: * لأنه بيقفل الموقع كله.
robots# خطر: بيقفل الموقع كله User-agent: * Disallow: / # سليم لووردبريس User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Sitemap: https://example.com/sitemap_index.xml
شوف التقرير في Search Console
الإعدادات ← robots.txt: بيوضح آخر نسخة جوجل قراها وأي أخطاء فيها.
الإعداداتالزحفrobots.txthttps://example.com/robots.txt تم الجلب · 2 تحذير شاشة توضيحية مبسطة من Google Search Console، والأرقام أمثلة. جرّب الروابط المهمة
استخدم المختبر اللي تحت: الصق الملف واكتب مسار، وهتعرف هل مسموح ولا ممنوع وإيه القاعدة السبب.
عدّل وانشر
شيل القواعد اللي بتمنع صفحات مهمة، وخلّي ملفات CSS و JS مسموحة. بعد النشر اطلب من Search Console إعادة جلب الملف.
لو عايز تمنع الفهرسة استخدم noindex
robots.txt بيمنع الزحف بس. صفحة ممنوعة ممكن تتفهرس من غير محتوى لو عليها روابط. لمنع الظهور استخدم meta robots noindex وسيبها مسموح الزحف.
جرّب بنفسك
اختبر فهمك
عايز صفحة ما تظهرش في جوجل خالص. أعمل إيه؟
الإجابة دي فادتك؟
شكرًا! رأيك بيساعدنا نحسّن الإجابة.
أسئلة مرتبطة
Search Console بيقول «تم الزحف إليها - غير مفهرسة حاليًا». الصفحة مش بتتفهرس ليه؟
جوجل زار الصفحة وقرر إنها مش مستاهلة الفهرسة دلوقتي، غالبًا لأنها ضعيفة أو مكررة أو مالهاش روابط داخلية كفاية. حسّن المحتوى، اربطها من صفحات قوية، وبعدين اطلب الفهرسة.
خريطة الموقع (Sitemap) فيها أخطاء أو Search Console بيقول «تعذر جلب الملف». أعمل إيه؟
اتأكد إن الملف بيفتح وبيرجع 200 ومكتوب XML سليم، ومش ممنوع في robots.txt، وفيه بس الروابط النهائية القابلة للفهرسة (200، مش redirect ولا noindex ولا canonical لصفحة تانية).
موقعي معمول بـ React أو JavaScript وجوجل مش شايف المحتوى أو الروابط. أعمل إيه؟
افحص الصفحة في أداة فحص عنوان URL وشوف الـ HTML اللي جوجل عرضه. لو المحتوى ناقص، استخدم العرض من جهة السيرفر (SSR) أو التوليد الثابت (SSG)، وخلي الروابط وسوم a حقيقية فيها href.
هل أمنع بوتات الذكاء الاصطناعي (GPTBot وغيره) في robots.txt؟
على حسب هدفك. منع بوتات التدريب زي GPTBot و ClaudeBot و CCBot و Google-Extended مش بيأثر على ترتيبك ولا فهرستك في جوجل. لكن منع بوتات البحث زي OAI-SearchBot و PerplexityBot ممكن يقلل ظهورك كمصدر في إجاباتهم. وأوعى تمنع Googlebot: ده بيشيلك من نتائج جوجل ومن AI Overviews مع بعض.