Excluded by 'noindex' tag: هل هذا طبيعي، وكيف يُصلح؟

« Excluded by 'noindex' tag » هي الحالة الوحيدة للفهرسة التي تنشئها بنفسك، عن قصد أو عن طريق الخطأ. يصف توثيق تقرير فهرسة الصفحات من Google هذا السبب في ثلاث جمل: « عندما حاول Google فهرسة الصفحة، صادف توجيه 'noindex' ولذلك لم يفهرسها. إذا كنت لا تريد فهرسة هذه الصفحة، فتهانينا! وإذا كنت تريد فهرستها، فيجب عليك إزالة توجيه 'noindex'. » يساعدك هذا الدليل على تحديد الجانب الذي يقع فيه كل عنوان URL من هذه الجملة، وعلى إيجاد المصدر الدقيق لقاعدة غير مرغوب فيها وإصلاحها دون كسر أي شيء آخر.

ماذا يعني « Excluded by 'noindex' tag »؟

تطلب قاعدة noindex من محركات البحث ألا تعرض الصفحة في نتائجها. يقرأ Google هذه القاعدة في مكانين، كما يوضح دليله حول حظر الفهرسة باستخدام noindex:

• وسم meta من نوع robots داخل <head> في HTML: <meta name="robots" content="noindex"> لجميع محركات البحث، أو name="googlebot" لـ Google وحده.
• ترويسة HTTP باسم X-Robots-Tag يرسلها الخادم مع الاستجابة، بالقيمة noindex أو none. وهذا الخيار الوحيد للملفات التي لا تحتوي على HTML، مثل ملفات PDF.

عندما يجد Googlebot أيًا منهما، يبقي عنوان URL خارج الفهرس. تظهر الحالة في Search Console ضمن الفهرسة ثم الصفحات، في الجدول « Why pages aren't indexed ». تذكر صفحة المساعدة السبب نفسه باسم « URL marked 'noindex' »، والتسميتان تصفان حالة واحدة.

ثلاث حقائق تغيّر طريقة قراءة التقرير:

• التزم Google بتعليمتك. بخلاف « Crawled - currently not indexed »، حيث يقرر Google بنفسه ضد صفحة ما، تعكس هذه الحالة تعليمة أرسلها موقعك.
• تتطلب زحفًا. لا يستطيع Google رؤية قاعدة noindex إلا في صفحة يُسمح له بجلبها. الصفحة المحجوبة بملف robots.txt لا تصل إلى هذه الحالة أبدًا.
• يمكن أن تأتي القاعدة من أي حلقة في السلسلة. يمكن لـ HTML ونظام إدارة المحتوى والإضافات والقالب وإعدادات الخادم وشبكة CDN أن تضيفها كلٌّ على حدة، ولا يُظهر مصدر الصفحة ترويسات HTTP.

هل هذا طبيعي أم خطأ؟

تحتوي معظم المواقع على عناوين URL في هذه الحالة، وكثير منها ينتمي إليها فعلًا. يذكر تقرير Google أن الصفحات المدرجة كغير مفهرسة موجودة هناك « ليس بالضرورة بسبب خطأ ». رتّب القائمة حسب نوع عنوان URL قبل إصلاح أي شيء.

السطر الأخير أهم مما يبدو. تقول خريطة الموقع لـ Google « فهرس هذه الصفحات »، بينما يقول noindex العكس. اقصر خريطة الموقع على عناوين URL القابلة للفهرسة والقانونية (يشرح دليلنا حول إرسال خريطة الموقع إلى Google كيفية تنظيفها).

من أين تأتي قاعدة noindex غير المرغوب فيها؟

عندما تحمل صفحة مهمة قاعدة noindex، فالسبب في الغالب واحد من المصادر التالية. تحقق منها بهذا الترتيب، من الأكثر شيوعًا إلى الأندر.

حالة WordPress شائعة بما يكفي لذكرها. وفقًا لـ توثيق WordPress لشاشة القراءة، فإن تفعيل خيار « Discourage search engines from indexing this site » يضيف noindex,nofollow في head كل صفحة (منذ الإصدار 5.3). يكفي مربع منسيّ بعد الإطلاق لإخراج موقع كامل من Google. تُعد عمليات الإطلاق وإعادة التصميم اللحظات الأكثر خطورة، ولذلك تتضمن قائمة مراجعة ترحيل SEO دائمًا فحص قواعد الزحف. للإعدادات الخاصة بـ WordPress، راجع صفحتنا عن SEO وGEO في WordPress.

كيف تشخّص الحالة خطوة بخطوة؟

1. افتح التقرير. في Search Console، انتقل إلى الفهرسة ثم الصفحات، وانقر على « Excluded by 'noindex' tag » وصدّر القائمة.
2. رتّب عناوين URL بالجدول أعلاه. ضع جانبًا تلك التي يجب أن تبقى خارج الفهرس.
3. افحص عنوان URL مهمًا. ألصقه في أداة فحص عنوان URL. يخبرك السطر « Indexing allowed? » ما إذا كان Google قد رأى noindex، وما إذا كان قادمًا من وسم meta من نوع robots أو من ترويسة X-Robots-Tag.
4. اختبر العنوان المباشر. انقر على « Test live URL »: إذا لم تعد النسخة المباشرة تحتوي على noindex، فقد أُزيلت القاعدة بالفعل ولا يحتاج Google إلا إلى إعادة الزحف.
5. تحقق من المكانين بنفسك. ابحث عن noindex في المصدر، ثم في ترويسات الاستجابة (أدوات المطورين في المتصفح، تبويب Network). تعرض أداة فحص ترويسات HTTP المجانية قيمة X-Robots-Tag دون فتح أدوات المطورين، وتختبر أداة فحص قابلية الفهرسة وسم meta والترويسة وrobots.txt في مرة واحدة.
6. تتبّع المصدر باستخدام جدول المصادر، بدءًا من إعداد نظام إدارة المحتوى وإضافة SEO.

كيف تُصلح الأمر؟

يعتمد الإصلاح على المصدر. غيّر الإعداد في المكان الذي تُنشأ فيه القاعدة، لا في المخرجات المرئية فقط، وإلا ستعود مع التحديث التالي.

بعد الإصلاح، اطلب الفهرسة لأهم عناوين URL في أداة فحص عنوان URL، وأعد إرسال خريطة الموقع إذا تأثرت صفحات كثيرة. بالنسبة إلى مجموعة من عناوين URL التي أُصلحت، انقر على « Validate fix » في التقرير. يذكر Google أن التحقق « typically takes up to about two weeks, but in some cases can take much longer ». امسح ذاكرة الصفحة أو CDN أولًا، وإلا فقد يجلب Google النسخة القديمة مع القاعدة القديمة. إذا بقيت الصفحات غائبة بعد أسابيع، يعرض دليلنا حول فهرسة الصفحات من Google الخطوات التالية، وإذا انتقلت إلى Crawled - currently not indexed، فالمشكلة أصبحت في المحتوى لا في القاعدة.

Noindex أم robots.txt أم canonical: أيها تستخدم؟

تُخلط هذه الأدوات الثلاث كثيرًا، والجمع بينها بشكل خاطئ يُنتج أكثر التقارير إرباكًا.

يقول Google ذلك بوضوح: إذا حجب robots.txt صفحة، فـ« the crawler will never see the noindex rule ». إذا أردت خروج صفحة من الفهرس، فأبقها قابلة للزحف مع noindex حتى تختفي، ثم قرر بعد ذلك إن كنت ستحجبها. اختبر ملفك باستخدام أداة فحص robots.txt، واقرأ مواصفات وسم meta من نوع robots للحصول على القائمة الكاملة للقواعد، فهي تنص أيضًا على أنه عند التعارض « the more restrictive rule applies ».

لماذا يهم هذا لـ SEO ولظهورك في الذكاء الاصطناعي؟

لا تحصل الصفحة الموجودة تحت noindex على أي نقرات عضوية من Google، مهما كانت جودتها. في موقع كبير، قد تزيل قاعدة غير مرغوب فيها في قالب واحد مئات صفحات المنتجات أو المقالات دفعة واحدة، وغالبًا ما تكون أول علامة هي انخفاض الزيارات بعد أسابيع. إذا بدا موقعك وكأنه اختفى تمامًا، فابدأ بقائمة المراجعة لدينا حول موقع لا يظهر على Google.

يضيف مساعدو الذكاء الاصطناعي تكلفة ثانية. غالبًا ما تجيب ChatGPT وPerplexity وGemini باسترجاع الصفحات من فهارس البحث على الويب واقتباسها، لذلك للصفحة الغائبة عن الفهرس فرص ضئيلة في أن تُقتبس. تُظهر دراستنا حول المنصات التي تقتبس منها الذكاء الاصطناعي أكثر من غيرها المصادر التي يفضلونها.

Sorank منتجنا: برنامج لـ SEO وGEO يعمل بنظام autopilot. تعرض لوحة GEO وSEO الخاصة به النقرات والظهور والمواضع من Search Console، فيبرز بسرعة أي انخفاض مفاجئ في الظهور لمجموعة من الصفحات، وتعلّم إضافة Sorank المجانية لـ Chrome مشكلات SEO في أي صفحة تفتحها.

الخلاصة: أبقِ noindex على الصفحات التي لا ينبغي أن تتصدر النتائج أبدًا، وأزله من مصدره على الصفحات التي ينبغي أن تتصدرها، وأبقِ خريطة الموقع خالية من عناوين URL المزودة بـ noindex، ولا تحجب صفحة في robots.txt بينما ما زال Google بحاجة إلى قراءة noindex الخاص بها. لنشر صفحات مصممة لتُفهرس وتُقتبس، راجع خطط Sorank، ابتداءً من 49€ شهريًا، مع تجربة مجانية لمدة 3 أيام.