ميزانية الزحف: ما مدى تكرار زيارة محركات البحث لموقعكم

ميزانية الزحف تصف مقدار اهتمام الزحف الذي يخصصه محرك بحث لموقعكم. لا يزحف Googlebot إلى كل صفحة على الإنترنت بالتساوي أو باستمرار؛ بل يتخذ قرارات اقتصادية بشأن أين ينفق موارده المحدودة. ميزانية الزحف هي النتيجة العملية لهذه القرارات بالنسبة لنطاقكم المحدد: مجموعة عناوين URL التي يمكن لـ Google جلبها وتريد جلبها خلال فترة زمنية معينة.

لا تنشر Google رقمًا لميزانية الزحف الخاصة بكم ولا تسمح لكم بتحديد واحد يدويًا. بدلاً من ذلك، يوضح توثيق Google لميزانية الزحف أنها تنشأ من عاملين أساسيين. فهم هذين العاملين هو مفتاح التأثير على مدى شمولية وتكرار زحف صفحاتكم، خاصة مع إضافة زواحف AI ضغطًا جديدًا على موارد الخادم في عام 2026.

العاملان: سعة الزحف وطلب الزحف

حد سعة الزحف هو الحد الأقصى لعدد الاتصالات المتزامنة التي سيستخدمها Googlebot لزحف موقعكم، بالإضافة إلى التأخير بين عمليات الجلب. يتم تحديده وفقًا لصحة خادمكم. إذا كان موقعكم يستجيب بسرعة وبدون أخطاء، ترفع Google الحد وتزحف بشكل أكثر قوة. إذا تباطأ خادمكم أو أعاد أخطاء 5xx، تتراجع Google لتجنب إثقال كاهلكم.

طلب الزحف يعكس مدى رغبة Google في زحف صفحاتكم من الأساس. يرتفع مع الشعبية (عناوين URL التي تجذب الزيارات والروابط)، والمخزون المتصوَّر (عدد الصفحات المفيدة التي تعتقد Google أنكم تمتلكونها)، والقدم (الصفحات التي تعتقد Google أنها بحاجة إلى تحديث). ينتج الموقع الكبير والموثوق والذي يُحدَّث بشكل متكرر طلب زحف مرتفعًا؛ بينما ينتج الموقع الصغير والثابت طلبًا منخفضًا.

ميزانية الزحف الفعلية لديكم هي نقطة التقاء هذين العاملين. السعة العالية مع الطلب المنخفض لا تزال تعني زحفًا خفيفًا، والطلب المرتفع الذي يقيّده خادم بطيء يعني صفحات مفقودة. كلا العاملين مهمان، ويتفاعلان مع بصمة الزحف الإجمالية لموقعكم.

من يحتاج فعليًا للقلق بشأن ميزانية الزحف

معظم المواقع لا تحتاج إلى التفكير في ميزانية الزحف على الإطلاق. إذا كان لديكم بضع مئات أو بضعة آلاف من الصفحات وكان خادمكم سريعًا بشكل معقول، ستزحف Google إلى كل ما هو مهم دون صعوبة. إنفاق الطاقة على تحسين ميزانية الزحف لموقع صغير هو عادة مجهود ضائع.

تستهدف Google إرشاداتها صراحةً ثلاث مجموعات: المواقع الكبيرة التي تضم مليون صفحة فريدة أو أكثر وتتغير أسبوعيًا على الأقل، والمواقع المتوسطة إلى الكبيرة التي تضم 10,000 صفحة فريدة أو أكثر وتتغير يوميًا، وأي موقع تظهر فيه نسبة كبيرة من عناوين URL بحالة "تم اكتشافها ولكن غير مفهرسة حاليًا" في Search Console. إذا كنتم تندرجون ضمن إحدى هذه الفئات، تصبح ميزانية الزحف قيدًا حقيقيًا يتحكم مباشرة في الصفحات التي تتم فهرستها ومدى حداثتها.

كيف تعرفون ما إذا كانت ميزانية الزحف مشكلة

أوضح إشارة توجد في Google Search Console. افتحوا تقرير إحصائيات الزحف (Crawl Stats) لمعرفة عدد الطلبات التي يجريها Googlebot يوميًا، ومتوسط زمن الاستجابة، وأي أخطاء توفر. عدد كبير من الطلبات التي تُنفق على عناوين URL منخفضة القيمة، أو ارتفاع أوقات الاستجابة، يشير إلى عدم الكفاءة.

راقبوا تقرير الصفحات (Pages) بحثًا عن حالة "تم اكتشافها ولكن غير مفهرسة حاليًا". عندما تكون Google قد عثرت على عنوان URL لكنها لم تزحف إليه، قد تكون صفحاتكم المهمة في انتظار طابور من الصفحات عديمة القيمة. تحليل سجلات الخادم هو الطريقة الأكثر دقة: فهو يُظهر بالضبط أي عناوين URL يجلبها Googlebot وبأي تكرار، ويكشف إلى أين تذهب ميزانيتكم فعليًا مقابل إلى أين تريدون أن تذهب.

ما الذي يهدر ميزانية الزحف

أكبر مصادر الهدر متوقعة. التنقل متعدد الأوجه (Faceted navigation) ومعاملات URL يمكن أن تولّد تركيبات شبه لا نهائية من الصفحات المُصفّاة والمُرتَّبة، كل واحدة منها عنوان URL فريد قد يحاول Googlebot زحفه. تخلق معرفات الجلسة (Session IDs) في عناوين URL نفس الانفجار من التكرارات. كل عملية جلب مهدورة من هذه هي عملية جلب لم تُنفق على صفحة حقيقية.

تشمل مصادر الهدر الشائعة الأخرى سلاسل إعادة التوجيه الطويلة، وصفحات 404 الناعمة التي تُعيد حالة 200 لمحتوى مفقود، والمحتوى المكرر عبر عناوين URL متعددة، وصفحات التمرير اللانهائي أو التقويم التي تولّد روابط لا نهائية، وخرائط المواقع القديمة التي تشير إلى عناوين URL ميتة. كل واحد من هذه يستهلك سعة زحف كان ينبغي أن تُوجَّه نحو أحدث منتج أو مقال أو صفحة هبوط لديكم، ونحو فهرسة أفضل للصفحات التي تهمكم.

كيفية تحسين ميزانية الزحف

ابدأوا بحظر ما لا ينبغي أن تزحف إليه Google. استخدموا ملف robots.txt الخاص بكم لمنع معاملات التنقل متعدد الأوجه، ونتائج البحث الداخلية، وأنماط عناوين URL الأخرى منخفضة القيمة. تشير Google إلى أن robots.txt، وليس noindex، هو الأداة الصحيحة هنا: الصفحة التي تحمل noindex لا تزال بحاجة إلى الزحف إليها لتتم قراءتها، مما يستهلك الميزانية، بينما يُتخطى المسار المحظور تمامًا.

بعد ذلك، رتّبوا أكواد الحالة الخاصة بكم. أعيدوا 404 أو 410 للصفحات التي أزلتموها بشكل دائم حتى تتوقف Google عن طلبها. وحّدوا المحتوى المكرر خلف علامات canonical، وتخلّصوا من سلاسل إعادة التوجيه بتوجيه الروابط مباشرة إلى عنوان URL النهائي. كل إصلاح يستعيد عمليات جلب لصفحات تستحقها.

أخيرًا، حافظوا على دقة خريطة موقع XML الخاصة بكم بتواريخ lastmod صادقة، وحسّنوا سرعة الخادم حتى ترفع Google حد سعة الزحف لديكم. الموقع الأسرع هو موقع يُزحف إليه بشكل أكثر شمولية، مع تساوي العوامل الأخرى.

ميزانية الزحف وزواحف AI في 2026

لم يعد Googlebot الزاحف الوحيد الذي يتنافس على اهتمام خادمكم. تنشر محركات AI روبوتاتها الخاصة، بما في ذلك GPTBot و OAI-SearchBot من OpenAI، و ClaudeBot من Anthropic، و PerplexityBot، لجمع وتحديث المحتوى الذي تستشهد به في إجاباتها. تستهلك هذه الزواحف عرض نطاق ودورات خادم حقيقية.

أظهرت بيانات الخوادم من عام 2025 أن حركة زواحف AI والبحث ترتفع بشكل حاد، مع نمو عدة روبوتات بمئات النسب المئوية سنويًا. الأثر العملي هو أن نفس العمل على صحة الموقع وكفاءته الذي يحمي ميزانية الزحف الخاصة بكم لدى Google يحمي أيضًا الأداء أمام زواحف AI. يساعد الخادم السريع وبنية عناوين URL النظيفة كل روبوت، من Googlebot إلى المحركات التي تشغّل بحث AI، على إنفاق زحفه المحدود على صفحات تستحق الجلب.

ميزانية الزحف مقابل الفهرسة: لبس شائع

الزحف والفهرسة خطوتان منفصلتان، والخلط بينهما يؤدي إلى مجهود ضائع. تحدد ميزانية الزحف ما إذا كانت Google تجلب عنوان URL وبأي تكرار. الفهرسة هي القرار المنفصل بشأن ما إذا كانت الصفحة التي تم زحفها تستحق التخزين والعرض في النتائج. يمكن زحف صفحة ثم تركها عمدًا خارج الفهرسة لأن Google حكمت عليها بأنها منخفضة القيمة.

هذا مهم للتشخيص. إذا كانت الصفحة بحالة "تم اكتشافها" لكن لم يُزحف إليها، فتلك مشكلة ميزانية زحف أو اكتشاف، وتنطبق الإصلاحات المذكورة أعلاه. إذا كانت الصفحة "تم زحفها" لكن لم تُفهرس، فالمشكلة عادة تكون جودة المحتوى، أو المحتوى الرقيق، أو التكرار، ولن يصلحها أي قدر من تحسين الزحف. حددوا المرحلة التي تفشل فيها قبل أن تتصرفوا.

الخلاصة

ميزانية الزحف هي عدد عناوين URL التي يمكن لمحرك البحث، ويريد، أن يزحف إليها في موقعكم خلال فترة زمنية معينة، ويحددها حد سعة الزحف (صحة خادمكم) وطلب الزحف (شعبيتكم ومخزونكم وحداثتكم). إنها مصدر قلق حقيقي للمواقع الكبيرة التي تضم 10,000 صفحة أو أكثر، ولأي موقع يحتوي على العديد من عناوين URL "المكتشفة وغير المفهرسة"، وهي غالبًا ليست مشكلة للمواقع الصغيرة. لتحسينها، احظروا عناوين URL منخفضة القيمة باستخدام robots.txt، وأصلحوا أكواد الحالة وسلاسل إعادة التوجيه، وتخلّصوا من التكرارات، وحافظوا على دقة خريطة موقعكم، وسرّعوا خادمكم. في عام 2026، تحافظ نفس هذه الممارسات أيضًا على كفاءة زواحف AI. أجروا تدقيق GEO SEO من Sorank للعثور على هدر الزحف الذي يضر بفهرستكم.