لا تفهرس Google دائمًا كل صفحة على موقع ويب على الفور. في بعض الحالات، قد يستغرق الأمر أسابيع قبل أن يتم الزحف الى الصفحة وفهرستها، مما قد يؤخر جهود تحسين محركات البحث تخيل إطلاق صفحة مقصودة مُحسَّنة حديثًا تفشل في الفهرسة بسرعة – فقد يكون ذلك انتكاسة كبيرة. هنا يصبح تحسين ميزانية الزحف أمرًا شديد الأهمية. في هذا المقال سنعرف ماهية ميزانية الزحف وكيف يمكنك تحسينها لتحسين ظهور موقعك في نتائج البحث.

ما هي ميزانية الزحف

تشير ميزانية الزحف إلى عدد الصفحات التي سوف يزحف اليها محرك البحث Google على موقعك أو اى محرك بحث آخر خلال إطار زمني محدد، عادةً يوميًا. نظرًا للكم الهائل من مواقع الويب على الإنترنت، يتعين على محركات البحث تحديد أولويات جهود الزحف الخاصة بها بسبب الموارد المحدودة – فهي لا تستطيع التحقق من كل موقع على حدة كل يوم.

 قد يختلف عدد الصفحات التي سوف يزحف اليها محرك البحث من يوم لآخر، لكنه يظل ثابتًا نسبيًا بشكل عام. على سبيل المثال، قد يزحف محرك البحث Google إلى ست صفحات فقط أو ما يصل إلى 5000 صفحة على موقعك يوميًا. وفي بعض الحالات، قد يزحف حتى ملايين الصفحات يوميًا. تتأثر ميزانية الزحف الخاصة بموقعك بعوامل مثل حجم موقعك والصحة العامة لموقعك (بما في ذلك عدد الأخطاء التي يواجهها محرك البحث Google) وكمية وجودة الروابط التي تشير إلى موقعك. وفي حين أن بعض هذه العوامل خارجة عن سيطرتك، يمكن إدارة عوامل أخرى لتحسين ميزانية الزحف الخاصة بموقعك.

أهمية ميزانية الزحف لتحسين محركات البحث

لكي تحتل صفحات الويب الخاصة بموقعك مرتبة متقدمة في نتائج محركات البحث، يتعين على Google أولاً أن تفحصها وتفهرسها. وأي خلل في هذه العمليات قد يمنع ظهور محتواك في نتائج البحث، مما يؤثر بشكل كبير على زيارات موقعك وبالتالي أهداف عملك.

لا يحتاج معظم مالكي مواقع الويب إلى القلق بشكل مفرط بشأن ميزانية الزحف لأن Google يتمتع بكفاءة في الزحف إلى مواقع الويب. ومع ذلك، في مواقف معينة، تصبح ميزانية الزحف عاملاً حاسمًا في تحسين محركات البحث من هذه المواقف:

• المواقع الإلكترونية الكبيرة: إذا كان موقعك الإلكتروني واسع النطاق ومعقدًا (يحتوي على أكثر من 10000 صفحة)، فقد لا تكتشف Google الصفحات الجديدة على الفور أو تعيد الزحف إلى جميع الصفحات الموجودة بشكل متكرر.
• التحديثات المتكررة: إذا قمت بإضافة عدد كبير من الصفحات الجديدة بانتظام، فقد تؤثر ميزانية الزحف على سرعة ظهور هذه الصفحات في نتائج البحث.
• المشكلات الفنية: يمكن أن تؤدي مشكلات إمكانية الزحف، مثل أخطاء الخادم أو الموارد المحظورة، إلى منع محركات البحث من الزحف إلى موقعك بكفاءة، مما يؤدي إلى عدم ظهور المحتوى في نتائج البحث.

لماذا تقوم محركات البحث بتعيين ميزانية الزحف 

تقوم محركات البحث بتعيين ميزانيات الزحف لمواقع الويب في المقام الأول لتحسين تخصيص الموارد وضمان الزحف وفهرسة محتوى الويب بكفاءة. فيما يلي الأسباب الرئيسية التي تجعل محركات البحث مثل Google تقوم بتعيين ميزانيات الزحف:

1. إدارة الموارد بكفاءة

يتعين على محركات البحث أن تفحص مليارات صفحات الويب عبر الإنترنت، لكن مواردها محدودة، بما في ذلك معدل نقل البيانات وقوة المعالجة والتخزين. ومن خلال تخصيص ميزانيات الزحف، يمكن لمحركات البحث إدارة هذه الموارد بفعالية، مما يضمن تخصيص جهود الزحف الخاصة بها حيث تكون هناك حاجة إليها بشدة. وهذا يسمح لها بالحفاظ على التوازن بين الزحف إلى محتوى جديد وتحديث الصفحات الموجودة وعدم تحميل خوادمها أو مواقع الويب التي تزحف إليها أكثر من طاقتها.

2. أداء واستقرار الموقع الإلكتروني

يمكن أن يؤدي الزحف إلى زيادة تحميل خادم موقع الويب بشكل كبير، وخاصة بالنسبة للمواقع الكبيرة التي تحتوي على العديد من الصفحات. إذا قام محرك البحث بزحف موقع ما بشكل كبير للغاية، فقد يؤدي ذلك إلى إبطاء الموقع أو حتى التسبب في تعطله. من خلال تعيين ميزانية للزحف، يمكن لمحركات البحث تجنب زيادة العبء على خادم الموقع، مما يضمن عدم تداخل عملية الزحف مع العمليات العادية للموقع أو تجربة المستخدم.

3. تحديد أولويات المحتوى

لا تتمتع جميع الصفحات الموجودة على موقع الويب بنفس الأهمية، سواء بالنسبة لمالك الموقع أو لمحرك البحث. من خلال تعيين ميزانية الزحف، يمكن لمحركات البحث إعطاء الأولوية لصفحات الزحف التي من المرجح أن تقدم محتوى قيمًا وحديثًا للمستخدمين. من المرجح أن تحظى الصفحات التي يتم تحديثها بشكل متكرر، أو التي تتمتع بزيارات عالية، أو تحتوي على العديد من الروابط الخلفية، بالأولوية ضمن ميزانية الزحف المخصصة. وهذا يضمن فهرسة المحتوى الأكثر صلة وأهمية بشكل متكرر.

4. تعظيم كفاءة الفهرسة

تساعد ميزانيات الزحف محركات البحث على التأكد من أنها تزحف وتفهرس الأجزاء الأكثر أهمية من موقع الويب في إطار زمني معقول. بالنسبة لمواقع الويب الكبيرة، قد يستغرق الأمر قدرًا كبيرًا من الوقت للزحف إلى كل صفحة على حدة، لذا تساعد ميزانية الزحف في التركيز على المجالات التي من المرجح أن تؤثر على نتائج البحث. وهذا يضمن أن يرى المستخدمون المعلومات الأكثر صلة وحداثة عند إجراء بحث.

كيف تحدد Google ميزانية الزحف

تتأثر ميزانية الزحف الخاصة بك بعاملين رئيسيين هما طلب الزحف وحد سعة الزحف:

طلب الزحف 

يشير طلب الزحف إلى عدد المرات التي يقوم فيها محرك بحث Google بزحف موقعك استنادًا إلى أهميته المتصورة. تساهم عدة عناصر في طلب الزحف مثل:

• المخزون المتصور: تحاول Google عادةً الزحف إلى معظم الصفحات التي تعرفها على موقعك، إن لم يكن كلها. ومع ذلك، إذا لم تأمر Google صراحةً بتخطي صفحات معينة (باستخدام أدوات مثل robots.txt أو عن طريق إرجاع رموز الحالة 404/410)، فقد تحاول مع ذلك الزحف إليها، بما في ذلك الصفحات المكررة أو المحذوفة.
• الشعبية: عادةً ما يتم إعطاء الأولوية للصفحات التي تحتوي على عدد أكبر من الروابط الخلفية وتلك التي تجتذب عددًا أكبر من الزيارات للزحف. تشير الروابط الخلفية إلى Google بأن موقعك الإلكتروني مهم ويجب زحفه بشكل متكرر. من المهم ملاحظة أن جودة الروابط الخلفية وأهميتها أكثر أهمية من الكمية.
• الرتابة: تهدف Google إلى زحف المحتوى بشكل متكرر بما يكفي لاكتشاف أي تغييرات. عادةً ما يكون الطلب على الزحف أعلى في المواقع الإلكترونية التي تقوم بتحديث المحتوى بانتظام، مثل مواقع الأخبار. ومع ذلك، من المهم إعطاء الأولوية لجودة المحتوى على التحديثات المتكررة لضمان تركيز Google على المحتوى القيّم.

حد سعة الزحف

 حد سعة الزحف هو الحد الأقصى لعدد الصفحات التي يمكن لـ Google الزحف إليها على موقعك دون زيادة تحميل الخادم والتسبب في مشكلات في الأداء. يتأثر هذا الحد بشكل أساسي بعاملين:

• صحة الزحف لموقعك: يمكن أن تؤثر السرعة التي يستجيب بها موقعك لطلبات Google على حد سعة الزحف لديك. يمكن للموقع السريع التعامل مع عدد أكبر من طلبات الزحف، بينما يمكن للموقع البطيء أو الذي يحتوي على أخطاء في الخادم أن يؤدي إلى تقليل حد سعة الزحف.
• حدود الزحف لدى Google: نظرًا لأن Google لا تمتلك موارد غير محدودة، فإنها تعطي الأولوية للصفحات التي يجب الزحف إليها بشكل متكرر بناءً على الموارد المتاحة. إذا واجهت Google قيودًا، فقد يتم تقليل حد سعة الزحف لموقعك

كيف يعمل زاحف برنامج Googlebot

يتلقى برنامج Googlebot، وهو برنامج الزحف الذي يستخدمه Google، قائمة بعناوين URL التي يجب الزحف إليها على موقعك. ويعالج هذه القائمة بشكل منهجي، بدءًا بعناوين URL التي يعتبرها الأكثر أهمية. ويتحقق بشكل دوري من ملف robots.txt الخاص بك للتأكد من أنه لا يزال مسموحًا له بالزحف إلى عناوين URL معينة، ثم يشرع في الزحف إلى كل عنوان على حدة. بعد الزحف إلى عنوان URL، يحلل برنامج الزحف محتواه ويضيف أي عناوين URL جديدة يكتشفها إلى قائمة المهام الخاصة به.

هناك عدة عوامل قد تدفع Google إلى زحف عنوان URL معين. على سبيل المثال، قد يتلقى عنوان URL روابط خلفية جديدة، أو تتم مشاركته على منصات التواصل الاجتماعي، أو يظهر في خريطة موقع XML محدثة. لا توجد قائمة شاملة للأسباب التي قد تدفع Google إلى الزحف، ولكن عندما يحدد Google أن عنوان URL يحتاج إلى الزحف، فإنه سيضيفه إلى قائمة أولوياته.

متى تصبح ميزانية الزحف مصدر قلق

لا تشكل ميزانية الزحف مشكلة إذا خصصت Google عددًا كافيًا من عمليات الزحف لتغطية عناوين URL لموقعك. ومع ذلك، تنشأ المشاكل عندما يحتوي موقعك على عدد كبير من الصفحات، وتكون عمليات الزحف المخصصة من Google أقل من المطلوب. على سبيل المثال، إذا كان موقعك يحتوي على 7000 صفحة ويزحف Google إلى 90 صفحة فقط يوميًا، فقد يستغرق الأمر ما يصل إلى 77 يوم حتى يلاحظ Google التحديثات عبر موقعك بالكامل. في مثل هذه الحالات، يعد تحسين ميزانية الزحف أمرًا ضروريًا لضمان الزحف إلى الصفحات المهمة وفهرستها على الفور.

العوامل المؤثرة على ميزانية الزحف

إن فهم العوامل التي تساهم في ميزانية الزحف الخاصة بك أمر ضروري لتحسين ظهور موقعك على محركات البحث. وفيما يلي تفصيل لذلك:

1. جميع عناوين URL والطلبات

يتم احتساب كل عنوان URL على موقعك ضمن ميزانية الزحف الخاصة بك، بما في ذلك:

• عناوين URL البديلة: يتضمن ذلك إصدارات AMP (صفحات الجوّال المسرّعة) وm-dot (الجوّال).
• علامات Hreflang: عناوين URL المحددة لإصدارات لغة أو منطقة مختلفة.
• ملفات CSS وJavaScript: تستهلك هذه الموارد، وخاصة المحتوى المضمّن وطلبات XHR (XMLHttpRequest)، ميزانية الزحف أيضًا. لا يتم تخزين طلبات XHR، على وجه الخصوص، مؤقتًا مثل الملفات الأخرى، مما يؤدي إلى زيادة تكرار الطلبات، وخاصةً على المواقع التي تعتمد بشكل كبير على JavaScript.

يمكن اكتشاف عناوين URL هذه من خلال طرق مختلفة مثل صفحات الزحف والتحليل، وخرائط المواقع، وموجزات RSS، وإرسال عناوين URL مباشرة في Google Search Console (GSC)، أو باستخدام واجهة برمجة تطبيقات الفهرسة.

2. برامج جوجل بوت المتعددة

تتشارك أنواع مختلفة من برامج Googlebots، مثل تلك المخصصة لأجهزة الكمبيوتر المكتبية أو المحمولة أو الصور، في ميزانية الزحف. يمكنك عرض أنواع برامج Googlebots التي تزحف إلى موقعك في تقرير إحصائيات الزحف في GSC. يستخدم كل برنامج روبوت جزءًا من ميزانية الزحف الإجمالية لديك.

3. طلب ​​الزحف

يشير طلب الزحف إلى مدى رغبة Google في الزحف إلى موقعك، والذي يتأثر بما يلي:

• شعبية الصفحات: عادةً ما يتم إعطاء الأولوية للصفحات التي تحتوي على المزيد من الروابط وPageRank الأعلى.
• تردد التغييرات: يتم الزحف إلى الصفحات التي يتم تحديثها بشكل متكرر أو يتم تقديمها بشكل متكرر من فهرس Google بشكل أكثر انتظامًا.
• الرتابة: إذا لم تتغير الصفحة بشكل متكرر، فقد يزحف إليها محرك بحث Google بمعدل أقل بمرور الوقت. ومع ذلك، فإن التغييرات الكبيرة التي تطرأ على الموقع أو نقله قد تزيد مؤقتًا من الطلب على الزحف إليه.

4. حد معدل الزحف

هذا هو الحد الأقصى لمقدار الزحف الذي يمكن لموقعك التعامل معه دون التأثير على أداء الخادم. تضبط Google معدل الزحف بناءً على “صحة الزحف” لموقعك:

• استقرار الخادم: إذا كان الخادم يستجيب ببطء أو يعيد عددًا كبيرًا من الأخطاء (رموز حالة HTTP 5xx أو 429)، فسيقوم Google بتقليل معدل الزحف.
• سعة الخادم: إذا كان موقعك قادرًا على التعامل مع عدد أكبر من الطلبات دون مشاكل، فقد يزيد Google معدل الزحف.

طرق زيادة ميزانية الزحف

إذا كنت تريد أن يقوم Google بزحف موقعك بشكل أسرع أو بشكل متكرر، فإليك بعض الاستراتيجيات:

تسريع الخادم الخاص بموقعك

قم بتحسين أداء الخادم من خلال زيادة الموارد أو تحسين أوقات استجابة الخادم. تحقق من وجود أي أخطاء 5xx أو 429 في سجلات الخادم لديك تتيح أوقات استجابة الخادم الأسرع لـ Google الزحف إلى المزيد من الصفحات بكفاءة.

زيادة الروابط (الخارجية والداخلية)

الروابط الخارجية: إن زيادة عدد الروابط الخلفية عالية الجودة يمكن أن يؤدي إلى زيادة الطلب على الزحف إلى موقعك.

الروابط الداخلية: قم بتحسين هياكل الروابط الداخلية لمساعدة Google في اكتشاف الصفحات المهمة وإعطائها الأولوية. استخدم أدوات مثل تقرير فرص الروابط في تدقيق الموقع لتحديد إمكانيات الربط الداخلي.

إصلاح الروابط المعاد توجيهها

تستهلك عمليات إعادة التوجيه ميزانية الزحف، وخاصة سلاسل إعادة التوجيه (عمليات إعادة التوجيه المتعددة بين عنوان URL الأصلي والنهائي). قم بتنظيف الروابط المعاد توجيهها، وخاصة تلك الموجودة في خريطة موقعك.

استخدم GET بدلاً من POST

لا يتم تخزين طلبات POST مؤقتًا، مما يؤدي إلى زيادة استخدام ميزانية الزحف. استخدم طلبات GET حيثما أمكن، لأنها أكثر كفاءة ويمكن تخزينها مؤقتًا.

استخدم واجهة برمجة التطبيقات للفهرسة

بالنسبة للمواقع المؤهلة (مثل تلك التي تحتوي على إعلانات وظائف)، يمكن استخدام واجهة برمجة تطبيقات الفهرسة من Google لطلب الزحف بشكل أسرع. تقدم Bing واجهة برمجة تطبيقات فهرسة متاحة للجميع.

تنفيذ علامات Noindex

على الرغم من أن Google لا تزال بحاجة إلى الزحف إلى الصفحات التي تحتوي على noindex فمن المرجح أن يتم الزحف إلى هذه الصفحات بشكل أقل بمرور الوقت. استخدمها noindex على الصفحات التي لا تريد فهرستها.

طريقة التحقق من نشاط الزحف الخاص بموقعك

تُعد Google Search Console (GSC) أداة فعّالة توفر معلومات تفصيلية حول كيفية قيام Google بفحص موقعك الإلكتروني، وتسليط الضوء على أي مشكلات قد تؤثر على ميزانية الزحف الخاصة به وتحديد التغييرات المهمة في سلوك الزحف بمرور الوقت. يمكن أن تساعدك مراقبة هذه البيانات في معالجة المشكلات المحتملة التي قد تؤثر على كفاءة الزحف في موقعك.

الوصول إلى بيانات الزحف في Google Search Console

لعرض نشاط الزحف الخاص بموقعك سجل الدخول إلى أدوات مشرفي المواقع GSC والانتقال إلى قسم “الإعدادات” -> “إحصاءات تتبع الارتباطات“.

1. انتقل إلى إحصاءات تتبع الارتباطات: في قسم “الزحف”، ستجد عدد طلبات الزحف التي قدمتها Google إلى موقعك خلال الأيام التسعين الماضية. للتعمق في هذه البيانات، انقر فوق “فتح التقرير”.
2. نظرة عامة على إحصائيات الزحف: تقدم صفحة “إحصاءات تتبع الارتباطات” مجموعة متنوعة من الأدوات، حيث تقدم كل منها نقاط بيانات محددة ضرورية لفهم نشاط الزحف في موقعك.
   • المخططات الزمنية: في الأعلى، يوجد مخطط يوضح عدد طلبات الزحف التي قدمتها Google خلال الأيام التسعين الماضية. وينقسم هذا المخطط إلى ثلاثة مقاييس رئيسية:
     • إجمالي طلبات الزحف: يعرض هذا إجمالي عدد الطلبات التي قدمتها Google إلى موقعك خلال الفترة المحددة.
     • إجمالي حجم التنزيل: يمثل هذا إجمالي كمية البيانات التي قامت برامج الزحف التابعة لـ Google بتنزيلها من موقع الويب الخاص بك بمرور الوقت.
     • متوسط ​​وقت الاستجابة: يعكس هذا المقياس متوسط ​​الوقت (بالمللي ثانية) الذي يستغرقه خادمك للاستجابة للطلبات الواردة من أدوات الزحف الخاصة بـ Google.

حالة المضيف

يشير قسم “حالة المضيف” إلى مدى سهولة زحف Google إلى موقعك. على سبيل المثال، إذا واجه موقعك مشكلات في تلبية متطلبات الزحف الخاصة بـ Google، فقد ترى رسالة مثل “واجه المضيف مشكلات في الماضي”. يوفر النقر فوق هذا المربع رؤى أكثر تفصيلاً حول ما قد يكون قد حدث خطأ.

• جلب ملف robots.txt: قد تؤدي المشكلات المتعلقة بجلب ملف robots.txt إلى إعاقة قدرة Google على الزحف إلى موقعك بشكل صحيح.
• مشاكل DNS: يمكن أن تؤدي المشكلات المتعلقة بنظام اسم المجال (DNS) إلى منع Google من الوصول إلى موقعك.
• اتصال الخادم: قد تؤدي مشكلات اتصال الخادم إلى عدم تمكن Googlebot من الزحف إلى صفحاتك، مما قد يؤدي إلى تقليل حد قدرة الزحف لموقعك.

تفاصيل طلبات الزحف

يقوم هذا القسم بتصنيف طلبات الزحف استنادًا إلى عدة عوامل:

• الرد: يعرض هذا رموز حالة HTTP التي تم إرجاعها، مثل “موافق (200)” أو “غير موجود (404)”.
• نوع ملف URL: تصنيف الطلبات حسب نوع المحتوى، مثل HTML أو الصور أو الملفات الأخرى.
• غرض الطلب: يشير إلى ما إذا كان الطلب يهدف إلى اكتشاف صفحة جديدة أو تحديث صفحة موجودة.
• نوع Googlebot: يميز بين عمليات الزحف التي يقوم بها Googlebot للهواتف الذكية أو أجهزة الكمبيوتر المكتبية.

يؤدي النقر فوق أي من هذه الفئات إلى توفير المزيد من التفاصيل، بما في ذلك قائمة بالصفحات المحددة التي أرجعت كل رمز حالة أو نوع ملف.

احسب نسبة ميزانية الزحف الخاصة بموقعك: قسّم العدد الإجمالي للصفحات على موقعك على متوسط ​​عدد الصفحات التي تم الزحف إليها يوميًا. إذا كانت النتيجة أعلى من 10، فمن المحتمل أن يكون موقعك يعاني من مشكلة تتعلق بميزانية الزحف والتي تحتاج إلى معالجة. وعلى العكس من ذلك، إذا كان الرقم أقل من 3، فمن المحتمل أن تكون ميزانية الزحف الخاصة بموقعك كافية.

نصائح لتحسين ميزانية الزحف

بمجرد تحديد مشكلات ميزانية الزحف على موقعك، يمكنك اتخاذ عدة خطوات لتحسين كفاءة الزحف. فيما يلي بعض الاستراتيجيات الرئيسية لتحسين ميزانية الزحف الخاصة بموقعك:

1. تحسين سرعة موقعك

تحسين سرعة تحميل موقعك قد يؤثر بشكل كبير على مدى كفاءة Google في زحف موقعك. تؤدي أوقات التحميل الأسرع إلى تحسين استخدام ميزانية الزحف وأيضًا إلى تحسين تجربة المستخدم وتحسين محركات البحث.

• تقنيات التحسين:
  • تحسين الصور: استخدم أدوات مثل Image Compressor لتقليل أحجام ملفات الصور دون المساس بالجودة.
  • تصغير الكود: فكر في استخدام Minifier.org أو مكون إضافي لـ WordPress مثل WP Rocket لتقليل أو ضغط كود موقعك بما في ذلك HTML وCSS وJavaScript.
  • شبكة توصيل المحتوى (CDN): يمكن أن يساعد تنفيذ شبكة توصيل المحتوى (CDN) في توصيل محتوى موقعك بشكل أسرع للمستخدمين استنادًا إلى موقعهم الجغرافي، مما يقلل من أوقات التحميل.

2. استخدم الروابط الداخلية الاستراتيجية

يمكن أن يساعد نظام الربط الداخلي المنظم جيدًا روبوتات البحث في التنقل في موقعك بشكل أكثر فعالية، مما يؤدي إلى استخدام ميزانية الزحف الخاصة بك بكفاءة أكبر.

• هيكل الموقع الإلكتروني: تصور موقعك الإلكتروني على هيئة هرمية، حيث تكون الصفحة الرئيسية في الأعلى وتتفرع إلى فئات وفئات فرعية. تأكد من ربط كل صفحة بصفحات أخرى ذات صلة داخل الموقع.
• تجنب الصفحات اليتيمة: تأكد من ربط جميع الصفحات المهمة من مكان ما على موقعك لتجنب الصفحات اليتيمة (الصفحات التي لا تحتوي على روابط داخلية). قد يكون من الصعب على محركات البحث العثور على الصفحات اليتيمة والزحف إليها.

3. حافظ على تحديث خريطة موقعك

تساعد خريطة الموقع XML المحدثة في توجيه Google إلى صفحاتك الأكثر أهمية، مما يزيد من احتمالية الزحف إلى هذه الصفحات.

• أفضل ممارسات خريطة الموقع: قم بتضمين عناوين URL التي تريد ظهورها في نتائج البحث فقط، وتجنب الصفحات التي قد تهدر ميزانية الزحف الخاصة بك. على الرغم من أن العلامة <lastmod>ليست إلزامية، إلا أنها قد تكون مفيدة للإشارة إلى آخر تحديث لعنوان URL.
• التحديثات المنتظمة: كلما أضفت صفحات جديدة أو أجريت تحديثات مهمة، تأكد من تحديث خريطة موقعك وفقًا لذلك. سيؤدي هذا إلى مطالبة Google بفحص هذه الصفحات، رغم أنه لا يضمن الزحف الفوري.

4. قم بحظر عناوين URL التي لا تريد لمحركات البحث فهرستها

يتيح لك استخدام robots.txt التحكم في الصفحات التي يجب على Googlebot الزحف إليها والصفحات التي لا يجب عليه الزحف إليها، مما يساعد على منع إهدار ميزانية الزحف الخاصة بموقعك.

• عدم السماح بالصفحات غير المهمة: حدد في ملف robots.txt أي صفحات غير مهمة أو خاصة، مع التأكد من أن Google لا تهدر الموارد عليها.

مثال robots.txt:

User-agent: *

Disallow: /private-page/

Disallow: /temp-page/

• يوجه هذا الإعداد محركات البحث إلى عدم الزحف إلى الصفحات المحددة.
• علامة Noindex: على الرغم من أنه يمكنك استخدام علامة noindex لمنع ظهور الصفحات في نتائج البحث، إلا أن Google ستستمر في زحف هذه الصفحات، مما قد يؤدي إلى إهدار ميزانية الزحف الخاصة بك. استخدمها noindex للأغراض المخصصة لها ولكن ليس لإدارة ميزانية الزحف.

5. قم بإزالة عمليات إعادة التوجيه غير الضرورية

تؤدي عمليات إعادة التوجيه إلى إبطاء أوقات تحميل الصفحة واستهلاك ميزانية الزحف الخاصة بموقعك خاصةً إذا كانت لديك سلاسل إعادة توجيه (عمليات إعادة توجيه متعددة بين عنوان URL الأصلي وعنوان URL النهائي).

• إصلاح سلاسل إعادة التوجيه: إذا وجدت سلسلة إعادة توجيه (على سبيل المثال، عنوان URL A يعيد التوجيه إلى B، والذي يعيد التوجيه بعد ذلك إلى C)، فحاول التخلص من الخطوات الوسيطة، بحيث يعيد A التوجيه مباشرة إلى C.

6. إصلاح الروابط المعطلة

تؤدي الروابط المعطلة إلى صفحات غير موجودة (عادةً ما تؤدي إلى خطأ 404)، مما قد يؤدي إلى إهدار ميزانية الزحف وإحباط المستخدمين انتقل إلى الصفحات التي تحتوي على روابط معطلة وقم بإصلاح الرابط عن طريق توجيهه إلى الصفحة الصحيحة أو قم بإزالته إذا لم يعد ذا صلة.

7. إزالة المحتوى المكرر

قد يؤدي المحتوى المكرر إلى إهدار ميزانية الزحف حيث قد يقوم Googlebot بالزحف إلى إصدارات متعددة من نفس الصفحة.

تنشأ هذه المشكلة غالبًا من الصفحات المتطابقة أو الاختلافات في معلمات عنوان URL، وهو أمر شائع في مواقع التجارة الإلكترونية.

• إصلاح المحتوى المكرر:
  • العلامات الأساسية: استخدم علامة rel=canonical لإخبار Google عن إصدار الصفحة الذي يجب أن يظهر في نتائج البحث.
  • عمليات إعادة التوجيه 301: إذا كان لديك عدة صفحات متشابهة، فقم بدمجها في صفحة أساسية واحدة واستخدم عمليات إعادة التوجيه 301 لتوجيه الصفحات المكررة إلى هذه الصفحة الرئيسية.

الأسئلة الشائعة حول ميزانية الزحف

1. ما هي ميزانية الزحف؟

تشير ميزانية الزحف إلى عدد عناوين URL التي سيقوم محرك بحث، مثل Google، بزحفها على موقعك خلال فترة زمنية محددة. يتم تحديدها من خلال مجموعة من العوامل، بما في ذلك حجم موقعك وصحته العامة والأهمية الملموسة لمحتواك.

2. لماذا تقوم محركات البحث بتعيين ميزانيات الزحف؟

تقوم محركات البحث بتعيين ميزانيات الزحف لإدارة مواردها بكفاءة، والتأكد من عدم تحميل مواقع الويب بشكل زائد، وإعطاء الأولوية للمحتوى الأكثر أهمية، والحفاظ على استراتيجية زحف متوازنة عبر الويب. يساعد هذا في ضمان فهرسة المحتوى الأكثر صلة وتحديثًا وإتاحته للمستخدمين في نتائج البحث.

3. ما هي العوامل التي تؤثر على ميزانية الزحف الخاصة بموقعي؟

يمكن أن تؤثر العديد من العوامل على ميزانية الزحف الخاصة بموقعك:

• حجم الموقع: قد يكون للمواقع الأكبر حجمًا والتي تحتوي على عدد أكبر من الصفحات ميزانية زحف أعلى، ولكن هذه الميزانية موزعة أيضًا على عدد أكبر من عناوين URL.
• صحة الموقع: قد تتلقى المواقع التي تحتوي على أخطاء أقل (مثل أخطاء خادم 5xx) وأوقات تحميل أسرع معدل زحف أعلى.
• الشعبية: عادةً ما يتم إعطاء الأولوية للصفحات التي تحتوي على المزيد من الروابط الخلفية وحركة المرور الأعلى للزحف.
• وتيرة التحديثات: قد يتم الزحف إلى الصفحات التي يتم تحديثها بشكل متكرر بشكل أكثر تكرارًا.

4. كيف يمكنني التحقق من ميزانية الزحف الخاصة بموقعي

يمكنك التحقق من ميزانية الزحف ونشاط موقعك باستخدام Google Search Console (GSC). في GSC، انتقل إلى تقرير “إحصائيات الزحف” ضمن قسم “الإعدادات” لمعرفة عدد الصفحات التي قام Google بزحفها خلال الأيام التسعين الماضية، وإجمالي حجم التنزيل، ومتوسط ​​أوقات الاستجابة.

5. ما الذي يتم احتسابه ضمن ميزانية الزحف الخاصة بموقعي؟

يتم احتساب كل عنوان URL على موقعك الذي يفحصه برنامج Googlebot ضمن ميزانية الزحف الخاصة بك. ويتضمن ذلك:

• عناوين URL البديلة: صفحات AMP، وصفحات m-dot، ومتغيرات hreflang.
• الموارد: CSS، وJavaScript، والمحتوى المضمن مثل الصور أو مقاطع الفيديو.
• الطلبات: طلبات XHR وخرائط المواقع وعناوين URL المرسلة عبر Google Search Console أو واجهة برمجة تطبيقات الفهرسة.

6. هل يمكنني زيادة ميزانية الزحف الخاصة بموقعي؟

على الرغم من أنه لا يمكنك زيادة ميزانية الزحف الخاصة بموقعك بشكل مباشر، إلا أنه يمكنك التأثير عليها من خلال:

• تحسين سرعة الموقع: يمكن أن تؤدي أوقات التحميل الأسرع إلى زحف أكثر كفاءة.
• إصلاح الأخطاء: يمكن أن يساعد تقليل أخطاء 5xx وضمان استقرار الخادم في زيادة معدل الزحف لديك.
• زيادة الروابط الخلفية: يمكن أن تؤدي الروابط الخلفية عالية الجودة إلى إرسال إشارة إلى Google بأن موقعك مهم، مما يؤدي إلى زيادة الطلب على الزحف.

7. ماذا يحدث إذا كانت ميزانية الزحف الخاصة بي منخفضة للغاية؟

إذا كانت ميزانية الزحف الخاصة بك منخفضة للغاية، فقد لا يقوم Google بالزحف وفهرسة جميع صفحاتك بشكل متكرر، وخاصة على المواقع الكبيرة. وقد يؤدي هذا إلى ظهور محتوى قديم في نتائج البحث أو عدم فهرسة المحتوى الجديد على الفور، مما يؤثر سلبًا على تحسين محركات البحث الخاص بموقعك.

8. كيف يمكنني تحسين موقعي للاستفادة بشكل أفضل من ميزانية الزحف الخاصة به؟

لتحسين ميزانية الزحف الخاصة بك:

• استخدم الروابط الداخلية بشكل استراتيجي: تأكد من سهولة العثور على الصفحات المهمة.
• حافظ على تحديث خريطة موقعك: تأكد من أنها تتضمن فقط الصفحات التي تريد أن يعطيها Google الأولوية.
• حظر الصفحات ذات الأولوية المنخفضة: استخدم robots.txtهذا لمنع Google من الزحف إلى الصفحات غير الضرورية.
• إصلاح الروابط المعطلة وإعادة التوجيه: يمكن أن تؤدي هذه الروابط إلى إهدار ميزانية الزحف الخاصة بك، لذا قم بمراجعة هذه المشكلات وحلها بشكل منتظم.

9. هل تعامل Google روابط nofollow بشكل مختلف فيما يتعلق بميزانية الزحف؟

تتعامل Google مع الروابط التي تحمل علامة nofollow باعتبارها تلميحات وليست توجيهات، مما يعني أنها قد تتبعها أو لا تتبعها. وفي حين لم تستخدم الروابط التي تحمل علامة nofollow ميزانية الزحف في الماضي، لم يعد هذا مضمونًا. ومع ذلك، فإن استخدام علامة nofollow على الروابط الأقل أهمية قد يؤثر على كيفية تخصيص Google لميزانية الزحف الخاصة بك.

10. ما هي الأخطاء الشائعة التي لا تساعد في ميزانية الزحف؟

تتضمن بعض المفاهيم الخاطئة الشائعة ما يلي:

• إجراء تغييرات غير مهمة: لن تؤثر التعديلات الصغيرة (مثل تحديث التواريخ) بشكل كبير على معدلات الزحف.
• استخدام تعليمة crawl-delay: لا يحترم Googlebot هذه التعليمة في robots.txt.
• إزالة البرامج النصية التابعة لجهات خارجية: لا يتم احتسابها ضمن ميزانية الزحف الخاصة بك، لذا فإن إزالتها لن تساعدك.

11. ما الأدوات التي يمكنني استخدامها لإدارة ميزانية الزحف وتحليلها؟

• Google Search Console: لمراقبة إحصائيات الزحف وتشخيص المشكلات.
• مدقق الموقع من Semrush: لتحديد مشكلات الزحف وتحسين إمكانية الزحف إلى موقعك.
• Ahrefs Site Explorer: لتحليل الصفحات التي قد تكون لها الأولوية للزحف استنادًا إلى الروابط الخلفية.

خاتمة

فهم ميزانية الزحف وتحسينها أمر شديد الأهمية لضمان فحص وفهرسة أهم محتوى على موقعك الإلكتروني بكفاءة بواسطة محركات البحث. من خلال اتخاذ خطوات استباقية مثل تحسين سرعة الموقع وإصلاح المشكلات الفنية وإدارة الروابط الداخلية وخريطة الموقع بشكل استراتيجي، يمكنك تحقيق أقصى استفادة من ميزانية الزحف الخاصة بموقعك. وهذا يساعدك في تحسين محركات البحث لموقعك ويضمن أيضًا تقديم المحتوى الأكثر صلة وحداثة للمستخدمين دائمًا.