أعوذ بالله من الشيطان الرجيم بسم الله الرحمن الرحيم
أعزائي الكرام زوار وأعضاء منتدى أمواج البحر الكرام، اليوم أقدم لكم موضوع مهم حول زواحف قوقل أو روبوتات البحث . هذا الموضوع عبارة عن شرح شامل حول الروبوتات . تعريفاتها . تخصصاتها . كيفية عمل وتصميمها ول ما له علاقة بها وهذا الشرح مقدم من شركة قوقل نفسها أرجو أن يكون مفهوم ومفيد ولنبدأ على بركة الله...Googlebot
bookmark_borderGooglebot هو الاسم العام لنوعَين من
لو سمحت،
تسجيل الدخول
أو
تسجيل
لعرض محتوى عناوين URL!
من Google:-
لو سمحت، تسجيل الدخول أو تسجيل لعرض محتوى عناوين URL!: يحاكي هذا الزاحف مستخدمًا على جهاز كمبيوتر مكتبي.
-
لو سمحت، تسجيل الدخول أو تسجيل لعرض محتوى عناوين URL!: يحاكي هذا الزاحف مستخدمًا على جهاز جوّال.
لو سمحت،
تسجيل الدخول
أو
تسجيل
لعرض محتوى عناوين URL!
في الطلب. ويلتزم كِلا نوعَي الزاحف بالرمز المميّز نفسه للمنتج (الرمز المميّز لوكيل المستخدم) في ملف robots.txt، وبالتالي لا يمكنك أن تستهدف بشكل انتقائي Googlebot للهواتف الذكية أو Googlebot لأجهزة الكمبيوتر المكتبي باستخدام ملف robots.txt.بالنسبة إلى معظم المواقع الإلكترونية،
لو سمحت،
تسجيل الدخول
أو
تسجيل
لعرض محتوى عناوين URL!
بالدرجة الأولى. وبالتالي، يتم تنفيذ غالبية طلبات زحف Googlebot باستخدام الزاحف المخصص للأجهزة الجوّالة، ومجموعة قليلة من طلبات الزحف باستخدام الزاحف المخصص لأجهزة الكمبيوتر المكتبي.كيفية وصول Googlebot إلى موقعك الإلكتروني
بالنسبة إلى معظم المواقع الإلكترونية، من المفترض ألا يزحف برنامج Googlebot إلى الموقع الإلكتروني أكثر من مرة واحدة كل بضع ثوانٍ في المتوسط، إلا أنّه من المحتمل أن يظهر المعدّل مرتفعًا بعض الشيء على مدى فترات زمنية قصيرة نتيجةً لحدوث تأخيرات.تم تصميم Googlebot لتشغيله على الآلاف من الأجهزة في الوقت نفسه بهدف تحسين أدائه وإمكاناته مع تطوّر شبكة الويب. ولخفض استهلاك معدل نقل البيانات أيضًا، نشغّل العديد من برامج الزحف على أجهزة تقع بالقرب من المواقع الإلكترونية التي قد تزحف إليها هذه البرامج. بالتالي، قد تعرض سجلاتك الزيارات من عناوين IP متعدّدة، وجميعها باستخدام وكيل مستخدم Googlebot. وهدفنا هو الزحف إلى أكبر عدد ممكن من صفحات موقعك الإلكتروني عند كل زيارة بدون تحميل الخادم عبئًا زائدًا. وإذا كان موقعك الإلكتروني يواجه صعوبة في الاستجابة لطلبات الزحف من Google، يمكنك
لو سمحت،
تسجيل الدخول
أو
تسجيل
لعرض محتوى عناوين URL!
.يزحف Googlebot من عناوين IP تقع في الولايات المتحدة بشكل أساسي. وفي حال اكتشف Googlebot أنّ موقعًا إلكترونيًا يحظر الطلبات من الولايات المتحدة، قد يحاول الزحف من عناوين IP تقع في بلدان أخرى. إنّ القائمة بمجموعات عناوين IP التي يستخدمها حاليًا Googlebot متوفرة
لو سمحت،
تسجيل الدخول
أو
تسجيل
لعرض محتوى عناوين URL!
.بشكل عام، يزحف Googlebot عبر HTTP/1.1، ولكن قد يزحف عبر
لو سمحت،
تسجيل الدخول
أو
تسجيل
لعرض محتوى عناوين URL!
إذا كان الموقع يتيح استخدام هذا البروتوكول. ولا يتأثر ترتيب موقعك الإلكتروني ضمن نتائج البحث بنسخة البروتوكول المستخدَمة للزحف إليه، إلا أنّ الزحف عبر HTTP/2 قد يساهم في توفير موارد الحوسبة (على سبيل المثال، وحدة المعالجة المركزية CPU وذاكرة الوصول العشوائي RAM) الخاصة بكل من الموقع الإلكتروني وGooglebot.لإيقاف الزحف عبر HTTP/2، يمكنك أن تطلب من الخادم الذي يستضيف موقعك الإلكتروني الاستجابة برمز حالة HTTP 421 عندما يحاول Googlebot الزحف إلى موقعك الإلكتروني عبر HTTP/2. وإذا لم يكن ذلك قابلاً للتنفيذ، يمكنك
لو سمحت،
تسجيل الدخول
أو
تسجيل
لعرض محتوى عناوين URL!
(إلا أنّ هذا الحل مؤقت).يمكن لبرنامج Googlebot الزحف إلى أول 15 ميغابايت من ملف HTML أو
لو سمحت،
تسجيل الدخول
أو
تسجيل
لعرض محتوى عناوين URL!
. يتم جلب كل مورد تتم الإشارة إليه في ملف HTML، مثل CSS وJavaScript، بشكل منفصل ويتم تطبيق الحد المسموح به نفسه لحجم الملف على كل عملية جلب. بعد الزحف إلى أول 15 ميغابايت من الملف، يتوقف Googlebot عن الزحف ويأخذ فقط هذا الجزء من المحتوى في الاعتبار أثناء الفهرسة. يتم تطبيق الحد المسموح به لحجم الملف على البيانات غير المضغوطة. وقد يتم تطبيق حدود مختلفة لبرامج الزحف الأخرى من Google، مثل Googlebot للفيديوهات وGooglebot للصور.عند الزحف إلى عناوين IP في الولايات المتحدة، تكون المنطقة الزمنية لبرنامج Googlebot هي
لو سمحت،
تسجيل الدخول
أو
تسجيل
لعرض محتوى عناوين URL!
.منع برنامج Googlebot من زيارة موقعك الإلكتروني
يستحيل تقريبًا الحفاظ على سرية خادم الويب من خلال عدم نشر روابط تؤدي إليه. على سبيل المثال، عندما يتتبّع مستخدم رابطًا من خادمك "السري" إلى خادم ويب آخر، قد يظهر عنوان URL "السري" في علامة المُحيل وقد يحفظه خادم الويب الآخر وينشره في سجل المُحيل الخاص به. وبالمثل، يتضمّن الويب العديد من الروابط القديمة والمعطلة. وعندما ينشر مستخدم رابطًا غير صحيح يؤدي إلى موقعك الإلكتروني أو يتعذّر عليه تعديل الروابط لإظهار التغييرات في الخادم، سيحاول Googlebot الزحف إلى رابط غير صحيح من موقعك الإلكتروني.تتوفّر
لو سمحت،
تسجيل الدخول
أو
تسجيل
لعرض محتوى عناوين URL!
لمنع Googlebot من الزحف إلى محتوى على موقعك الإلكتروني. ويجب إدراك الفرق بين منع Googlebot من الزحف إلى صفحة، ومنع Googlebot من فهرسة صفحة، ومنع وصول كلّ من برامج الزحف والمستخدمين إلى صفحة.التحقق من أنّ مصدر الطلبات هو برنامج Googlebot
قبل أن تقرّر حظر Googlebot، يُرجى العلم بأنّه غالبًا ما تنتحل برامج زحف أخرى هوية سلسلة وكيل المستخدم التي يستخدمها Googlebot. ومن المهم التحقق من أنّ الطلب الذي حدثت فيه المشكلة صادر من Google. وأفضل طريقة للتحقق من أنّ الطلب صادر من Googlebot هيلو سمحت،
تسجيل الدخول
أو
تسجيل
لعرض محتوى عناوين URL!
على عنوان IP المصدر للطلب أو مطابقة عنوان IP المصدر مع
لو سمحت،
تسجيل الدخول
أو
تسجيل
لعرض محتوى عناوين URL!
.جوجل أو غوغل أو قوقل هي شركة أمريكية عامة متخصصة في مجال الإعلان المرتبط بخدمات البحث على الإنترنت وإرسال رسائل بريد إلكتروني عن طريق جي ميل. واختير اسم جوجل الذي يعكس المُهمة التي تقوم بها الشركة، وهي تنظيم ذلك الكم الهائل من المعلومات المُتاحة على الويب.
جوجل أو غوغل أو قوقل هي شركة أمريكية عامة متخصصة في مجال الإعلان المرتبط بخدمات البحث على الإنترنت وإرسال رسائل بريد إلكتروني عن طريق جي ميل. واختير اسم جوجل الذي يعكس المُهمة التي تقوم بها الشركة، وهي تنظيم ذلك الكم الهائل من المعلومات المُتاحة على الويب.
الوِلَايَات المُتَّحِدَة الأَمرِيكِيَّة واختصارًا أمريكا (بالإنجليزية: United States of America)، هِي جُمهُورِيّة دُستُورِيّة اِتِّحادِيّة تضمُّ خمسِين وِلاية ومِنطقة العاصِمة الاتّحادية.
العاصمة: واشنطن العاصمة
المساحة: 9,834,000 كم²
عدد السكان: 333.3 مليون (2022)
رمز الاتصال: +1
اسم الموضوع : زواحف قوقل Googlebot
|
المصدر : قسم عالم جوجل Google