أعوذ بالله من الشيطان الرجيم بسم الله الرحمن الرحيم أعزائي الكرام زوار وأعضاء منتدى أمواج البحر الكرام، اليوم أقدم لكم موضوع مهم حول زواحف قوقل أو روبوتات...


أيمن الجزائري

⚡مراقب⚡
⚓الرقـابة⚓
إنضم
31 أكتوبر 2023
المشاركات
361
مستوى التفاعل
1,648
النقاط
3,968
العمر
34
الإقامة
الجزائر

أعوذ بالله من الشيطان الرجيم بسم الله الرحمن الرحيم​

أعزائي الكرام زوار وأعضاء منتدى أمواج البحر الكرام، اليوم أقدم لكم موضوع مهم حول زواحف قوقل أو روبوتات البحث . هذا الموضوع عبارة عن شرح شامل حول الروبوتات . تعريفاتها . تخصصاتها . كيفية عمل وتصميمها ول ما له علاقة بها وهذا الشرح مقدم من شركة قوقل نفسها أرجو أن يكون مفهوم ومفيد ولنبدأ على بركة الله...
googlebot-rpbpt-de-google-pour-crawler2.jpg

Googlebot​

bookmark_border
‫Googlebot هو الاسم العام لنوعَين من
لو سمحت، تسجيل الدخول أو تسجيل لعرض محتوى عناوين URL!
من Google:
  • لو سمحت، تسجيل الدخول أو تسجيل لعرض محتوى عناوين URL!
    : يحاكي هذا الزاحف مستخدمًا على جهاز كمبيوتر مكتبي.
  • لو سمحت، تسجيل الدخول أو تسجيل لعرض محتوى عناوين URL!
    : يحاكي هذا الزاحف مستخدمًا على جهاز جوّال.
يمكنك تحديد النوع الفرعي لبرنامج Googlebot من خلال الاطّلاع على
لو سمحت، تسجيل الدخول أو تسجيل لعرض محتوى عناوين URL!
في الطلب. ويلتزم كِلا نوعَي الزاحف بالرمز المميّز نفسه للمنتج (الرمز المميّز لوكيل المستخدم) في ملف robots.txt، وبالتالي لا يمكنك أن تستهدف بشكل انتقائي Googlebot للهواتف الذكية أو Googlebot لأجهزة الكمبيوتر المكتبي باستخدام ملف robots.txt.
بالنسبة إلى معظم المواقع الإلكترونية،
لو سمحت، تسجيل الدخول أو تسجيل لعرض محتوى عناوين URL!
بالدرجة الأولى. وبالتالي، يتم تنفيذ غالبية طلبات زحف Googlebot باستخدام الزاحف المخصص للأجهزة الجوّالة، ومجموعة قليلة من طلبات الزحف باستخدام الزاحف المخصص لأجهزة الكمبيوتر المكتبي.

googlebot-rpbpt-de-google-pour-crawler.jpg

كيفية وصول Googlebot إلى موقعك الإلكتروني​

بالنسبة إلى معظم المواقع الإلكترونية، من المفترض ألا يزحف برنامج Googlebot إلى الموقع الإلكتروني أكثر من مرة واحدة كل بضع ثوانٍ في المتوسط، إلا أنّه من المحتمل أن يظهر المعدّل مرتفعًا بعض الشيء على مدى فترات زمنية قصيرة نتيجةً لحدوث تأخيرات.
تم تصميم Googlebot لتشغيله على الآلاف من الأجهزة في الوقت نفسه بهدف تحسين أدائه وإمكاناته مع تطوّر شبكة الويب. ولخفض استهلاك معدل نقل البيانات أيضًا، نشغّل العديد من برامج الزحف على أجهزة تقع بالقرب من المواقع الإلكترونية التي قد تزحف إليها هذه البرامج. بالتالي، قد تعرض سجلاتك الزيارات من عناوين IP متعدّدة، وجميعها باستخدام وكيل مستخدم Googlebot. وهدفنا هو الزحف إلى أكبر عدد ممكن من صفحات موقعك الإلكتروني عند كل زيارة بدون تحميل الخادم عبئًا زائدًا. وإذا كان موقعك الإلكتروني يواجه صعوبة في الاستجابة لطلبات الزحف من Google، يمكنك
لو سمحت، تسجيل الدخول أو تسجيل لعرض محتوى عناوين URL!
.
يزحف Googlebot من عناوين IP تقع في الولايات المتحدة بشكل أساسي. وفي حال اكتشف Googlebot أنّ موقعًا إلكترونيًا يحظر الطلبات من الولايات المتحدة، قد يحاول الزحف من عناوين IP تقع في بلدان أخرى. إنّ القائمة بمجموعات عناوين IP التي يستخدمها حاليًا Googlebot متوفرة
لو سمحت، تسجيل الدخول أو تسجيل لعرض محتوى عناوين URL!
.
بشكل عام، يزحف Googlebot عبر HTTP/1.1، ولكن قد يزحف عبر
لو سمحت، تسجيل الدخول أو تسجيل لعرض محتوى عناوين URL!
إذا كان الموقع يتيح استخدام هذا البروتوكول. ولا يتأثر ترتيب موقعك الإلكتروني ضمن نتائج البحث بنسخة البروتوكول المستخدَمة للزحف إليه، إلا أنّ الزحف عبر HTTP/2 قد يساهم في توفير موارد الحوسبة (على سبيل المثال، وحدة المعالجة المركزية CPU وذاكرة الوصول العشوائي RAM) الخاصة بكل من الموقع الإلكتروني وGooglebot.
لإيقاف الزحف عبر HTTP/2، يمكنك أن تطلب من الخادم الذي يستضيف موقعك الإلكتروني الاستجابة برمز حالة HTTP ‏421 عندما يحاول Googlebot الزحف إلى موقعك الإلكتروني عبر HTTP/2. وإذا لم يكن ذلك قابلاً للتنفيذ، يمكنك
لو سمحت، تسجيل الدخول أو تسجيل لعرض محتوى عناوين URL!
(إلا أنّ هذا الحل مؤقت).
يمكن لبرنامج Googlebot الزحف إلى أول 15 ميغابايت من ملف HTML أو
لو سمحت، تسجيل الدخول أو تسجيل لعرض محتوى عناوين URL!
. يتم جلب كل مورد تتم الإشارة إليه في ملف HTML، مثل CSS وJavaScript، بشكل منفصل ويتم تطبيق الحد المسموح به نفسه لحجم الملف على كل عملية جلب. بعد الزحف إلى أول 15 ميغابايت من الملف، يتوقف Googlebot عن الزحف ويأخذ فقط هذا الجزء من المحتوى في الاعتبار أثناء الفهرسة. يتم تطبيق الحد المسموح به لحجم الملف على البيانات غير المضغوطة. وقد يتم تطبيق حدود مختلفة لبرامج الزحف الأخرى من Google، مثل Googlebot للفيديوهات وGooglebot للصور.
عند الزحف إلى عناوين IP في الولايات المتحدة، تكون المنطقة الزمنية لبرنامج Googlebot هي
لو سمحت، تسجيل الدخول أو تسجيل لعرض محتوى عناوين URL!
.

منع برنامج Googlebot من زيارة موقعك الإلكتروني​

يستحيل تقريبًا الحفاظ على سرية خادم الويب من خلال عدم نشر روابط تؤدي إليه. على سبيل المثال، عندما يتتبّع مستخدم رابطًا من خادمك "السري" إلى خادم ويب آخر، قد يظهر عنوان URL "السري" في علامة المُحيل وقد يحفظه خادم الويب الآخر وينشره في سجل المُحيل الخاص به. وبالمثل، يتضمّن الويب العديد من الروابط القديمة والمعطلة. وعندما ينشر مستخدم رابطًا غير صحيح يؤدي إلى موقعك الإلكتروني أو يتعذّر عليه تعديل الروابط لإظهار التغييرات في الخادم، سيحاول Googlebot الزحف إلى رابط غير صحيح من موقعك الإلكتروني.
تتوفّر
لو سمحت، تسجيل الدخول أو تسجيل لعرض محتوى عناوين URL!
لمنع Googlebot من الزحف إلى محتوى على موقعك الإلكتروني. ويجب إدراك الفرق بين منع Googlebot من الزحف إلى صفحة، ومنع Googlebot من فهرسة صفحة، ومنع وصول كلّ من برامج الزحف والمستخدمين إلى صفحة.

التحقق من أنّ مصدر الطلبات هو برنامج Googlebot​

قبل أن تقرّر حظر Googlebot، يُرجى العلم بأنّه غالبًا ما تنتحل برامج زحف أخرى هوية سلسلة وكيل المستخدم التي يستخدمها Googlebot. ومن المهم التحقق من أنّ الطلب الذي حدثت فيه المشكلة صادر من Google. وأفضل طريقة للتحقق من أنّ الطلب صادر من Googlebot هي
لو سمحت، تسجيل الدخول أو تسجيل لعرض محتوى عناوين URL!
على عنوان IP المصدر للطلب أو مطابقة عنوان IP المصدر مع
لو سمحت، تسجيل الدخول أو تسجيل لعرض محتوى عناوين URL!
.
 
اسم الموضوع : زواحف قوقل Googlebot | المصدر : قسم عالم جوجل Google

عبدو شنوي

⚓المدير العام⚓
طاقم الإدارة
🌟🌟🌟🌟🌟
إنضم
29 أكتوبر 2023
المشاركات
1,039
مستوى التفاعل
1,169
النقاط
2,210
العمر
33
الإقامة
الجزائر
الموقع الالكتروني
🌾 🌷 🌹 :love: @أيمن الجزائري جزاك الله خيرااااا:love:🌾🌷🌹
 

amine dz

:: 🆕 عضو جديد 🆕 ::
★ نجم المنتدى ★
إنضم
12 نوفمبر 2023
المشاركات
84
مستوى التفاعل
817
النقاط
2,541
العمر
28
الإقامة
blida
جزاك الله خيرااااا
 

أكرم أكرم

:: 🌠 عضو مجتهد 🌠 ::
★ نجم المنتدى ★
إنضم
7 نوفمبر 2023
المشاركات
142
مستوى التفاعل
1,385
النقاط
3,795
العمر
31
الإقامة
الجزائر
🌾 🌷 🌹 :love: @أيمن الجزائري جزاك الله خيرااااا:love:🌾🌷🌹
 

أيوب لعرج

:: 🆕 عضو جديد 🆕 ::
★ نجم المنتدى ★
إنضم
12 نوفمبر 2023
المشاركات
55
مستوى التفاعل
546
النقاط
1,706
العمر
28
الإقامة
عين الدفلى
🤞❤بارك الله فيك❤🤞
 

تدكر قول الله تعالى: { مَا يَلْفِظُ مِن قَوْلٍ إلا لَدَيْهِ رَقِيبٌ عَتِيدٌ }

المستخدمين الذين يشاهدون هذا الموضوع

أعلى