מהו גוגל בוט? ומה הקשר לסריקת האינטרנט?
Googlebot הוא סורק האינטרנט המשמש את Google לגילוי והוספת דפי אינטרנט חדשים ומעודכנים עבור אינדקס החיפוש של Google. Googlebot משתמש בתוכנה אוטומטית כדי לעקוב אחר קישורים באינטרנט ולבקר בדפי אינטרנט, כדי לגלות ולהוסיף דפים חדשים לאינדקס החיפוש של Google. Googlebot סורק את האינטרנט על ידי מעקב אחר קישורים בדפים והוספת התוכן של דפים אלה למסד…