אחד הדברים שבהם נבחנים מנועי חיפוש הוא היכולת להיות מעודכנים בתכנים של האתרים שמוצגים בהם. לצד שלל הבדיקות שהם עורכים לאתרים, לכל מנועי החיפוש דוגמת גוגל ישנם "זחלנים" (Crawlers), סוג של "בוטים", מעין רובוטים קטנים של תוכנה בלבד, המכונים בשם החיבה "Bots".

הבוטים הללו הם סוכני תוכנה מתוכנתים ואוטומטיים. הם מחקים משתמש אנושי שנכנס לאתרי אינטרנט. תפקידם לסרוק, לפרק ולקטלג דפי רשת ואתרים ברשת, לצרף אתרים חדשים ולעדכן בחידושים שבאתרים הקיימים - אילו תכנים חדשים עלו, אילו נמחקו מהאתר, מהם הדפים החדשים, מהו קצב העידכון של המידע באתר וכדומה.

הבוטים מאפשרים למנוע החיפוש למצוא מידע חדש וחשוב לחיפושים. האלגוריתם מצליח, באמצעות המידע שהם מספקים לו מרחבי הרשת, לדרג את עמודי האינטרנט ולקבוע את מקומם בתוצאות החיפוש של המנוע.

ככל שאתר אינטרנט מתעדכן בקצב גבוה יותר, הבוטים פוקדים אותו יותר ויותר ומתעדכנים בתכנים החדשים שלו. אם באתר קטן הבוט יכול לבקר פעם ביום או ביומיים, באתרים גדולים הם סורקים את הדפים כמה פעמים ביממה.


הנה הבוטים של גוגל שסורקים את הרשת:

http://youtu.be/3nCl9Q9gpg8


ומהנדס מסביר איך הבוטים עובדים ומעדכנים את בסיס הנתונים של גוגל:

http://youtu.be/usyYXNNBRjc