מהם הבוטים של גוגל ומנועי חיפוש דומים?
אחד הדברים שבהם נבחנים מנועי חיפוש הוא היכולת להיות מעודכנים בתכנים של האתרים שמוצגים בהם. לצד שלל הבדיקות שהם עורכים לאתרים, לכל מנועי החיפוש דוגמת גוגל ישנם "בוטים", מעין רובוטים קטנים, של תוכנה בלבד, שמכונים בשם החיבה "Bots".
הבוטים הם סוכני תוכנה שמחקים משתמש אנושי שנכנס לאתרי אינטרנט. תפקידם לסרוק, לפרק ולקטלג דפי רשת ואתרים ברשת, לצרף אתרים חדשים, לעדכן בחידושים שבאתרים הקיימים (אילו תכנים חדשים עלו, אילו נמחקו מהאתר, מהם הדפים החדשים, מהו קצב העידכון של המידע באתר וכדומה) ועוד. הבוטים מאפשרים למנוע החיפוש למצוא מידע חדש וחשוב לחיפושים. האלגוריתם מצליח, באמצעות המידע שהם מספקים לו מרחבי הרשת, לדרג את עמודי האינטרנט ולקבוע את מקומם בתוצאות החיפוש של המנוע.
ככל שאתר אינטרנט מתעדכן בקצב גבוה יותר, הבוטים פוקדים אותו יותר ויותר ומתעדכנים בתכנים החדשים שלו. אם באתר קטן הבוט יכול לבקר פעם ביום או יומיים, באתרים גדולים הם סורקים את הדפים כמה פעמים ביממה.
הנה הבוטים של גוגל שסורקים את הרשת:
מהנדס מסביר איך הבוטים עובדים ומעדכנים את בסיס הנתונים של גוגל:
אחד הדברים שבהם נבחנים מנועי חיפוש הוא היכולת להיות מעודכנים בתכנים של האתרים שמוצגים בהם. לצד שלל הבדיקות שהם עורכים לאתרים, לכל מנועי החיפוש דוגמת גוגל ישנם "בוטים", מעין רובוטים קטנים, של תוכנה בלבד, שמכונים בשם החיבה "Bots".
הבוטים הם סוכני תוכנה שמחקים משתמש אנושי שנכנס לאתרי אינטרנט. תפקידם לסרוק, לפרק ולקטלג דפי רשת ואתרים ברשת, לצרף אתרים חדשים, לעדכן בחידושים שבאתרים הקיימים (אילו תכנים חדשים עלו, אילו נמחקו מהאתר, מהם הדפים החדשים, מהו קצב העידכון של המידע באתר וכדומה) ועוד. הבוטים מאפשרים למנוע החיפוש למצוא מידע חדש וחשוב לחיפושים. האלגוריתם מצליח, באמצעות המידע שהם מספקים לו מרחבי הרשת, לדרג את עמודי האינטרנט ולקבוע את מקומם בתוצאות החיפוש של המנוע.
ככל שאתר אינטרנט מתעדכן בקצב גבוה יותר, הבוטים פוקדים אותו יותר ויותר ומתעדכנים בתכנים החדשים שלו. אם באתר קטן הבוט יכול לבקר פעם ביום או יומיים, באתרים גדולים הם סורקים את הדפים כמה פעמים ביממה.
הנה הבוטים של גוגל שסורקים את הרשת:
מהנדס מסביר איך הבוטים עובדים ומעדכנים את בסיס הנתונים של גוגל:
