שלום,
נראה שכבר הכרתם את אאוריקה. בטח כבר גיליתם כאן דברים מדהימים, אולי כבר שאלתם שאלות וקיבלתם תשובות טובות.
נשמח לראות משהו מכם בספר האורחים שלנו: איזו מילה טובה, חוות דעת, עצה חכמה לשיפור או כל מה שיש לכם לספר לנו על אאוריקה, כפי שאתם חווים אותה.
»
«
מהו מרכז נתונים, דאטה סנטר או חוות שרתים?
מרכז נתונים (Data center), המכונה בשפה המקצועית פשוט "דאטה סנטר", הוא אתר המשמש לאיחסון נתונים דיגיטליים, כלומר ממוחשבים, ניהול והפצה שלהם. לעתים הוא נקרא גם "חוות שרתים".
דאטה סנטרים גדולים מכילים מידע שנחוץ לשירותים גדולים כמו חיזוי מזג אוויר, נתוני ניירות ערך, אתרי אינטרנט גדולים וכדומה. רבים מהם מאחסנים המוני אתרים קטנים ובינוניים בחוות שרתים המנוהלות על ידי מקצוענים ופוטרות את החברות הללו מניהול שרתים משל עצמם.
בזמנו התפרסמה תכנית להקמת 36 מגדלים עם 360,000 שרתים שיהיו ביחד מרכז הנתונים הגדול בעולם.
הספקיות הגדולות של הענן הציבורי, כולל אמזון עם AWS, מיקרוסופט עם Azure וגוגל עם Google Cloud, השתלטו בשנים האחרונות על שוק הדטה סנטרים. נכון ל-2021 הן חולשות במשותף על מעל 50% מהדטה סנטרים הגדולים בעולם.
והצמיחה האגרסיבית הזו של הענן באה לידי ביטוי גם בביקושים וגם בהיצע. במקום במרכזי הנתונים של הארגונים, כ-60% מהשרתים שנמכרים כרגע בעולם מוצבים במרכזי הנתונים של ספקיות הענן הגדולות.
הסיבה היא שבמקום לבזבז משאבים על תשתית מרכז הנתונים שלהם, יותר ויותר ארגונים בוחרים בשירותי ספקיות הענן הציבורי, כשהם זקוקים למחשוב משמעותי לאחסון וניהול נתונים והפעלת יישומים עסקיים.
הנה מרכז הנתונים המאובטח של ישראל (בעברית):
https://youtu.be/Sbl49N61fWY
זה של חברת גוגל שתכננה אותו במהלך השנים:
https://youtu.be/eCSt5kerv1k
על מרכז הנתונים הגדול ביותר בעולם המתוכנן באירופה:
https://youtu.be/4e97g7_qSxA
ומרכז הנתונים של חברת פייסבוק:
https://youtu.be/4A_A-CmrqpQ
בואו להתרשם בעצמכם:
https://youtu.be/zDAYZU4A3w0?qr=yes
מהי התפוצצות המידע וכמה מידע נוצר בעולם?
התפוצצות המידע (Information explosion) בעולם היא תופעה שלא תיאמן. אם פעם היו 33 מיליון הספרים השמורים בספריית הקונגרס האמריקני מרשימים אותנו בכמות שלהם, כדאי לדעת שהעולם האינטרנטי מייצר כיום כמות של כמה ספריות כאלה בכל יום!
רוצים נתונים? - בכל דקה מעלים משתמשים לפחות 100 שעות של וידאו לאתר האינטרנט יוטיוב. אל פייסבוק לבדה אנו מעלים כמות של 300 פטה-בייטים של מידע בכל שנה. הצילום הדיגיטלי מאפשר לנו להעלות בכל יום מעל שני מיליארד של תמונות חדשות. הן לבדן מציעות משהו כמו אקסה-בייט של מידע דיגיטלי ביום. בכל שנה אנו מייצרים מאות אקסה-בייטים, כמות מידע המקבילה לכמה מאות או אלפי ספריות קונגרס חדשות בשנה!
אין ספק שאחד הגורמים העיקריים שמאיצים את קצב יצירת המידע החדש הזה הוא תוכן הגולשים. אתרים אישיים, בלוגים, פורומים ורשתות חברתיות הביאו לכך שכל אחד מאיתנו יוצר המון מידע חדש בכל יום, לא פעם לאורך כל היום. לא כל המידע הזה חשוב. רובו מידע אישי וחסר חשיבות לאנושות, אבל בכל זאת - הוא נוצר ונערם בכמויות בלתי נתפסות ולא יימחק כל כך מהר. יש לו שימוש למישהו.
עוד סיבה חשובה להאצת ייצור המידע היא ענן המחשוב. הענן הוא פלטפורמה שמחיר האחסון בה הולך ויורד, מה שמאפשר ייצור של מידע בכמויות גדולות ואיחסונו בזיל זול. צניחת המחירים שדורשות ספקיות הענן הציבורי הגדולות, דוגמת אמזון, גוגל ומיקרוסופט, מגדילה את כמויות המידע הזה ללא הפסקה.
וגם אם לא נרצה בו, יש מי שאוגר את כל המידע הרב הזה למטרותיו. ההתייחסות לאוקיינוס המידע הזה היא כאל מאגר עצום שטומן בחובו הזדמנויות עסקיות והכנסות כספיות רבות.
הנה סרטון שמראה את כמויות המידע העצומות שמייצר המין האנושי כיום:
https://youtu.be/NTMkc0bLRlI
ומה הבעיה האנושית עם כמות המידע הזו:
https://youtu.be/VxfGuZ5Bsgk
ובחיוך, הנה האנשים שמוצפים במידע הרב ומתמכרים:
https://youtu.be/6MpfVD-c-QI
מהי כריית מידע ומיהם כורי המידע?
כריית מידע היא סריקה של נתונים, כדי לזהות את מאפייניהם, למצוא קשרים ביניהם ולהסיק מהם מסקנות שיכולות לשפר תהליכים שונים. שימוש בטכנולוגיית המידע המודרנית, דוגמת האינטרנט ומאגרי מידע גדולים, יכול לאפשר לכורי המידע להפוך את המידע הרב שיש בהם לידע.
חברות מסחריות למשל, משתמשות באלגוריתמים או תוכנות מחשב לכרייה של מידע. הכלים הללו מאפשרים לזהות קבוצות של לקוחות לפי סוגי הפעילות שהם עושים. על ידי זיהוי קבוצות כאלה, יכולה חברה להציע לכל קבוצה מוצרים שיותר סביר שהאנשים שבה ירצו לקנות. יש לקבוצות כאלה גם תרומה לשיפור השירות ללקוחות ועוד.
ישנן שיטות לכריית נתונים, כמו כרייה ברשת (Web Mining), סוג של כריית נתונים שמתבצע באתרי אינטרנט שונים וברשתות חברתיות גדולות כמו פייסבוק וטוויטר, במטרה לזהות בהם מאפייני התנהגות של גולשים. מידע שנאסף כך משמש, לעתים קרובות ללא ידיעת הגולש, להגדלת המכירות ואף נמכר לחברות אחרות.
הנה הסבר של מומחה על כריית המידע:
http://youtu.be/R-sGvh6tI04
המידע הזה ישמש בידיהם של מנתחי נתונים, דאטה אנליסטים (עברית):
https://youtu.be/M2lx5C6j2R4
מנתחי מידע כאלה חשובים גם בצה"ל (עברית):
https://youtu.be/a8eP40HlWN4
והרצאה על כריית ואיסוף נתונים (עברית):
https://youtu.be/phSjbS4tbSs?long=yes
מה זה ביג דאטה?
בעידן האינטרנט ורשתות המחשבים הגדולות והעולמיות מצטברות כמויות עצומות של מידע. התחום המדעי המכונה ביג דאטה (Big Data) עוסק בניהול של כמויות חסרות תקדים של מידע שמצטבר במאגרי נתונים ענקיים, תוך נסיון למצוא בו דפוסים ותבניות שיכולות לסייע בהפקת תועלת.
ההגדרה היפה של ביג-דאטה שאנו מכירים היא ש"ביג-דאטה הוא חתונה של סטטיסטיקה ומחשוב". ואכן, החתונה הזו מצליחה ליצור התפתחות לא רגילה בניתוח נתונים גולמיים בתחומי הרפואה, הכספים, המדעים ועוד. עולם הביג דאטה מתפתח במהירות וצפוי לשנות את חיינו בעתיד, בדרכים רבות.
באמצעות שירות "פלו טרנדס", למשל, חוזה כיום חברת גוגל מראש התפרצויות של מחלת השפעת. היא עושה זאת על סמך העליה בחיפושים שנערכים במנוע החיפוש שלה, של ביטויי חיפוש שקשורים למחלה, כמו חום, נזלת וכאבי שרירים. יש מחקרים שמצאו אמנם שגוגל לא הצליחה לחזות התפרצויות כאלה, אבל המאמץ נמשך..
אגב, בניגוד למחשבה שרק מחשבי-על הם שמעבדים את המידע לתחום הביג דאטה (קראו באאוריקה בתגית "ווטסון"), ישנן כיום מערכות שמטפלות בעיבוד נתונים כאלה, גם במחשבים רגילים.
הנה עולם הביג דאטה:
https://youtu.be/RrhDqByPxwY
והסבר על הביג דאטה (מתורגם):
http://youtu.be/j-0cUmUyb-Y?t=14s
איך הבלוקצ'יין פועל?
ביזור, שקיפות, פתיחות, נגישות, מעקב מתמיד ויעילות - ההתפעלות מהבלוקצ'יין, אותו אלגוריתם המנהל מערכות מבוזרות, היא עצומה. הוא מנהל כיום את המסחר בביטקוין ובמאות מטבעות קריפטוגרפיים אחרים, אבל יכול לעשות עוד המון דברים, כמו ניהול של מערכת בנקאית אמינה מאד, ניהול מלאי לוגיסטי יעיל או חוזים חכמים במיוחד. הסוד של הבלוקצ'יין הוא רישום ותיעוד מדויקים, לא פוסקים, עם אבטחה חזקה כנגד טעויות ותרמיות ותוך שמירה על אנונימיות רבה של מבצעי הפעולות בו. אבל איך בדיוק הוא פועל?
ובכן, דמיינו יומן רישום דיגיטלי שמנוהל, נשמר ומתעדכן לא במקום אחד, אלא במחשבים של רבים ממשתמשי הכלי הזה. בכל אחד מהמחשבים הללו שמורה ההיסטוריה של כל הפעולות שנעשו דרכו. דמיינו שהיומן הזה הוא שרשרת של בלוקים, ממנה מורכבת המערכת. מכאן, אגב, בא שמה של המערכת, בלוקצ'יין. כל בלוק מייצג אוסף תקופתי של פעולות.
מורכב מדי? - בפשטות נסביר שהבלוקצ’יין הוא מאגר נתונים מאובטח ומבוזר (כלומר מפוזר ומחולק), שפועל ללא גורם מרכזי או מפקח. המאגר הזה, של הבלוקצ’יין, נמצא בו זמנית על המון מחשבים, שכל הזמן עוברים סינכרון ומעודכנים בפעולות חדשות שנעשו, כלומר בעסקאות שנסגרו.
היות וכל העסקאות נשמרות בתוך בלוקים של מידע בבלוקצ'יין, לפי הסדר הכרונולוגי שלהן, מכיל כל בלוק את המידע על כל העסקאות שנעשו בפרק זמן מסוים.
כל זמן מה, ננעלים דיגיטלית כל הבלוקים ביחד, מה שיוצר את שרשרת בלוקים שמהווה את מערכת הבלוקצ’יין. למעשה, בונים כל השותפים למערכת מעין סולם דיגיטלי של תנועות, מבלוקים שכל אחד מהם מכיל כמות עצומה של עסקאות ותנועות שנעשו ברשת.
אבטחת המידע נעשית כאן על ידי כך שאת המידע המוצפן ומרוכז בבלוקים, לא ניתן לשנות בדיעבד. יש עותקים של כל בלוק כזה בהמוני מחשבים, מה שמונע תרמית או מניפולציה על המידע שבבלוק אחד. את האמון במתווכים מחליף כאן שיתוף פעולה המוני, של בעלי מחשבים רבים, המחזיקים על מחשביהם את התיעוד שבבלוקים הללו.
כך הבלוקצ'יין פועל (בעברית):
https://youtu.be/DSAtE0dh-PY
ויטליק בוטרין, מפתח מטבע האת'ריום, מסביר מהו (מתורגם):
https://youtu.be/2B4urKQl6dM
וכך הבלוקצ'יין עובד:
https://youtu.be/lD9KAnkZUjU
מרכז נתונים (Data center), המכונה בשפה המקצועית פשוט "דאטה סנטר", הוא אתר המשמש לאיחסון נתונים דיגיטליים, כלומר ממוחשבים, ניהול והפצה שלהם. לעתים הוא נקרא גם "חוות שרתים".
דאטה סנטרים גדולים מכילים מידע שנחוץ לשירותים גדולים כמו חיזוי מזג אוויר, נתוני ניירות ערך, אתרי אינטרנט גדולים וכדומה. רבים מהם מאחסנים המוני אתרים קטנים ובינוניים בחוות שרתים המנוהלות על ידי מקצוענים ופוטרות את החברות הללו מניהול שרתים משל עצמם.
בזמנו התפרסמה תכנית להקמת 36 מגדלים עם 360,000 שרתים שיהיו ביחד מרכז הנתונים הגדול בעולם.
הספקיות הגדולות של הענן הציבורי, כולל אמזון עם AWS, מיקרוסופט עם Azure וגוגל עם Google Cloud, השתלטו בשנים האחרונות על שוק הדטה סנטרים. נכון ל-2021 הן חולשות במשותף על מעל 50% מהדטה סנטרים הגדולים בעולם.
והצמיחה האגרסיבית הזו של הענן באה לידי ביטוי גם בביקושים וגם בהיצע. במקום במרכזי הנתונים של הארגונים, כ-60% מהשרתים שנמכרים כרגע בעולם מוצבים במרכזי הנתונים של ספקיות הענן הגדולות.
הסיבה היא שבמקום לבזבז משאבים על תשתית מרכז הנתונים שלהם, יותר ויותר ארגונים בוחרים בשירותי ספקיות הענן הציבורי, כשהם זקוקים למחשוב משמעותי לאחסון וניהול נתונים והפעלת יישומים עסקיים.
הנה מרכז הנתונים המאובטח של ישראל (בעברית):
https://youtu.be/Sbl49N61fWY
זה של חברת גוגל שתכננה אותו במהלך השנים:
https://youtu.be/eCSt5kerv1k
על מרכז הנתונים הגדול ביותר בעולם המתוכנן באירופה:
https://youtu.be/4e97g7_qSxA
ומרכז הנתונים של חברת פייסבוק:
https://youtu.be/4A_A-CmrqpQ
בואו להתרשם בעצמכם:
https://youtu.be/zDAYZU4A3w0?qr=yes
התפוצצות המידע (Information explosion) בעולם היא תופעה שלא תיאמן. אם פעם היו 33 מיליון הספרים השמורים בספריית הקונגרס האמריקני מרשימים אותנו בכמות שלהם, כדאי לדעת שהעולם האינטרנטי מייצר כיום כמות של כמה ספריות כאלה בכל יום!
רוצים נתונים? - בכל דקה מעלים משתמשים לפחות 100 שעות של וידאו לאתר האינטרנט יוטיוב. אל פייסבוק לבדה אנו מעלים כמות של 300 פטה-בייטים של מידע בכל שנה. הצילום הדיגיטלי מאפשר לנו להעלות בכל יום מעל שני מיליארד של תמונות חדשות. הן לבדן מציעות משהו כמו אקסה-בייט של מידע דיגיטלי ביום. בכל שנה אנו מייצרים מאות אקסה-בייטים, כמות מידע המקבילה לכמה מאות או אלפי ספריות קונגרס חדשות בשנה!
אין ספק שאחד הגורמים העיקריים שמאיצים את קצב יצירת המידע החדש הזה הוא תוכן הגולשים. אתרים אישיים, בלוגים, פורומים ורשתות חברתיות הביאו לכך שכל אחד מאיתנו יוצר המון מידע חדש בכל יום, לא פעם לאורך כל היום. לא כל המידע הזה חשוב. רובו מידע אישי וחסר חשיבות לאנושות, אבל בכל זאת - הוא נוצר ונערם בכמויות בלתי נתפסות ולא יימחק כל כך מהר. יש לו שימוש למישהו.
עוד סיבה חשובה להאצת ייצור המידע היא ענן המחשוב. הענן הוא פלטפורמה שמחיר האחסון בה הולך ויורד, מה שמאפשר ייצור של מידע בכמויות גדולות ואיחסונו בזיל זול. צניחת המחירים שדורשות ספקיות הענן הציבורי הגדולות, דוגמת אמזון, גוגל ומיקרוסופט, מגדילה את כמויות המידע הזה ללא הפסקה.
וגם אם לא נרצה בו, יש מי שאוגר את כל המידע הרב הזה למטרותיו. ההתייחסות לאוקיינוס המידע הזה היא כאל מאגר עצום שטומן בחובו הזדמנויות עסקיות והכנסות כספיות רבות.
הנה סרטון שמראה את כמויות המידע העצומות שמייצר המין האנושי כיום:
https://youtu.be/NTMkc0bLRlI
ומה הבעיה האנושית עם כמות המידע הזו:
https://youtu.be/VxfGuZ5Bsgk
ובחיוך, הנה האנשים שמוצפים במידע הרב ומתמכרים:
https://youtu.be/6MpfVD-c-QI
כריית מידע היא סריקה של נתונים, כדי לזהות את מאפייניהם, למצוא קשרים ביניהם ולהסיק מהם מסקנות שיכולות לשפר תהליכים שונים. שימוש בטכנולוגיית המידע המודרנית, דוגמת האינטרנט ומאגרי מידע גדולים, יכול לאפשר לכורי המידע להפוך את המידע הרב שיש בהם לידע.
חברות מסחריות למשל, משתמשות באלגוריתמים או תוכנות מחשב לכרייה של מידע. הכלים הללו מאפשרים לזהות קבוצות של לקוחות לפי סוגי הפעילות שהם עושים. על ידי זיהוי קבוצות כאלה, יכולה חברה להציע לכל קבוצה מוצרים שיותר סביר שהאנשים שבה ירצו לקנות. יש לקבוצות כאלה גם תרומה לשיפור השירות ללקוחות ועוד.
ישנן שיטות לכריית נתונים, כמו כרייה ברשת (Web Mining), סוג של כריית נתונים שמתבצע באתרי אינטרנט שונים וברשתות חברתיות גדולות כמו פייסבוק וטוויטר, במטרה לזהות בהם מאפייני התנהגות של גולשים. מידע שנאסף כך משמש, לעתים קרובות ללא ידיעת הגולש, להגדלת המכירות ואף נמכר לחברות אחרות.
הנה הסבר של מומחה על כריית המידע:
http://youtu.be/R-sGvh6tI04
המידע הזה ישמש בידיהם של מנתחי נתונים, דאטה אנליסטים (עברית):
https://youtu.be/M2lx5C6j2R4
מנתחי מידע כאלה חשובים גם בצה"ל (עברית):
https://youtu.be/a8eP40HlWN4
והרצאה על כריית ואיסוף נתונים (עברית):
https://youtu.be/phSjbS4tbSs?long=yes
בעידן האינטרנט ורשתות המחשבים הגדולות והעולמיות מצטברות כמויות עצומות של מידע. התחום המדעי המכונה ביג דאטה (Big Data) עוסק בניהול של כמויות חסרות תקדים של מידע שמצטבר במאגרי נתונים ענקיים, תוך נסיון למצוא בו דפוסים ותבניות שיכולות לסייע בהפקת תועלת.
ההגדרה היפה של ביג-דאטה שאנו מכירים היא ש"ביג-דאטה הוא חתונה של סטטיסטיקה ומחשוב". ואכן, החתונה הזו מצליחה ליצור התפתחות לא רגילה בניתוח נתונים גולמיים בתחומי הרפואה, הכספים, המדעים ועוד. עולם הביג דאטה מתפתח במהירות וצפוי לשנות את חיינו בעתיד, בדרכים רבות.
באמצעות שירות "פלו טרנדס", למשל, חוזה כיום חברת גוגל מראש התפרצויות של מחלת השפעת. היא עושה זאת על סמך העליה בחיפושים שנערכים במנוע החיפוש שלה, של ביטויי חיפוש שקשורים למחלה, כמו חום, נזלת וכאבי שרירים. יש מחקרים שמצאו אמנם שגוגל לא הצליחה לחזות התפרצויות כאלה, אבל המאמץ נמשך..
אגב, בניגוד למחשבה שרק מחשבי-על הם שמעבדים את המידע לתחום הביג דאטה (קראו באאוריקה בתגית "ווטסון"), ישנן כיום מערכות שמטפלות בעיבוד נתונים כאלה, גם במחשבים רגילים.
הנה עולם הביג דאטה:
https://youtu.be/RrhDqByPxwY
והסבר על הביג דאטה (מתורגם):
http://youtu.be/j-0cUmUyb-Y?t=14s
נתונים
ביזור, שקיפות, פתיחות, נגישות, מעקב מתמיד ויעילות - ההתפעלות מהבלוקצ'יין, אותו אלגוריתם המנהל מערכות מבוזרות, היא עצומה. הוא מנהל כיום את המסחר בביטקוין ובמאות מטבעות קריפטוגרפיים אחרים, אבל יכול לעשות עוד המון דברים, כמו ניהול של מערכת בנקאית אמינה מאד, ניהול מלאי לוגיסטי יעיל או חוזים חכמים במיוחד. הסוד של הבלוקצ'יין הוא רישום ותיעוד מדויקים, לא פוסקים, עם אבטחה חזקה כנגד טעויות ותרמיות ותוך שמירה על אנונימיות רבה של מבצעי הפעולות בו. אבל איך בדיוק הוא פועל?
ובכן, דמיינו יומן רישום דיגיטלי שמנוהל, נשמר ומתעדכן לא במקום אחד, אלא במחשבים של רבים ממשתמשי הכלי הזה. בכל אחד מהמחשבים הללו שמורה ההיסטוריה של כל הפעולות שנעשו דרכו. דמיינו שהיומן הזה הוא שרשרת של בלוקים, ממנה מורכבת המערכת. מכאן, אגב, בא שמה של המערכת, בלוקצ'יין. כל בלוק מייצג אוסף תקופתי של פעולות.
מורכב מדי? - בפשטות נסביר שהבלוקצ’יין הוא מאגר נתונים מאובטח ומבוזר (כלומר מפוזר ומחולק), שפועל ללא גורם מרכזי או מפקח. המאגר הזה, של הבלוקצ’יין, נמצא בו זמנית על המון מחשבים, שכל הזמן עוברים סינכרון ומעודכנים בפעולות חדשות שנעשו, כלומר בעסקאות שנסגרו.
היות וכל העסקאות נשמרות בתוך בלוקים של מידע בבלוקצ'יין, לפי הסדר הכרונולוגי שלהן, מכיל כל בלוק את המידע על כל העסקאות שנעשו בפרק זמן מסוים.
כל זמן מה, ננעלים דיגיטלית כל הבלוקים ביחד, מה שיוצר את שרשרת בלוקים שמהווה את מערכת הבלוקצ’יין. למעשה, בונים כל השותפים למערכת מעין סולם דיגיטלי של תנועות, מבלוקים שכל אחד מהם מכיל כמות עצומה של עסקאות ותנועות שנעשו ברשת.
אבטחת המידע נעשית כאן על ידי כך שאת המידע המוצפן ומרוכז בבלוקים, לא ניתן לשנות בדיעבד. יש עותקים של כל בלוק כזה בהמוני מחשבים, מה שמונע תרמית או מניפולציה על המידע שבבלוק אחד. את האמון במתווכים מחליף כאן שיתוף פעולה המוני, של בעלי מחשבים רבים, המחזיקים על מחשביהם את התיעוד שבבלוקים הללו.
כך הבלוקצ'יין פועל (בעברית):
https://youtu.be/DSAtE0dh-PY
ויטליק בוטרין, מפתח מטבע האת'ריום, מסביר מהו (מתורגם):
https://youtu.be/2B4urKQl6dM
וכך הבלוקצ'יין עובד:
https://youtu.be/lD9KAnkZUjU
