» «
למידה עמוקה
מהי למידה עמוקה?



בין שנות ה-70 לאמצע שנות ה-2000, רווחה אכזבה מאד גדולה מהביצועים של תחום הבינה המלאכותית. התחום שפעם הבטיח מהפכה של ממש בעולם המחשוב, "לא סיפק אז את הסחורה". התקופה הזו כונתה אז "החורף של הבינה המלאכותית".

אבל בשלב מסוים, אחרי השנים הרבות של האכזבה, הפציעה הבינה המלאכותית מחדש, כשהפעם היא החלה לממש סוף כל סוף את ההבטחה ההיא מימי התום שלה. מה שהזניק אותה מחדש הייתה טכנולוגיה חזקה ומעשית - "למידה עמוקה".

הלמידה העמוקה (Deep Learning) היא תחום מחקר בעולם המחשבים שמטרתו לחקות באופן ממוחשב את פעולת המוח האנושי. התחום הוא מרכזי בעולם האינטליגנציה המלאכותית. המיוחד במערכות למידה עמוקה הוא היכולת שלהן ללמוד ולהשתפר כל הזמן. ממש כמו המוח האנושי, ככל שמערכת כזו פועלת וככל שמשתמשים בה - היא משתפרת ו"יודעת" יותר.

הלמידה העמוקה הוא תחום חדש יחסית בעולם של חקר המערכות הלומדות. הוא נקרא גם "הלמידה החישובית" (Machine Learning). לטווח רחוק מטרת התחום היא פיתוח של מחשב שיוכל להחליף את החשיבה האנושית. מערכת כזו תהיה מסוגלת לזהות תבניות ודפוסים בדיבור, תמונות, צלילים ועוד סוגי מידע שהמערכות מתקשות כיום לעבד ולטפל בהם.

חשיבה עמוקה היא רק בתחילתה, אבל חוקרים נעזרו בה כבר לזיהוי מולקולות שייקשרו למטרות בגוף טוב יותר ומסתייעים בבממצאים לפיתוח תרופות חדשות. מחשב או תוכנה שמצוידים ב"חשיבה עמוקה" מבינים כבר היום שפה אנושית במנועי חיפוש, בחיפוש קולי ובעוזרים דיגיטליים כמו "סירי" של חברת אפל ו"קורטנה" של מיקרוסופט. בעתיד יסיקו מערכות כאלה גם מסקנות ויקבלו החלטות בכוחות עצמן.

העתיד מבטיח מפיתוחים אלה מערכות רפואיות שמטפלות בחולים, אנליסטים ומומחים ממוחשבים לניהול כספים ומסחר במניות ועד למערכות ראיה ממוחשבת, שיוכלו לזהות עצמים במרחב ולסווג אותם, ללא צורך בהתערבות אנושית.

הלמידה העמוקה מתבצעת על ידי שימוש ברשתות נוירונים, שמנסות לחקות את היכולת האנושית.


המלצה:
======
קראו באאוריקה בתגית "Google Brain", על אחד מפרויקטי הבינה המלאכותית הגדולים ביותר אי פעם.


הנה טכנולוגיית הלמידה העמוקה והעתיד שהיא מסמנת, כולל הסכנות האפשריות:

http://youtu.be/IoP9akd44wk


כך עובדים על פיתוח המוח העמוק:

http://youtu.be/zLp-edwiGUU


הדגמה ויזואלית של עץ ההחלטות הגדל ומתפתח של מערכת חכמה:

http://youtu.be/nSg4HKHdDs4
ניסוי החתולים
מהו ניסוי החתולים של גוגל?



כשרוצים ללגלג על יוטיוב והרשת, תמיד מדברים על סרטונים טפשיים של חתולים. אבל האמת היא שניתן לעשות באמצעותם לא מעט. בשנת 2012 הצליחה חברת גוגל להוכיח את היכולת של מערכת הלמידה העמוקה שלה באופן משמעותי. לאחר שהוכיחה שצפייה ב-10 מיליון תמונות מסרטוני יוטיוב, הביאה אותה ליכולת טובה פי שניים מניסיונות קודמים בזיהוי עצמים כמו חתולים בתמונות.

בכך הצליחה לראשונה תוכנה חכמה לחבר באופן לוגי בין תמונה למילה. היכולת לזהות באופן עצמאי את הקשר בין המידע הויזואלי למילה חתול הוא שלב מרשים בצעידה לכיוון של הבינה המלאכותית והלמידה העמוקה. במדעי המוח מזוהה שלב זה עם שלב דומה בלמידה של התינוק. בשלבי הלמידה הראשונים שלו הוא לומד לזהות עצמים עם מילים שלמד מהוריו.


הנה תיאור הניסוי של הלמידה העמוקה בגוגל לזהות חתולים בסרטונים:

https://youtu.be/TK4qLwTye_s


והנה לגלוג מסוים על העובדה שהמוח של גוגל יהפוך בסוף לטיפש מעודף צפייה בסרטוני חתולים:

https://youtu.be/lWijWH8VnlA
Google Brain
מהי מערכת הלמידה העמוקה של גוגל?



למידת מכונה היא תחום שנחקר כבר עשרות שנים. בשנים האחרונות הוא הולך ומתפתח לכיוון של למידה עמוקה. מערכת הלמידה העמוקה הגדולה והמתקדמת בעולם כיום היא ה-Google Brain. זהו אחד מפרויקטי הבינה המלאכותית הגדולים בעולם. הפרויקט מנסה לפתח מוח ממוחשב מ-16,000 ליבות מחשבים ותוכנת מחשב שלומדת מתוך דוגמאות ומסיקה מסקנות בעצמה, תוך כדי התמודדות עם בעיות מורכבות במיוחד. משאבי המחשב שמוקדשים לפיתוח זה הם עצומים וכך גם התקציבים שחברת הענק משקיעה במחקר והפיתוח, כולל גיוס האנשים המתקדמים בעולם בתחום זה ושל המדען והעתידן הגאון ריי קורצווייל, שהסכים לעמוד בראש הפרויקט.

אבל למה גוגל צריכה מערכת למידה עמוקה? - היות ופיתוח של רשתות מחשב מבוססות נוירונים עולה המון כסף, חברת גוגל בעלת המיליארדים היא מהיחידות בעולם שיכולות להקצות משאבים לנושא. לרשת שמאפשרת את הלמידה של המחשב העמוק מוקצים עוד ועוד מחשבים. רק כך ניתן לדמות את אופן הפעולה של המוח האנושי.

וזה עוד כלום. ברצונם להגיע למאה טריליון קישורים בין נוירונים במחשב העל של גוגל, מגייסת החברה את מיטב חידושי הטכנולוגיה שיוצאים לשוק, כולל מעבדים מקביליים ומהירים ביותר, כרטיסי מסך גרפיים המכונים "GPU" ושפותחו עבור תעשיית המשחקים, ועד רכיבי מחשוב קוונטי. גוגל כה רצינית בשאיפות שלה בתחום זה, שהיא רוכשת חברות קטנות שעוסקות בתחום וכך קונה הן את הטכנולוגיות והידע שהן צברו והן את כוח האדם המעולה שלהן.


המלצה:
======
בתגית "למידה עמוקה" תוכלו לקרוא על עולם הבינה המלאכותית, המתבססת על רשת נוירונים כמו זו שבונה גוגל. שווה לקרוא גם בתגית "רשתות נוירונים".


הנה למידת המכונה:

https://youtu.be/59bMh59JQDo


כך מתבצעים פרויקטי הבינה המלאכותית הגדולים של גוגל ומתחרותיה:

https://youtu.be/gB_-LabED68


כך מסייעים מוחות טכנולוגיים עם למידה עמוקה לעולם להתקדם:

https://youtu.be/Dy0hJWltsyE


והנה סרטון עם מתיחה שבה גוגל הולכים להחליף את המוח האנושי:

https://youtu.be/fV52J7_7gss


הנה פרוייקט הגוגל בוקס והבעיות שהוא עורר:

https://youtu.be/5_EyoyHLnLI
רשת סמנטית
מהן רשתות סמנטיות?



רשתות סמנטיות (Semantic networks) הן שיטה להכנת מפות מידע, שבה מסומנים ומוגדרים הקשרים בין המושגים השונים. רשת סמנטית מיועדת למיפוי לפי משמעות ועל פי הקשרים בין מרכיבים שונים בה (מיפוי סמנטי). שימוש ברשת מושגית מתקדמת שכזו יכול לסייע בתהליכי חשיבה, סיעור מוחין וקבלת החלטות.

המידע ברשת סמנטית מאורגן לפי מושגים שמיוצגים במילה או במשפט ומקושרים למושג מרכזי. נכנה את המושגים "צמתים". בין כל צומת לאחרות יש קשרים, שהם בעצם קשרים אל המושגים הקרובים אליה משמעותית. רשת כזו ניתן לבנות לדוגמה סביב המושג המרכזי "אריה". קשרים יחברו בינו לבין מושגים קרובים כמו: טורפים, יונקים, חתולים גדולים, חיות פרא, אוכל בשר, אפריקה וכדומה. לכל קשר יהיה את התפקיד והמשמעות שלו וצבעים שונים יכולים לבטא את סוג הקשר בין מושגים.

שרטוט רשתות סמנטיות מאפשר תהליך למידה. זה קורה בשילוב שאנו עושים בין הדברים הידועים לנו בטרם הלמידה, לבין הדברים שנלמד תוך כדי השילוב של ידע חדש ברשת הסמנטית. קשרים שלא נדע להסביר את טיבם ומושגים ללא קשרים ביניהם יצביעו על מה שדורש למידה נוספת ומעמיקה יותר. בהנחה שחקר ולמידה כאלו אכן יבוצעו ויקרו, ההבנה של המושגים והקשרים שביניהם היא הלמידה.

בשנים האחרונות הפך נושא הרשת הסמנטית לתחום חם גם בעולם הטכנולוגיה. זאת לאחר שהסתבר שרשת כזו יכולה להוות בסיס למערכות בינה מלאכותית ולשיפור רשת האינטנרט ומנועי החיפוש. המחקר המדעי בעולם עוסק לא מעט במיפוי סמנטי לצורכי המיחשוב ובמקביל התפתח חזון הווב הסמנטי, שמציג רשת עתידית, מבוססת משמעות ובעלת יכולות רבות לשיפור האינטרנט (קראו עליה באאוריקה בתגית "ווב סמנטי").


משימת התנסות
===========
הכינו רשת סמנטית על המושג "מחשב", בכתיבת המושג, המושגים הקרובים והמושגים שנובעים מהם ויצירת הקשרים ביניהם על גבי נייר.


הנה הרשת הסמנטית:

https://youtu.be/3wMfKTkYemY

למידה עמוקה

מחשוב קוגניטיבי
מהו המחשוב הקוגניטיבי?



יתכן ששאלתם את עצמכם פעם איך זה שהמחשבים המשוכללים והמהירים כל כך יכולים לבצע כיום משימות שלא ייאמנו, אבל לא מסוגלים לבצע דברים שאפילו תינוקות עושים בקלות. מזיהוי אנשים ועד להבנת השפה המדוברת, דרך למידה מטעויות או הבנת ההקשר בשיחה, להסיק מסקנות ועוד, יש לא מעט דברים שבני אדם מקבלים כמובנים מאליהם ואף כפשוטים, בעוד המחשב מתקשה בהם מאד.

בדיוק לשם כך נוצר תחום חשוב במדעי המחשב. מחשוב קוגניטיבי (cognitive computing) הוא תחום בתוכנה המדמה את החשיבה האנושית. מדובר בתוכנות שאמורות להיות מסוגלות לבנות ולנתח ידע, לבצע תהליך ארוך ומשמעותי של למידה עצמית, להבין את המידע לעומקו, לנתח טקסטים בצורה תבונית ולתקשר עם בני אדם בדרך שמבינה מצבי רוח, הקשרים חברתיים ואישיים ועוד, בקיצור כל דבר מהמרכיבים הקטנים של השפה האנושית ועד לסתם ללמוד מהניסיון.

במחשוב הקוגניטיבי מנסים לשלב בין יכולות שונות, שחלקן בפיתוח כבר שנים רבות. למידת מכונה, כריית מידע, זיהוי עצמים יחודיים בתמונות, עיבוד שפה טבעית או איתור של דפוסים ותבניות במידע גולמי - כל אלה ואחרות אמורות לאפשר יצירה של מחשב שיכול לחקות את הדרך בה המוח האנושי עובד ולהפיק תוצאות ברמה גבוהה במיוחד.

אם זה מזכיר לכם תחומים כמו אינטליגנציה מלאכותית או למידת מכונה, זה לא מקרה. מדובר בתחומי מחקר קאובים ומשיקים בהרבה מובנים.

מטרת החוקרים והמהנדסים העוסקים בתחום המחשוב הקוגניטיבי להביא לכך שבעתיד יוכלו מחשבים לבצע משימות פשוטות עבור בני-אדם, כמו חשיבת מומחה והבנת השפה האנושית. כמובן שבצד פעולות "אנושיות" אלה ישלבו המחשבים גם את יכולותיהם המסורתיות כמו עיבוד נתונים בכמויות עצומות, מה שמוכר מתחום הביג דאטה, על מנת להפוך ליועצים נבונים לאנשי מקצוע בתחומים שונים, מרפואה ועד מדע והייטק.

ישומים נוספים שמצפים לפתח בעזרת מחשבים קוגניטיביים הם מערכות תקשורת בשפה טבעית, "נהגים ממוחשבים" ברכבים אוטונומיים (מכונית ללא נהג), עיבוד סמנטי, מנועי חיפוש לומדים ועוד.


הנה המחשוב הקוגניטיבי המודרני:

https://youtu.be/h22n80aT2FY


כך יסייעו בעתיד מערכות מיחשוב קוגניטיבי לחברות וארגונים:

https://youtu.be/WpA5IBDS9MQ


כחלק מהמסע לפיתוח מערכות מחשוב קוגנטיביות, חברת יבמ מנסה לפתח מערכות מחשב יצירתיות:

https://youtu.be/f9yrfO8ETpQ


מצגת וידאו שמראה מה מאפשרות מערכות מחשוב קוגניטיביות:

https://youtu.be/1mPO-rXcmaw


מומחים מחברת יבמ מסבירים על העתיד של המחשוב הקוגניטיבי:

https://youtu.be/xRamODPdU1U


והאם אנו מתקרבים למחשבים עם תודעה:

https://youtu.be/JTOMNkZJRao?long=yes
רשת עצבית מלאכותית
מהן רשתות נוירונים ממוחשבות?



רשתות נוירונים הן רשתות מחשבים מתקדמות שמחקות את החשיבה האנושית. נוירון הוא תא עצב. רשת נוירונים היא "רשת עצבית" מלאכותית, שמעתיקה את הפעילות של שכבות תאי העצב בניאו-קורטקס, האזור שתופס את רוב המוח האנושי ושבו נעשית החשיבה שלנו. כל נוירון מחובר בסינפסות אל נוירונים נוספים, במה שקרוי "רשת נוירונית". התקשורת בין הנוירונים היא באמצעות "פוטנציאלי פעולה" - מעין הבזקים, פעימות חשמליות, שעוברות בסינפסות בין נוירון, תא עצב, למשנהו והלאה אל הנוירון הבא ולאלה שאחריו.

מחקר רשתות הנוירונים עוסק בבניית מודלים וירטואליים של שכבות תאי העצב ובתחום זה עוסקים כיום צוותים מגוונים, שמורכבים ממדעני מוח, מדעני מחשב ותוכנה. רשתות מחשבים כאלה יוכלו בעתיד לבצע פעולות שהמוח יודע לבצע בקלות: לאסוף מידע, לנתחו ולהגיב לו בקבלת החלטות שאנו עושים אלפי פעמים ביום.

תחום הנוירו-מחשוב הוא אחד התחומים החשובים בעולם כיום. הוא יוביל בעתיד לדור מתקדם במיוחד של תוכנות חכמות. דמיינו את האפשרויות של תוכנות-מוח שכאלה - מאפליקציות שיידעו את טעמנו האישי ויציעו לנו בגדים, אוכל, מוסיקה או ספרים שאנו אוהבים ועד טלפונים חכמים, שילמדו הרגלים, תחביבים, העדפות וצרכים של המשתמש ויסייעו לו. דמיינו מצלמות חכמות, שיודעות לזהות פורץ או מבקר תמים בביתנו, מערכות מחשוב שיזהו האקרים לעומת משתמשים תמימים שטעו, בידוק בטחוני שיזהה מפגים או עבריינים ומערכות צבאיות שיוודאו שכוחותינו יזהו וישמידו את כוחות האויב ולא את כוחותינו.


המלצה:
======
קראו באאוריקה בתגית "למידה עמוקה", על פיתוח מערכות הבינה המלאכותית שמתבססות על רשתות הנוירונים.


הנה רשתות הנוירונים שבמוחנו:

https://youtu.be/Gf5QEzZ9F3w


הנה התהליך הכימי של מעבר המידע בין הנוירונים:

https://youtu.be/6Ra3il45vnE


כיום מפתחים רשת נוירונים שמחקה את יכולת הלמידה של תינוק:

http://youtu.be/VNNsN9IJkws


הנה הסבר מדעי:

https://youtu.be/Z6xDuPOgT_Q


הנה הדרך שבה רשתות נוירוניות פועלות:

https://youtu.be/h52wgSsm57g


והפיתוח שלהם על ידי למידה מהביולוגיה והטבע:

https://youtu.be/JqMpGrM5ECo
ביג דאטה
מה זה ביג דאטה?



בעידן האינטרנט ורשתות המחשבים הגדולות והעולמיות מצטברות כמויות עצומות של מידע. התחום המדעי המכונה ביג דאטה (Big Data) עוסק בניהול של כמויות חסרות תקדים של מידע שמצטבר במאגרי נתונים ענקיים, תוך נסיון למצוא בו דפוסים ותבניות שיכולות לסייע בהפקת תועלת.

ההגדרה היפה של ביג-דאטה שאנו מכירים היא ש"ביג-דאטה הוא חתונה של סטטיסטיקה ומחשוב". ואכן, החתונה הזו מצליחה ליצור התפתחות לא רגילה בניתוח נתונים גולמיים בתחומי הרפואה, הכספים, המדעים ועוד. עולם הביג דאטה מתפתח במהירות וצפוי לשנות את חיינו בעתיד, בדרכים רבות.

באמצעות שירות "פלו טרנדס", למשל, חוזה כיום חברת גוגל מראש התפרצויות של מחלת השפעת. היא עושה זאת על סמך העליה בחיפושים שנערכים במנוע החיפוש שלה, של ביטויי חיפוש שקשורים למחלה, כמו חום, נזלת וכאבי שרירים. יש מחקרים שמצאו אמנם שגוגל לא הצליחה לחזות התפרצויות כאלה, אבל המאמץ נמשך..

אגב, בניגוד למחשבה שרק מחשבי-על הם שמעבדים את המידע לתחום הביג דאטה (קראו באאוריקה בתגית "ווטסון"), ישנן כיום מערכות שמטפלות בעיבוד נתונים כאלה, גם במחשבים רגילים.


הנה פרסומת שמציגה את הבעיה של עודף המידע ואת הפתרון בעיבודו:

http://youtu.be/TUiPQfydpB0


סרטון מתורגם לעברית על הביג דאטה:

http://youtu.be/j-0cUmUyb-Y?t=14s


והדרכים שבהן יתרמו המחשוב והביג דטה לעולם:

http://youtu.be/5LhTNMrxM5M
ווטסון
מהו ווטסון, מחשב העל הלומד?



מחשב העל "ווטסון" פותח על ידי חברת IBM והוא מחשב קוגניטיבי, כמעט המחשב החושב, שדורות של מדעני מחשב דיברו על בואו, אי-שם בעתיד. ווטסון הוא המחשב החכם בעולם והחליף את "כחול עמוק", שגם הוא פותח על ידי אותה החברה וניצח בעבר את אלוף העולם בשחמט.

ווטסון, שנקרא על שם תומאס ווטסון, מייסד IBM, זכה להכרה בעת שהיה הראשון שניצח בני אדם בשעשועון טריוויה בטלוויזיה. זה קרה כשהשתתף בתוכנית הטלוויזיה הוותיקה בארה"ב, "ג'פרדי" ("מלך הטריוויה"). במהלך התכנית הוא הראה ידע עצום ושלט גם בטקטיקה של משחקי הטלוויזיה מסוג זה. הניצחון של המחשב בנוק אאוט על פני המוח האנושי היה מהפכני בכל קנה מידה, במיוחד בזכות העובדה שווטסון לא היה מחובר לאינטרנט ולמנועי חיפוש דוגמת "גוגל", אלא רק מצויד במידע של אנציקלופדיות, מילונים, מאגרי חדשות, יצירות ספרות ושירה וכדומה.

ווטסון היווה ממש מהפכה, ביכולתו לחבר יכולות מתקדמות בחיפוש מידע מהיר ויעיל עם אינטליגנציה מלאכותית מהסוג הדרוש למכונה כזו. טכנולוגיות מתקדמות של למידה ממוחשבת, עיבוד שפה, זיהוי קול אנושי ומגוון שיטות לאיחזור מידע (שליפה מהירה ממאגרים עצומים), היקנו לו את היכולת לתפקד באופן חסר תקדים בתחום המחשוב.


הנה סרטון על מחשב-העל ווטסון, בעל מנגנוני זיהוי הקול וחיפוש המידע המתקדם:

http://youtu.be/ZKwEqJme7KQ


הנה ווטסון מנצח בני אדם בשעשועון ידע:

http://youtu.be/zRa3B-3U6L4


הנה סרטון על החשיבות של הנצחון של ווטסון בשעשועון הטלוויזיה:

http://youtu.be/FC3IryWr4c8


אֵאוּרִיקַה - האנציקלופדיה של הסקרנות!

העולם הוא צבעוני ומופלא, אאוריקה כאן בשביל שתגלו אותו...

אלפי נושאים, תמונות וסרטונים, מפתיעים, מסקרנים וממוקדים.

ניתן לנווט בין הפריטים במגע, בעכבר, בגלגלת, או במקשי המקלדת

בואו לגלות, לחקור, ולקבל השראה!

אֵאוּרִיקַה - האנציקלופדיה של הסקרנות!

שלום,
נראה שכבר הכרתם את אאוריקה. בטח כבר גיליתם כאן דברים מדהימים, אולי כבר שאלתם שאלות וקיבלתם תשובות טובות.
נשמח לראות משהו מכם בספר האורחים שלנו: איזו מילה טובה, חוות דעת, עצה חכמה לשיפור או כל מה שיש לכם לספר לנו על אאוריקה, כפי שאתם חווים אותה.