שלום,
נראה שכבר הכרתם את אאוריקה. בטח כבר גיליתם כאן דברים מדהימים, אולי כבר שאלתם שאלות וקיבלתם תשובות טובות.
נשמח לראות משהו מכם בספר האורחים שלנו: איזו מילה טובה, חוות דעת, עצה חכמה לשיפור או כל מה שיש לכם לספר לנו על אאוריקה, כפי שאתם חווים אותה.
»
«
איך מאמנים מכונות ובאילו שיטות הן לומדות?
למידת מכונה מתבססת על יצירה של מודל גדול. המודל עצמו הוא אכן אוסף גדול ומורכב של מספרים (המכונים "טוקנים" (Tokens), בעברית אסימונים. הטוקנים האלה מייצגים מידע, כלומר דאטה שהוזן למודל מהעולם האמיתי כקלט (Input) משלל מקורות, אם מסריקת אתרי אינטרנט, בלוגים, פורומים וקבצי תוכן ועד לסריקה של ספרים אמיתיים, מגזינים ועיתונים.
המספרים הללו מייצגים את פריטי הקלט המסוים ומגדירים קשרים מתמטיים ביניהם. על ידי אימון מתמיד של המודל, הוא הולך ומזהה את הקשרים הללו כדפוסים, שיהיו מוכנים כמעין ידע שהוא למד, לקראת שימוש בו, להצגת תחזיות, מענה לשאלות, חישובים של בעיות שיפנו אליו המשתמשים.
#תהליך האימון
לפני וכדי שמודל יוכל לענות על שאלות או להציע תחזיות יש לאמן אותו. ממש כמו מאמן כושר או מפקד טירונים בצבא, שמקבלים אימון, הוא יקבל אוסף של נתונים, דאטה שיעמוד לרשותו, כדי שיוכל לזהות את אותם דפוסים. זה חייב להיות קלט (Input) עצום וגדול, כלומר המון נתונים, Big Data.
כדי לאמן מודל אנחנו נותנים לו אוסף של קלטים. הקלטים הללו ישתנו לפי סוג ומטרת המודל, אך המטרה הבסיסית, העליונה והתמידית שלו תהיה למצוא את הדפוסים בדאטה, כך שהוא יוכל ליצור תחזיות טובות ולתת תשובות טובות וללא הֲזָיוֹת (Hallucinations).
#שיטות אימון
למידת מכונה מתבצעת בכמה שיטות שונות, שכל אחת מחייבת "שיטת הוראה" שונה. ישנם 3 סוגים של למידת מכונה: למידה ללא פיקוח, למידה מפוקחת ולמידת חיזוק.
- למידה לא מפוקחת - היא למידת מכונה הלומדת באמצעות זיהוי עצמי של קווי דמיון ודפוסים וללא הנחיה אנושית.
- למידה מפוקחת - מתבססת על אימון בינה מלאכותית באמצעות דוגמאות מסומנות. כלומר, למידה שמסתמכת על קלט מבני אדם כדי לבדוק את דיוק התחזיות.
- למידת חיזוק - מתבססת על אימון בינה מלאכותית באמצעות ניסוי וטעייה. כלומר, מדובר בלמידה מחוזקת משמשת לתוכניות טיפול, תוך איסוף משוב באופן חוזר ונשנה (איטרטיבי) והשוואה מול הדאטה המקורית של כל פרופיל, כדי לקבוע את הטיפול היעיל ביותר לו.
כאשר מודלים אלה הופכים לעצמם, קשה יותר לקבוע את תהליך קבלת ההחלטות שלהם, מה שיכול להשפיע על העבודה, הבריאות והבטיחות שלנו.
#דוגמה
הנה דוגמה מהעולם הרפואי של רופאים והמטופלים שלהם:
בלמידה ללא פיקוח נוכל להשתמש כדי שהמודל יזהה קווי דמיון בין פרופילי מטופלים שונים ויאתר דפוסים שמתעוררים אצלם, כשהוא עושה זאת ללא הדרכה אנושית וללא פיקוח של רופאים ומומחים.
למידה מפוקחת, לעומת זאת, תסתמך על הקלט של הרופאים שיבצעו את האבחנה הסופית ויבדקו את הדיוק של חיזוי האלגוריתם. כלומר כאן המכונה תלמד מהמומחה, גם מהאבחנות המוצלחות שלו אך גם משגיאותיו. אם יוזנו למכונה נתונים של 2 קבוצות, חולים ובריאים, היא תזהה בעצמה מאפיינים שמשותפים לחולים במחלה מסוימת ושאינם נמצאים אצל אנשים בריאים. לאחר השוואה בין תחזיות המכונה לאבחון הסופי של המומחים, המכונה תלמד לזהות את התסמינים של המחלה ולסייע לרופאים לאבחן אותה נכון בעתיד.
למידת חיזוק תשמש לתכניות טיפול, בגישה איטרטיבית, תהליך חוזר ונשנה בו יוזן למכונה, שוב ושוב, המשוב החוזר על ידי הרופאים. המשוב יהיה לגבי יעילות התרופות, המינונים השונים ולגבי הטיפולים היעילים יותר ופחות, כך שהמודל ישווה יעילות של התרופות, המינונים והטיפולים לדאטה של החולה ויסיק מסקנות שיאפשרו לו לחזק בעתיד את הטיפולים המוצלחים והייחודיים יותר, אלו שיתאימו לפרופילי חולים, עם מאפיינים ומקרים שונים, לאור תגובות חולים משתנות, נסיבות שונות של המחלה ומצבי המחלה המגוונים לאורך הטיפול.
כלומר, החוקרים יכולים להשתמש במערכות למידת המכונה הללו ביחד, כדי לבנות מערכות בינה מלאכותית.
אבל - ויש כאן אבל משמעותי - יש לשים לב שככל שהמודלים הללו מכוונים באופן עצמאי, יהיה קשה יותר לקבוע כיצד האלגוריתמים השונים מגיעים לפתרונות שלהם, מה שיכול להיות בעל השפעה משמעותית על העבודה, הבריאות והבטיחות שלנו, בני האדם, כשאנו משתמשים בהם. לכן, באימון של מודלים גדולים (LLMs) משתמשים לרוב בכל השיטות הללו במקביל, כשלא פעם הן מאמנות אחת את השנייה.
הנה אימון מכונה פשוט (עברית):
https://youtu.be/CC-TGXxc-Go
כך המכונה לומדת ומדוע כדאי לשלב שיטות אימון שונות (מתורגם):
https://youtu.be/0yCJMt9Mx9c
וכך האלגוריתמים לומדים (מתורגם):
https://youtu.be/R9OHn5ZF4Uo?long=yes
מהי מולטי מודאליות בעולם ה-AI?
זה אחד הפיתוחים המרגשים של עידן הבינה החדש ומה שמרגיש לא פעם כמו סרטי מד"ב מהיותר מתוחכמים. קוראים לזה מולטי-מודאליות (Multimodality) והוא בעצם היכולת של כלי AI לעבוד עם סוגי נתונים שונים, כמו טקסט, אודיו, קוד, וידאו ותמונות - גם כקלט וגם כפלט.
במקום להתמקד בסוג אחד בלבד של נתונים, מערכת רב-מודאלית מקבלת ומנתחת מידע ממקורות מגוונים, בכדי לקבל הבנה מעמיקה יותר של העולם הסובב אותה. מדובר בכלי ממוחשב שבדיוק כמו שבני אדם חווים את העולם דרך כל החושים והחוויות, לא רק מבין טקסט, אלא גם רואה תמונות וסרטים, מעבד ומנתח וידאו, מגלה הבנה מרחבית, שומע קולות וצלילים, מפענח קוד של תוכנה ומסוגל גם ליצור תכנים ותוצרים בכל המדיות הללו.
בדומה למוח האנושי, המשלב בטבעיות מידע מכל החושים, העולם של המערכות המולטי מודאליות ב-generative AI מציג יכולת שהיא עוד רכיב במהפכה הגדולה של מערכות בינה מלאכותית, מהפכונת שמאפשרת לעבד ולשלב כמה סוגי מדיה במקביל.
המערכות החדשות הללו מצוידות בשכבות מורכבות של פענוח ומפענחות את העולם פחות או יותר כמו מחשב-על. דוגמאות לא חסר. למשל עם צ'טבוט שבזכות ההבנה המרחבית המשופרת שלו מסוגל לזהות ולהוסיף כיתוב מדויק לעצמים שונים בתמונות עמוסות פריטים. או צ'טבוט שמנתח תמונות ומאפשר למשתמש לנהל עליהן דיון, או סוקר אינפוגרפיקה ונותן לה פרשנות קולית רלוונטית, בהתאם לרמת ההבנה של המשתמש או קהל היעד המבוקש. לכלי כזה יש גם כלי וידאו שמקבלים תמונה והנחייה כתובה (פרומפט) ומנפישים את התמונה לקליפ וידאו שכמו צולם בידי צוות צילום הוליוודי.
דוגמה נוספת היא כלי אינטראקציה רב-מודאלי כמו NotebookLM. הוא מאפשר למשתמשים לשתף איתו את המסך או המצלמה שלהם בזמן אמת. כך ניתן לקיים שיחות קוליות דמויות אדם, תוך כדי שמאפשרים ל-AI לצפות במסך ולעזור, תוך כדי מודעות להקשר ולתוכן.
אפילו תכונת זיהוי הפנים בסמארטפון שלכם היא תכונה שמשלבת היטב ראייה ממוחשבת, מיפוי תלת-ממדי ועיבוד נתונים מתקדם. ומאלה היא יוצרת פיצ'ר מדהים, בצד חווית משתמש פשטותה כמו מבט של שומר אנושי.
שילוב של צורות נתונים מרובות, כמו טקסט, תמונות ואודיו לתוך מערכת מאוחדת ורב-מודאלית היא שמאפשרת למודלים כמו Claude או GPT-4 לכתוב קוד כשמזינים לתוכו דיאגרמה ולמודלים שונים ליצור תמונות או סרטוני וידאו עם תיאורים.
את המהפכה המולטימודאלית אפשר לזהות בקלות בפלטפורמות כמו טיקטוק (TikTok) ואינסטגרם (Instagram), בהן משלבים סוגי מדיה מגוונים ומעבדים במגוון כלים, המשנים את הדרך בה אנו מספרים את הסיפור שלנו לעולם.
הנה הסבר היכולת המולטי-מודאלית:
https://youtu.be/97n1u66Shgg
כך עובדים מערכות מולטי מודאליות:
https://youtu.be/WkoytlA3MoQ
וההיפר מודאליות החדשה של גוגל מארינר:
https://youtu.be/KeUMm1xF3o0?long=yes
מה בין מודל היגיון, מולטי מודאליות ושרשרת מחשבה?
בעולם המתהווה ממש לנגד עינינו יש לעתים בלבול בין טכנולוגיות, מושגים ורעיונות שונים. הבה נבהיר את ההבדלים ביניהם:
#מולטי מודאליות (Multimodal Model)
זוהי תכונה של מודל שפה שיכול לקבל סוגי קלט שונים ולהתייחס אליהם, במקום רק טקסט, כמו מודלי השפה הרגילים או הראשונים שהכרנו בהתחלה. הרעיון במודלים מולטי-מודאליים כאלו הוא שהם משלבים כמה סוגי נתונים או מודאלים, כולל טקסט, תמונות, הקלטות, אולי סרטונים וכדומה.
דוגמה לכך היא מודל ה-Multimodal Chain-of-Thought (בקיצור CoT), שמציע גישה בה המודל משתמש בשני שלבים: הראשון הוא יצירת רציונלים, הסברים, והשלב השני של הסקת תשובות. השילוב של מידע טקסטואלי עם מידע חזותי מאפשר למודלים אלו לשפר את ביצועיהם ולצמצם את כמות ה"הזיות" (hallucinations) בתשובותיהם. פירוט בתגית "מולטי מודאליות".
#מודל היגיון (Reasoning Model)
מודל היגיון, מודל מחשבה או מודל חשיבה, הם שמות שונים של מודל שנועד לחקות את תהליך החשיבה האנושית. הוא מתמקד בהסקת מסקנות לוגיות על בסיס מידע נתון, ולא רק בהפקת תשובות מהירות.
מודלים אלו מבצעים לעיתים קרובות "שרשרת מחשבה" (Chain of Thought), כלומר הם חושבים צעד אחר צעד כדי לפתור בעיות מורכבות, כמו בעיות מתמטיות או מדעיות. זה מאפשר להם להסביר את הפתרונות שלהם בצורה ברורה ומדויקת יותר. פירוט בתגית "מודל היגיון".
#שרשרת מחשבה (Chain of Thought)
ה-Chain of Thought ובקיצור CoT, הוא טכניקת הפעלת מודלים שבה המודל מונחה לפרק בעיה סבוכה ומורכבת ולייצר רצף של צעדי חשיבה קטנים, לפני שהוא מספק תשובה.
שיטה זו, המחקה את דרך הפעולה האנושית, שיפרה את יכולות ההיגיון של מודלים גדולים והוכחה כיעילה בביצוע משימות שונות כמו חישובים, רציונליזציה של מצבים יומיומיים, ופתרון בעיות סימבוליות.
המודל מתבסס על דוגמאות קודמות כדי להנחות את החשיבה שלו, מה שמוביל לשיפור משמעותי בביצועים. פירוט בתגית "שרשרת מחשבה".
#סיכום
אז נסכם שמולטי מודאליטי או מולטי מודאליות משלבת סוגי נתונים או קלט שונים ולא רק טקסט ובכך משפרת ביצועים.
מודל היגיון, או חשיבה, בסמוך, מחקה את החשיבה האנושית ומספק הסברים לוגיים לתשובות שהוא נותן, בעוד שחשיבה מדורגת, או שרשרת מחשבה, היא טכניקה שמסייעת ומנחה מודלים לחשוב על בעיות בצורה מסודרת, לפני שהם נותנים את התשובה.
שלושת המושגים הללו קשורים זה בזה, כי מודלי ההיגיון יכולים להשתמש בטכניקות של חשיבה מודרגת (Chain of Thought) ולא פעם משולבים בהם אמצעים מולטי-מודאליים כדי לנצל את היתרונות של כל אחד מהם.
מהם ומה עושים הפרמטרים במודלי AI?
פרמטרים בלמידת מכונה (Machine Learning parameters), אם רוצים להבין מהם, אז כדאי לחשוב עליהם בתור המשתנים שקובעים את איכות ה"חשיבה" של מודל AI.
תפקידי הפרמטרים במודל שפה הם להבין הקשרים מורכבים בשפה, לחזות את המילה הבאה ברצף הטקסט שמפיק המודל ובסופו של דבר להצליח לייצר טקסט קוהרנטי (הגיוני) ומשמעותי.
אגב, במקום במילים זכרו שהטקסטים נבנים באמצעות טוקנים - ראו בתגית "טוקנים".
אבל עכשיו, אחרי שהסברנו בפשטות, הבה נפרט יותר ונרד לאיך זה נעשה: פרמטרים הם שלוכדים את הקשרים הסטטיסטיים שבין מילים ומושגי שפה שנמצאו בנתוני האימון. אפשר לדמות אותם למעין "כפתורים" בתוך המודל, שניתן לכוונם בכדי לשפר את יכולת המודל לעבד ולייצר שפה אנושית ומרשימה כל כך.
דמיינו שהידע על השפה מזוקק לתוך הפרמטרים ואז, בדומה למערכת סאונד שבה טכנאי הקול מכוונן את הכפתורים כדי להשיג את איכות הצליל הטובה ביותר, מהנדסי ה-AI מכוונים את מיליארדי הפרמטרים כדי להגיע לאיכות הגבוהה ביותר של התוצרים שהמודל ייצר.
בעצם, פרמטרים במודלים של בינה מלאכותית הם בקרי הגדרות פנימיות במודל שניתן לכוון במהלך האימון ועל ידי כך לשפר את יכולתו לעבד ולייצר שפה, תשובות ותגובות טובים יותר.
כלומר, ככל שיש במודל שפה יותר פרמטרים, גדלה גם חוכמתו ויכולתו לעשות שימוש במגוון המידע שנאגר בו. באמצעות הפרמטרים שולטים המהנדסים ברמה בה מודל AI מבין ויוצר שפה.
במהלך האימון, ערכי הפרמטרים מכוונים ומתעדכנים כדי לקודד דפוסים ממערכי הנתונים העצומים עליהם מאומנים המודלים הללו. הפרמטרים לוכדים את הקשרים הסטטיסטיים בין מילים ומושגי שפה שנמצאו בנתוני האימון. עבודה טובה איתם מאפשרת חשיבה טובה ומורכבת יותר ושימוש יותר מוצלח בידע שהמודל צבר, מה שיאפשר תגובות ותוצרים מדויקים יותר.
אגב, מספר הפרמטרים משקף בדרך כלל את גודל המודל. מודלים גדולים יותר יכולים להבין או לתפוס מורכבויות רבות יותר של שפה. מצד שני, הם גם יקרים יותר להפעלה, דורשים כוח מחשוב רב יותר ויש להם השפעה סביבתית רבה יותר, שהיא המחיר שאנו משלמים על כל ה-AI הזה.
אבל חשוב להבין שמספר הפרמטרים אינו המדד היחידי ליעילות המודל. לא פחות חשובה היא איכות הנתונים שעליהם אומן המודל. מודל קטן יותר שאומן על נתונים איכותיים יותר עשוי לבצע את המשימות טוב יותר ממודל גדול יותר שאומן על נתונים פחות מוצלחים.
כלומר, חיבור של כמות הפרמטרים, לצד איכות האימון, רמת הדאטה שעליו אומן המודל והיעילות הכוללת שלו הם המפתח ליכולות של מודל שפה.
הנה הפרמטרים במודל AI ואיך הם משתלבים בתמונה הכללית:
https://youtu.be/mnqXgojQCJI
פרמטרים וטוקנים הם לא הכל במודלים:
https://youtu.be/a1nqXQMOCks
והפרמטרים כחלק מהבינה היוצרת בכללה:
https://youtu.be/r17HV0TzAWw?long=yes
מודל AI
למידת מכונה מתבססת על יצירה של מודל גדול. המודל עצמו הוא אכן אוסף גדול ומורכב של מספרים (המכונים "טוקנים" (Tokens), בעברית אסימונים. הטוקנים האלה מייצגים מידע, כלומר דאטה שהוזן למודל מהעולם האמיתי כקלט (Input) משלל מקורות, אם מסריקת אתרי אינטרנט, בלוגים, פורומים וקבצי תוכן ועד לסריקה של ספרים אמיתיים, מגזינים ועיתונים.
המספרים הללו מייצגים את פריטי הקלט המסוים ומגדירים קשרים מתמטיים ביניהם. על ידי אימון מתמיד של המודל, הוא הולך ומזהה את הקשרים הללו כדפוסים, שיהיו מוכנים כמעין ידע שהוא למד, לקראת שימוש בו, להצגת תחזיות, מענה לשאלות, חישובים של בעיות שיפנו אליו המשתמשים.
#תהליך האימון
לפני וכדי שמודל יוכל לענות על שאלות או להציע תחזיות יש לאמן אותו. ממש כמו מאמן כושר או מפקד טירונים בצבא, שמקבלים אימון, הוא יקבל אוסף של נתונים, דאטה שיעמוד לרשותו, כדי שיוכל לזהות את אותם דפוסים. זה חייב להיות קלט (Input) עצום וגדול, כלומר המון נתונים, Big Data.
כדי לאמן מודל אנחנו נותנים לו אוסף של קלטים. הקלטים הללו ישתנו לפי סוג ומטרת המודל, אך המטרה הבסיסית, העליונה והתמידית שלו תהיה למצוא את הדפוסים בדאטה, כך שהוא יוכל ליצור תחזיות טובות ולתת תשובות טובות וללא הֲזָיוֹת (Hallucinations).
#שיטות אימון
למידת מכונה מתבצעת בכמה שיטות שונות, שכל אחת מחייבת "שיטת הוראה" שונה. ישנם 3 סוגים של למידת מכונה: למידה ללא פיקוח, למידה מפוקחת ולמידת חיזוק.
- למידה לא מפוקחת - היא למידת מכונה הלומדת באמצעות זיהוי עצמי של קווי דמיון ודפוסים וללא הנחיה אנושית.
- למידה מפוקחת - מתבססת על אימון בינה מלאכותית באמצעות דוגמאות מסומנות. כלומר, למידה שמסתמכת על קלט מבני אדם כדי לבדוק את דיוק התחזיות.
- למידת חיזוק - מתבססת על אימון בינה מלאכותית באמצעות ניסוי וטעייה. כלומר, מדובר בלמידה מחוזקת משמשת לתוכניות טיפול, תוך איסוף משוב באופן חוזר ונשנה (איטרטיבי) והשוואה מול הדאטה המקורית של כל פרופיל, כדי לקבוע את הטיפול היעיל ביותר לו.
כאשר מודלים אלה הופכים לעצמם, קשה יותר לקבוע את תהליך קבלת ההחלטות שלהם, מה שיכול להשפיע על העבודה, הבריאות והבטיחות שלנו.
#דוגמה
הנה דוגמה מהעולם הרפואי של רופאים והמטופלים שלהם:
בלמידה ללא פיקוח נוכל להשתמש כדי שהמודל יזהה קווי דמיון בין פרופילי מטופלים שונים ויאתר דפוסים שמתעוררים אצלם, כשהוא עושה זאת ללא הדרכה אנושית וללא פיקוח של רופאים ומומחים.
למידה מפוקחת, לעומת זאת, תסתמך על הקלט של הרופאים שיבצעו את האבחנה הסופית ויבדקו את הדיוק של חיזוי האלגוריתם. כלומר כאן המכונה תלמד מהמומחה, גם מהאבחנות המוצלחות שלו אך גם משגיאותיו. אם יוזנו למכונה נתונים של 2 קבוצות, חולים ובריאים, היא תזהה בעצמה מאפיינים שמשותפים לחולים במחלה מסוימת ושאינם נמצאים אצל אנשים בריאים. לאחר השוואה בין תחזיות המכונה לאבחון הסופי של המומחים, המכונה תלמד לזהות את התסמינים של המחלה ולסייע לרופאים לאבחן אותה נכון בעתיד.
למידת חיזוק תשמש לתכניות טיפול, בגישה איטרטיבית, תהליך חוזר ונשנה בו יוזן למכונה, שוב ושוב, המשוב החוזר על ידי הרופאים. המשוב יהיה לגבי יעילות התרופות, המינונים השונים ולגבי הטיפולים היעילים יותר ופחות, כך שהמודל ישווה יעילות של התרופות, המינונים והטיפולים לדאטה של החולה ויסיק מסקנות שיאפשרו לו לחזק בעתיד את הטיפולים המוצלחים והייחודיים יותר, אלו שיתאימו לפרופילי חולים, עם מאפיינים ומקרים שונים, לאור תגובות חולים משתנות, נסיבות שונות של המחלה ומצבי המחלה המגוונים לאורך הטיפול.
כלומר, החוקרים יכולים להשתמש במערכות למידת המכונה הללו ביחד, כדי לבנות מערכות בינה מלאכותית.
אבל - ויש כאן אבל משמעותי - יש לשים לב שככל שהמודלים הללו מכוונים באופן עצמאי, יהיה קשה יותר לקבוע כיצד האלגוריתמים השונים מגיעים לפתרונות שלהם, מה שיכול להיות בעל השפעה משמעותית על העבודה, הבריאות והבטיחות שלנו, בני האדם, כשאנו משתמשים בהם. לכן, באימון של מודלים גדולים (LLMs) משתמשים לרוב בכל השיטות הללו במקביל, כשלא פעם הן מאמנות אחת את השנייה.
הנה אימון מכונה פשוט (עברית):
https://youtu.be/CC-TGXxc-Go
כך המכונה לומדת ומדוע כדאי לשלב שיטות אימון שונות (מתורגם):
https://youtu.be/0yCJMt9Mx9c
וכך האלגוריתמים לומדים (מתורגם):
https://youtu.be/R9OHn5ZF4Uo?long=yes
זה אחד הפיתוחים המרגשים של עידן הבינה החדש ומה שמרגיש לא פעם כמו סרטי מד"ב מהיותר מתוחכמים. קוראים לזה מולטי-מודאליות (Multimodality) והוא בעצם היכולת של כלי AI לעבוד עם סוגי נתונים שונים, כמו טקסט, אודיו, קוד, וידאו ותמונות - גם כקלט וגם כפלט.
במקום להתמקד בסוג אחד בלבד של נתונים, מערכת רב-מודאלית מקבלת ומנתחת מידע ממקורות מגוונים, בכדי לקבל הבנה מעמיקה יותר של העולם הסובב אותה. מדובר בכלי ממוחשב שבדיוק כמו שבני אדם חווים את העולם דרך כל החושים והחוויות, לא רק מבין טקסט, אלא גם רואה תמונות וסרטים, מעבד ומנתח וידאו, מגלה הבנה מרחבית, שומע קולות וצלילים, מפענח קוד של תוכנה ומסוגל גם ליצור תכנים ותוצרים בכל המדיות הללו.
בדומה למוח האנושי, המשלב בטבעיות מידע מכל החושים, העולם של המערכות המולטי מודאליות ב-generative AI מציג יכולת שהיא עוד רכיב במהפכה הגדולה של מערכות בינה מלאכותית, מהפכונת שמאפשרת לעבד ולשלב כמה סוגי מדיה במקביל.
המערכות החדשות הללו מצוידות בשכבות מורכבות של פענוח ומפענחות את העולם פחות או יותר כמו מחשב-על. דוגמאות לא חסר. למשל עם צ'טבוט שבזכות ההבנה המרחבית המשופרת שלו מסוגל לזהות ולהוסיף כיתוב מדויק לעצמים שונים בתמונות עמוסות פריטים. או צ'טבוט שמנתח תמונות ומאפשר למשתמש לנהל עליהן דיון, או סוקר אינפוגרפיקה ונותן לה פרשנות קולית רלוונטית, בהתאם לרמת ההבנה של המשתמש או קהל היעד המבוקש. לכלי כזה יש גם כלי וידאו שמקבלים תמונה והנחייה כתובה (פרומפט) ומנפישים את התמונה לקליפ וידאו שכמו צולם בידי צוות צילום הוליוודי.
דוגמה נוספת היא כלי אינטראקציה רב-מודאלי כמו NotebookLM. הוא מאפשר למשתמשים לשתף איתו את המסך או המצלמה שלהם בזמן אמת. כך ניתן לקיים שיחות קוליות דמויות אדם, תוך כדי שמאפשרים ל-AI לצפות במסך ולעזור, תוך כדי מודעות להקשר ולתוכן.
אפילו תכונת זיהוי הפנים בסמארטפון שלכם היא תכונה שמשלבת היטב ראייה ממוחשבת, מיפוי תלת-ממדי ועיבוד נתונים מתקדם. ומאלה היא יוצרת פיצ'ר מדהים, בצד חווית משתמש פשטותה כמו מבט של שומר אנושי.
שילוב של צורות נתונים מרובות, כמו טקסט, תמונות ואודיו לתוך מערכת מאוחדת ורב-מודאלית היא שמאפשרת למודלים כמו Claude או GPT-4 לכתוב קוד כשמזינים לתוכו דיאגרמה ולמודלים שונים ליצור תמונות או סרטוני וידאו עם תיאורים.
את המהפכה המולטימודאלית אפשר לזהות בקלות בפלטפורמות כמו טיקטוק (TikTok) ואינסטגרם (Instagram), בהן משלבים סוגי מדיה מגוונים ומעבדים במגוון כלים, המשנים את הדרך בה אנו מספרים את הסיפור שלנו לעולם.
הנה הסבר היכולת המולטי-מודאלית:
https://youtu.be/97n1u66Shgg
כך עובדים מערכות מולטי מודאליות:
https://youtu.be/WkoytlA3MoQ
וההיפר מודאליות החדשה של גוגל מארינר:
https://youtu.be/KeUMm1xF3o0?long=yes
בעולם המתהווה ממש לנגד עינינו יש לעתים בלבול בין טכנולוגיות, מושגים ורעיונות שונים. הבה נבהיר את ההבדלים ביניהם:
#מולטי מודאליות (Multimodal Model)
זוהי תכונה של מודל שפה שיכול לקבל סוגי קלט שונים ולהתייחס אליהם, במקום רק טקסט, כמו מודלי השפה הרגילים או הראשונים שהכרנו בהתחלה. הרעיון במודלים מולטי-מודאליים כאלו הוא שהם משלבים כמה סוגי נתונים או מודאלים, כולל טקסט, תמונות, הקלטות, אולי סרטונים וכדומה.
דוגמה לכך היא מודל ה-Multimodal Chain-of-Thought (בקיצור CoT), שמציע גישה בה המודל משתמש בשני שלבים: הראשון הוא יצירת רציונלים, הסברים, והשלב השני של הסקת תשובות. השילוב של מידע טקסטואלי עם מידע חזותי מאפשר למודלים אלו לשפר את ביצועיהם ולצמצם את כמות ה"הזיות" (hallucinations) בתשובותיהם. פירוט בתגית "מולטי מודאליות".
#מודל היגיון (Reasoning Model)
מודל היגיון, מודל מחשבה או מודל חשיבה, הם שמות שונים של מודל שנועד לחקות את תהליך החשיבה האנושית. הוא מתמקד בהסקת מסקנות לוגיות על בסיס מידע נתון, ולא רק בהפקת תשובות מהירות.
מודלים אלו מבצעים לעיתים קרובות "שרשרת מחשבה" (Chain of Thought), כלומר הם חושבים צעד אחר צעד כדי לפתור בעיות מורכבות, כמו בעיות מתמטיות או מדעיות. זה מאפשר להם להסביר את הפתרונות שלהם בצורה ברורה ומדויקת יותר. פירוט בתגית "מודל היגיון".
#שרשרת מחשבה (Chain of Thought)
ה-Chain of Thought ובקיצור CoT, הוא טכניקת הפעלת מודלים שבה המודל מונחה לפרק בעיה סבוכה ומורכבת ולייצר רצף של צעדי חשיבה קטנים, לפני שהוא מספק תשובה.
שיטה זו, המחקה את דרך הפעולה האנושית, שיפרה את יכולות ההיגיון של מודלים גדולים והוכחה כיעילה בביצוע משימות שונות כמו חישובים, רציונליזציה של מצבים יומיומיים, ופתרון בעיות סימבוליות.
המודל מתבסס על דוגמאות קודמות כדי להנחות את החשיבה שלו, מה שמוביל לשיפור משמעותי בביצועים. פירוט בתגית "שרשרת מחשבה".
#סיכום
אז נסכם שמולטי מודאליטי או מולטי מודאליות משלבת סוגי נתונים או קלט שונים ולא רק טקסט ובכך משפרת ביצועים.
מודל היגיון, או חשיבה, בסמוך, מחקה את החשיבה האנושית ומספק הסברים לוגיים לתשובות שהוא נותן, בעוד שחשיבה מדורגת, או שרשרת מחשבה, היא טכניקה שמסייעת ומנחה מודלים לחשוב על בעיות בצורה מסודרת, לפני שהם נותנים את התשובה.
שלושת המושגים הללו קשורים זה בזה, כי מודלי ההיגיון יכולים להשתמש בטכניקות של חשיבה מודרגת (Chain of Thought) ולא פעם משולבים בהם אמצעים מולטי-מודאליים כדי לנצל את היתרונות של כל אחד מהם.
פרמטרים בלמידת מכונה (Machine Learning parameters), אם רוצים להבין מהם, אז כדאי לחשוב עליהם בתור המשתנים שקובעים את איכות ה"חשיבה" של מודל AI.
תפקידי הפרמטרים במודל שפה הם להבין הקשרים מורכבים בשפה, לחזות את המילה הבאה ברצף הטקסט שמפיק המודל ובסופו של דבר להצליח לייצר טקסט קוהרנטי (הגיוני) ומשמעותי.
אגב, במקום במילים זכרו שהטקסטים נבנים באמצעות טוקנים - ראו בתגית "טוקנים".
אבל עכשיו, אחרי שהסברנו בפשטות, הבה נפרט יותר ונרד לאיך זה נעשה: פרמטרים הם שלוכדים את הקשרים הסטטיסטיים שבין מילים ומושגי שפה שנמצאו בנתוני האימון. אפשר לדמות אותם למעין "כפתורים" בתוך המודל, שניתן לכוונם בכדי לשפר את יכולת המודל לעבד ולייצר שפה אנושית ומרשימה כל כך.
דמיינו שהידע על השפה מזוקק לתוך הפרמטרים ואז, בדומה למערכת סאונד שבה טכנאי הקול מכוונן את הכפתורים כדי להשיג את איכות הצליל הטובה ביותר, מהנדסי ה-AI מכוונים את מיליארדי הפרמטרים כדי להגיע לאיכות הגבוהה ביותר של התוצרים שהמודל ייצר.
בעצם, פרמטרים במודלים של בינה מלאכותית הם בקרי הגדרות פנימיות במודל שניתן לכוון במהלך האימון ועל ידי כך לשפר את יכולתו לעבד ולייצר שפה, תשובות ותגובות טובים יותר.
כלומר, ככל שיש במודל שפה יותר פרמטרים, גדלה גם חוכמתו ויכולתו לעשות שימוש במגוון המידע שנאגר בו. באמצעות הפרמטרים שולטים המהנדסים ברמה בה מודל AI מבין ויוצר שפה.
במהלך האימון, ערכי הפרמטרים מכוונים ומתעדכנים כדי לקודד דפוסים ממערכי הנתונים העצומים עליהם מאומנים המודלים הללו. הפרמטרים לוכדים את הקשרים הסטטיסטיים בין מילים ומושגי שפה שנמצאו בנתוני האימון. עבודה טובה איתם מאפשרת חשיבה טובה ומורכבת יותר ושימוש יותר מוצלח בידע שהמודל צבר, מה שיאפשר תגובות ותוצרים מדויקים יותר.
אגב, מספר הפרמטרים משקף בדרך כלל את גודל המודל. מודלים גדולים יותר יכולים להבין או לתפוס מורכבויות רבות יותר של שפה. מצד שני, הם גם יקרים יותר להפעלה, דורשים כוח מחשוב רב יותר ויש להם השפעה סביבתית רבה יותר, שהיא המחיר שאנו משלמים על כל ה-AI הזה.
אבל חשוב להבין שמספר הפרמטרים אינו המדד היחידי ליעילות המודל. לא פחות חשובה היא איכות הנתונים שעליהם אומן המודל. מודל קטן יותר שאומן על נתונים איכותיים יותר עשוי לבצע את המשימות טוב יותר ממודל גדול יותר שאומן על נתונים פחות מוצלחים.
כלומר, חיבור של כמות הפרמטרים, לצד איכות האימון, רמת הדאטה שעליו אומן המודל והיעילות הכוללת שלו הם המפתח ליכולות של מודל שפה.
הנה הפרמטרים במודל AI ואיך הם משתלבים בתמונה הכללית:
https://youtu.be/mnqXgojQCJI
פרמטרים וטוקנים הם לא הכל במודלים:
https://youtu.be/a1nqXQMOCks
והפרמטרים כחלק מהבינה היוצרת בכללה:
https://youtu.be/r17HV0TzAWw?long=yes
