שלום,
נראה שכבר הכרתם את אאוריקה. בטח כבר גיליתם כאן דברים מדהימים, אולי כבר שאלתם שאלות וקיבלתם תשובות טובות.
נשמח לראות משהו מכם בספר האורחים שלנו: איזו מילה טובה, חוות דעת, עצה חכמה לשיפור או כל מה שיש לכם לספר לנו על אאוריקה, כפי שאתם חווים אותה.
»
«
מהם מודלי שפה גדולים, או LLM?
מודל שפה גדול (LLM), קיצור של Large Language Model, הוא ה"מוח" שמפעיל צ'אטבוט עוצמתי, כמו הצ'אטבוט ChatGPT, המייצר תוכן לבקשת המשתמשים ועושה זאת באמצעות מודל השפה הגדול GPT-4.
את התוכן מייצר הצ'אטבוט מדאטה עצום, כמות מידע אדירה שנשאבה מהאינטרנט ובאמצעותה אימנו את מודל השפה שמפעיל אותו. מודלי השפה GPT-3 ו-GPT-4, למשל, הם שמפעילים את הצ'אטבוט הכי מפורסם ChatGPT.
יש שאומרים שמודל השפה בעצם הוא לא יותר ממחולל מילים סטטיסטי. הם צודקים אבל גם טועים. כי מודל שפה יכול לחשב מצוין הסתברות של הופעת מילים שונות בכל משפט וכך לייצר משפטים חדשים, מילה אחר מילה, בשפה שבה הוא אומן על ידי המפתחים שלו. אבל זו דוגמה בלבד ואפילו קצת מטעה. כי סטטיסטיקה זה לא הכל וכנראה לא לגמרי המהות של העניין. המוח של מודל השפה, האופן שבו הוא בנוי והתובנות והביצועים שהוא יכול לנפק, הם משמעותיים הרבה יותר.
מודל כזה מבוסס על רשת עצבית מלאכותית הבנויה בצורה דומה למוח האנושי. הרשת הזו היא בעלת כמות אדירה של פרמטרים, לרוב מיליארדים. הפרמטרים הללו הם ערכים מספריים שמסייעים לאלגוריתם ללמוד.
עוד ביטוי לגודלו הגדול של המודל הוא באימון שלו על מאות מיליוני מילים, בכמויות ענק של טקסט לא מתויג, בשיטת למידה שאינה מסתמכת רק על דוגמאות אנושיות, או מה שנקרא "למידה בפיקוח-עצמי".
#איך זה בדיוק עובד?
נניח ששאלתם שאלה, מודל השפה הגדול מניח את נוסח השאלה על שולחן הטיפולים שלו ובודק בדאטה שלו, במידע העצום שהוא אגר והמיר לקוד מתמטי (ראו אח"כ בתגית" טוקנים"), מה המילה שהכי סביר (מבחינת הסתברות) שתתחיל את התשובה. ואז הוא בודק מה המילה עם ההסתברות הכי גבוהה להופיע אחריה וכך הלאה. זה ייתן לו את התשובה הסבירה ביותר לשאלה.
למה הכי סבירה ולא הכי טובה? - כי הסתברות היא לעולם לא מושלמת וזו בדיוק הסיבה להזיות שנקבל לא פעם ממנועי בינה מלאכותית. אגב, אם תבקשו ממנו לבדוק את תשובתו, כל LLM ימצא ויפרט את שגיאותיו וגם יציע לתקן את המענה שנתן ובתיקון זה כבר יהיה הרבה יותר טוב.
ה-LLM משתמש בייצוג מתמטי של שפה טבעית באמצעות הסתברויות. כל מדען נתונים יאשר שהבסיס של מודלי שפה הוא היכולת שלהם לחשב הסתברות לכל משפט בשפה שבה הם אומנו ומהיכולת הזו נובע חלק משמעותי ביכולת שלהם לייצר משפטים חדשים, מילה אחר מילה.
#מודלי השפה הגדולים והבינה הג'נרטיבית
מודל השפה הגדול הוא בעצם הבסיס למהפכת הבינה הגנרטיבית שפרצה לחיינו בשלהי 2022-תחילת 23. מודלי השפה הגדולים הללו מסמנים קפיצת דרך של ממש ולמעשה הכניסו אותנו עמוק אל תוך העתיד.
הייתה זו IBM שפיתחה את אחד ממודלי השפה הראשונים. הוא נקרא ווטסון, על שם תומאס ווטסון, מייסד IBM. יש גרסה שאומרת שהוא קיבל את שמו משמו משם העוזר של שרלוק הולמס, ווטסון. מודל כזה, ממש כמו אותו עוזר, תמיד מסייע בחקר ובתשובות שונות, כיום של רבים ואצל שרלוק, לצרכי החקירות של הבלש הנודע.
מצוידים במודלים החדשים, הצ'אטבוטים המרשימים, כמו Claude ו-ChatGPT, מסרבים להיות לכם לווטסון. במקום זאת הם מפותחים כך שיהיו המוח, כלומר השרלוק שלכם, כשאתם וכמה זה אירוני, בתפקיד הווטסון או העוזר שלהם... אבל גם הלקוחות.
מודל שפה הוא שמאפשר לנו לבקש ממנו לסכם טקסטים, לענות על שאלות, לצייר או בעצם לייצר תמונות ו"צילומים", לחבר שירים, ליצור סרטונים או לכתוב קוד.
אז מודלי שפה גדולים אפשרו את קפיצת הדרך המדהימה של מהפכת ה-AI. אמנם הם רחוקים מלהיות מושלמים לחלוטין ועדיין פה ושם מקלקלים את ההתפעלות עם ההזיות המוכרות האלה שלהם, עובדות שגויות, מידע לא רלוונטי או מופרך ואפילו עלבונות נדירים. ומה שלא פחות מרגיז לעתים הוא הביטחון המלא שבו הם כותבים או מדברים אותן, שזה בדיוק מה שהופך את חשיפת ההזיות ובדיות הללו לכל כך קשה ומסוכנת...
כיום, המודלים הללו הולכים ומאפשרים צמיחה של עולם חדש, עולם סוכני ה-AI. הם ממוקדים בביצוע משימות ספציפיות, תגובה לסביבה ועוד תכונות מבטיחות. הכירו אותם בתגית "סוכני AI".
הנה מה שעושים המודלים, מנועי השפה הגדולים (מתורגם):
https://youtu.be/X-AWdfSFCHQ
מהו LLM?
https://youtu.be/iR2O2GPbB0E
השוואת הצ'טבוטים הטובים, מנועי השפה הגדולים בסוף 2024 (עברית):
https://youtu.be/NanvGTQeO-g
כך פועל מודל השפה הגדול LLM:
https://youtu.be/iR2O2GPbB0E
כך בנויים ופועלים מודלי השפה הגדולים:
https://youtu.be/5sLYAQS9sWQ
יש להם גם חסרונות:
https://youtu.be/Gf_sgim24pI
הסבר מעמיק על מודלים גדולים של שפה ומה שהם הובילו (עברית):
https://youtu.be/-NIsUKUnxhA?long=yes
ובאופן סטטיסטי - כך פועל LLM:
https://youtu.be/LPZh9BOjkQs?long=yes
מה בין צ'אטבוט, LLM וסוכן AI שמבצע משימות?
צ'אטבוט (Chatbot) הוא סוג של סייען חכם וממוחשב, שניתן לשוחח איתו בהתכתבות צ'אט, או במקרה של צ'אטבוט מתקדם יותר גם שיחה מבוססת דיבור.
כמובן שהצ'אטבוט הוא מערכת מבוססת AI (בינה מלאכותית, או אינטליגנציה מלאכותית) שמייצרת שיחה מלאכותית עם המשתמש - מבלי שבצד השני נמצא אדם אמיתי.
בעשור השני של המאה ה-21 הצ'אטבוט הלך ותפס את מקומו ברשת ובאפליקציות שונות והפך לדרך חדשה לחלוטין להשתמש באינטרנט. לקוחות מצאו את עצמם מנהלים התכתבות בצ'אט או שיחה אוטומטיות עם בוט, שנתן מענה מותאם אישית ושיפר את עצמו עם הזמן.
הצ'טבוט הבטיח לספק שירות לאורך כל שעות היממה, 24/7. הוא סימן הפחתה של המון מהעומס של שירות הלקוחות האנושי, חסך זמן למתעניינים וללקוחות שביקשו שירות וחסך לעסקים הרבה כסף.
התגלה שבוט AI ממוקד ואיכותי מסוגל להציע תגובות מהירות ומדויקות, מה שהוביל לשיפור ניכר בחוויית הלקוח ולעלייה בשביעות הרצון, אף שהיו לקוחות שהתעקשו לשוחח עם בן אדם, שהיה עמוס עכשיו פחות ולכן גם זמין להם הרבה יותר.
היתרונות של הצ'טבוט בטיפול אישי במשתמש ובלקוח היו עצומים. שולבו בו טכנולוגיות פרסונליזציה מתקדמות שהלכו והתפתחו, תוך גיוס הבינה המלאכותית לצרכי השיווק, המכירות והתמיכה.
רבים חזו שצ'אטבוטים עשויים להחליף חלק ניכר מהשימוש באתרי שירותים שונים ולייתר אותם בעתיד, מה שהתממש אבל חלקית.
בזמנו החליטה פייסבוק להשתמש בצ'אטבוטים בתוך שירות המסרים שלה מסנג'ר. היא אפשרה למפתחים חיצוניים לפתח צ'אטבוטים שיתנו שירותים ומידע מאתרים אחרים. ההכרזה על פלטפורמת הצ'אט בוט של פייסבוק מסנג'ר קדמה את רעיון הצ'אטבוטים המקוונים באופן משמעותי, במיוחד למשתמש הנייד בסמארטפונים ושעונים חכמים, אם כי הזינוק הטרנדי שנוצר עם ההשקה הלך ונרגע עם הזמן.
ההבשלה של אותם צ'אטבוטים באה בעשור הבא דווקא. זה קרה עם הגעתו של ChatGPT, מודל השפה הגדול הראשון (LLM), שאחריו הגיעו נוספים, כמו Gemini או Claude. מודל השפה הזה הוא בעיקרון מנוע בינה מלאכותית גדול ורחב-אופקים, המצויד ביכולת להבין שפה טבעית, אנושית, ויכול לעשות המון דברים, כלומר להתמודד עם מגוון ענקי של משימות ושהיכולות שלו הולכות וגדלות מיום ליום. ראו בתגית "LLM".
ממודלי השפה הגדולים התפתחו גם מנועי היצירה של הבינה הג'נרטיבית (Generative AI), המייצרים תמונות, שירים, וידאו ועוד. הכירו בתגית "GenAI".
אחריו נולדו סוכני ה-AI, צ'אטבוטים שממלאים משימות עבורך, על ידי שילוב בין היכולת הבינתית של מודל השפה הגדול כמו ChatGPT, עם היכולת של רכיב תוכנה שיכול לפעול באופן עצמאי וממוקד, למילוי של משימה ספציפית עבורנו, כמו לתכנן טיול, לקנות מוצרים אונליין, לטפל בדואר האלקטרוני שלנו וכדומה.
אותם סוכני AI הם רכיבי תוכנה אוטונומיים, יישומים מבוססי בינה מלאכותית, המסוגלים לתפוס את סביבתם, לקבל החלטות ולפעול לביצוע או השגת מטרות ממוקדות בשירות המשתמש. הכירו אותם בתגית "סוכני AI".
כלומר, אם הצ'טבוט של העשור שהחל ב-2010 היה עובד חרוץ אך לא חכם מדי, הצ'טבוט הבינתי של מודל השפה הגדול בעשור שאחריו רכש השכלה ופיתח את יכולותיו האינטליגנטיות באופן שהפך אותו למומחה ואז מגיע הסוכן הבינתי, AI agent והוא כבר עובד שמתמחה במשימה מסוימת ועושה אותה בצורה מיומנת וחרוצה.
עסקה טובה לרובנו.
פעילות נחמדה
============
בקישורים שלמטה יש לינק לצ'ט בוט נהדר. נסו לשוחח איתה (באנגלית) ולהכיר קצת את חוויית השיחה עם צ'ט בוט אופייני.
הנה עולם הצ'אטבוט:
http://youtu.be/iE9LtfQAYYU
עוד על השימוש בצ'אטבוטים ברשת:
http://youtu.be/G8z--x5tFOI
ההכרזה על הצ'אט בוט במסנג'ר של פייסבוק:
http://youtu.be/EOYnFUJyOlQ
ומנגד - כשהושק הצ'אטבוט של מיקרוסופט הוא "הסתבך" עם ביטויי גזענות קשים:
http://youtu.be/LA49GBcbudg
מודל שפה גדול
מודל שפה גדול (LLM), קיצור של Large Language Model, הוא ה"מוח" שמפעיל צ'אטבוט עוצמתי, כמו הצ'אטבוט ChatGPT, המייצר תוכן לבקשת המשתמשים ועושה זאת באמצעות מודל השפה הגדול GPT-4.
את התוכן מייצר הצ'אטבוט מדאטה עצום, כמות מידע אדירה שנשאבה מהאינטרנט ובאמצעותה אימנו את מודל השפה שמפעיל אותו. מודלי השפה GPT-3 ו-GPT-4, למשל, הם שמפעילים את הצ'אטבוט הכי מפורסם ChatGPT.
יש שאומרים שמודל השפה בעצם הוא לא יותר ממחולל מילים סטטיסטי. הם צודקים אבל גם טועים. כי מודל שפה יכול לחשב מצוין הסתברות של הופעת מילים שונות בכל משפט וכך לייצר משפטים חדשים, מילה אחר מילה, בשפה שבה הוא אומן על ידי המפתחים שלו. אבל זו דוגמה בלבד ואפילו קצת מטעה. כי סטטיסטיקה זה לא הכל וכנראה לא לגמרי המהות של העניין. המוח של מודל השפה, האופן שבו הוא בנוי והתובנות והביצועים שהוא יכול לנפק, הם משמעותיים הרבה יותר.
מודל כזה מבוסס על רשת עצבית מלאכותית הבנויה בצורה דומה למוח האנושי. הרשת הזו היא בעלת כמות אדירה של פרמטרים, לרוב מיליארדים. הפרמטרים הללו הם ערכים מספריים שמסייעים לאלגוריתם ללמוד.
עוד ביטוי לגודלו הגדול של המודל הוא באימון שלו על מאות מיליוני מילים, בכמויות ענק של טקסט לא מתויג, בשיטת למידה שאינה מסתמכת רק על דוגמאות אנושיות, או מה שנקרא "למידה בפיקוח-עצמי".
#איך זה בדיוק עובד?
נניח ששאלתם שאלה, מודל השפה הגדול מניח את נוסח השאלה על שולחן הטיפולים שלו ובודק בדאטה שלו, במידע העצום שהוא אגר והמיר לקוד מתמטי (ראו אח"כ בתגית" טוקנים"), מה המילה שהכי סביר (מבחינת הסתברות) שתתחיל את התשובה. ואז הוא בודק מה המילה עם ההסתברות הכי גבוהה להופיע אחריה וכך הלאה. זה ייתן לו את התשובה הסבירה ביותר לשאלה.
למה הכי סבירה ולא הכי טובה? - כי הסתברות היא לעולם לא מושלמת וזו בדיוק הסיבה להזיות שנקבל לא פעם ממנועי בינה מלאכותית. אגב, אם תבקשו ממנו לבדוק את תשובתו, כל LLM ימצא ויפרט את שגיאותיו וגם יציע לתקן את המענה שנתן ובתיקון זה כבר יהיה הרבה יותר טוב.
ה-LLM משתמש בייצוג מתמטי של שפה טבעית באמצעות הסתברויות. כל מדען נתונים יאשר שהבסיס של מודלי שפה הוא היכולת שלהם לחשב הסתברות לכל משפט בשפה שבה הם אומנו ומהיכולת הזו נובע חלק משמעותי ביכולת שלהם לייצר משפטים חדשים, מילה אחר מילה.
#מודלי השפה הגדולים והבינה הג'נרטיבית
מודל השפה הגדול הוא בעצם הבסיס למהפכת הבינה הגנרטיבית שפרצה לחיינו בשלהי 2022-תחילת 23. מודלי השפה הגדולים הללו מסמנים קפיצת דרך של ממש ולמעשה הכניסו אותנו עמוק אל תוך העתיד.
הייתה זו IBM שפיתחה את אחד ממודלי השפה הראשונים. הוא נקרא ווטסון, על שם תומאס ווטסון, מייסד IBM. יש גרסה שאומרת שהוא קיבל את שמו משמו משם העוזר של שרלוק הולמס, ווטסון. מודל כזה, ממש כמו אותו עוזר, תמיד מסייע בחקר ובתשובות שונות, כיום של רבים ואצל שרלוק, לצרכי החקירות של הבלש הנודע.
מצוידים במודלים החדשים, הצ'אטבוטים המרשימים, כמו Claude ו-ChatGPT, מסרבים להיות לכם לווטסון. במקום זאת הם מפותחים כך שיהיו המוח, כלומר השרלוק שלכם, כשאתם וכמה זה אירוני, בתפקיד הווטסון או העוזר שלהם... אבל גם הלקוחות.
מודל שפה הוא שמאפשר לנו לבקש ממנו לסכם טקסטים, לענות על שאלות, לצייר או בעצם לייצר תמונות ו"צילומים", לחבר שירים, ליצור סרטונים או לכתוב קוד.
אז מודלי שפה גדולים אפשרו את קפיצת הדרך המדהימה של מהפכת ה-AI. אמנם הם רחוקים מלהיות מושלמים לחלוטין ועדיין פה ושם מקלקלים את ההתפעלות עם ההזיות המוכרות האלה שלהם, עובדות שגויות, מידע לא רלוונטי או מופרך ואפילו עלבונות נדירים. ומה שלא פחות מרגיז לעתים הוא הביטחון המלא שבו הם כותבים או מדברים אותן, שזה בדיוק מה שהופך את חשיפת ההזיות ובדיות הללו לכל כך קשה ומסוכנת...
כיום, המודלים הללו הולכים ומאפשרים צמיחה של עולם חדש, עולם סוכני ה-AI. הם ממוקדים בביצוע משימות ספציפיות, תגובה לסביבה ועוד תכונות מבטיחות. הכירו אותם בתגית "סוכני AI".
הנה מה שעושים המודלים, מנועי השפה הגדולים (מתורגם):
https://youtu.be/X-AWdfSFCHQ
מהו LLM?
https://youtu.be/iR2O2GPbB0E
השוואת הצ'טבוטים הטובים, מנועי השפה הגדולים בסוף 2024 (עברית):
https://youtu.be/NanvGTQeO-g
כך פועל מודל השפה הגדול LLM:
https://youtu.be/iR2O2GPbB0E
כך בנויים ופועלים מודלי השפה הגדולים:
https://youtu.be/5sLYAQS9sWQ
יש להם גם חסרונות:
https://youtu.be/Gf_sgim24pI
הסבר מעמיק על מודלים גדולים של שפה ומה שהם הובילו (עברית):
https://youtu.be/-NIsUKUnxhA?long=yes
ובאופן סטטיסטי - כך פועל LLM:
https://youtu.be/LPZh9BOjkQs?long=yes
צ'אטבוט (Chatbot) הוא סוג של סייען חכם וממוחשב, שניתן לשוחח איתו בהתכתבות צ'אט, או במקרה של צ'אטבוט מתקדם יותר גם שיחה מבוססת דיבור.
כמובן שהצ'אטבוט הוא מערכת מבוססת AI (בינה מלאכותית, או אינטליגנציה מלאכותית) שמייצרת שיחה מלאכותית עם המשתמש - מבלי שבצד השני נמצא אדם אמיתי.
בעשור השני של המאה ה-21 הצ'אטבוט הלך ותפס את מקומו ברשת ובאפליקציות שונות והפך לדרך חדשה לחלוטין להשתמש באינטרנט. לקוחות מצאו את עצמם מנהלים התכתבות בצ'אט או שיחה אוטומטיות עם בוט, שנתן מענה מותאם אישית ושיפר את עצמו עם הזמן.
הצ'טבוט הבטיח לספק שירות לאורך כל שעות היממה, 24/7. הוא סימן הפחתה של המון מהעומס של שירות הלקוחות האנושי, חסך זמן למתעניינים וללקוחות שביקשו שירות וחסך לעסקים הרבה כסף.
התגלה שבוט AI ממוקד ואיכותי מסוגל להציע תגובות מהירות ומדויקות, מה שהוביל לשיפור ניכר בחוויית הלקוח ולעלייה בשביעות הרצון, אף שהיו לקוחות שהתעקשו לשוחח עם בן אדם, שהיה עמוס עכשיו פחות ולכן גם זמין להם הרבה יותר.
היתרונות של הצ'טבוט בטיפול אישי במשתמש ובלקוח היו עצומים. שולבו בו טכנולוגיות פרסונליזציה מתקדמות שהלכו והתפתחו, תוך גיוס הבינה המלאכותית לצרכי השיווק, המכירות והתמיכה.
רבים חזו שצ'אטבוטים עשויים להחליף חלק ניכר מהשימוש באתרי שירותים שונים ולייתר אותם בעתיד, מה שהתממש אבל חלקית.
בזמנו החליטה פייסבוק להשתמש בצ'אטבוטים בתוך שירות המסרים שלה מסנג'ר. היא אפשרה למפתחים חיצוניים לפתח צ'אטבוטים שיתנו שירותים ומידע מאתרים אחרים. ההכרזה על פלטפורמת הצ'אט בוט של פייסבוק מסנג'ר קדמה את רעיון הצ'אטבוטים המקוונים באופן משמעותי, במיוחד למשתמש הנייד בסמארטפונים ושעונים חכמים, אם כי הזינוק הטרנדי שנוצר עם ההשקה הלך ונרגע עם הזמן.
ההבשלה של אותם צ'אטבוטים באה בעשור הבא דווקא. זה קרה עם הגעתו של ChatGPT, מודל השפה הגדול הראשון (LLM), שאחריו הגיעו נוספים, כמו Gemini או Claude. מודל השפה הזה הוא בעיקרון מנוע בינה מלאכותית גדול ורחב-אופקים, המצויד ביכולת להבין שפה טבעית, אנושית, ויכול לעשות המון דברים, כלומר להתמודד עם מגוון ענקי של משימות ושהיכולות שלו הולכות וגדלות מיום ליום. ראו בתגית "LLM".
ממודלי השפה הגדולים התפתחו גם מנועי היצירה של הבינה הג'נרטיבית (Generative AI), המייצרים תמונות, שירים, וידאו ועוד. הכירו בתגית "GenAI".
אחריו נולדו סוכני ה-AI, צ'אטבוטים שממלאים משימות עבורך, על ידי שילוב בין היכולת הבינתית של מודל השפה הגדול כמו ChatGPT, עם היכולת של רכיב תוכנה שיכול לפעול באופן עצמאי וממוקד, למילוי של משימה ספציפית עבורנו, כמו לתכנן טיול, לקנות מוצרים אונליין, לטפל בדואר האלקטרוני שלנו וכדומה.
אותם סוכני AI הם רכיבי תוכנה אוטונומיים, יישומים מבוססי בינה מלאכותית, המסוגלים לתפוס את סביבתם, לקבל החלטות ולפעול לביצוע או השגת מטרות ממוקדות בשירות המשתמש. הכירו אותם בתגית "סוכני AI".
כלומר, אם הצ'טבוט של העשור שהחל ב-2010 היה עובד חרוץ אך לא חכם מדי, הצ'טבוט הבינתי של מודל השפה הגדול בעשור שאחריו רכש השכלה ופיתח את יכולותיו האינטליגנטיות באופן שהפך אותו למומחה ואז מגיע הסוכן הבינתי, AI agent והוא כבר עובד שמתמחה במשימה מסוימת ועושה אותה בצורה מיומנת וחרוצה.
עסקה טובה לרובנו.
פעילות נחמדה
============
בקישורים שלמטה יש לינק לצ'ט בוט נהדר. נסו לשוחח איתה (באנגלית) ולהכיר קצת את חוויית השיחה עם צ'ט בוט אופייני.
הנה עולם הצ'אטבוט:
http://youtu.be/iE9LtfQAYYU
עוד על השימוש בצ'אטבוטים ברשת:
http://youtu.be/G8z--x5tFOI
ההכרזה על הצ'אט בוט במסנג'ר של פייסבוק:
http://youtu.be/EOYnFUJyOlQ
ומנגד - כשהושק הצ'אטבוט של מיקרוסופט הוא "הסתבך" עם ביטויי גזענות קשים:
http://youtu.be/LA49GBcbudg
