שלום,
נראה שכבר הכרתם את אאוריקה. בטח כבר גיליתם כאן דברים מדהימים, אולי כבר שאלתם שאלות וקיבלתם תשובות טובות.
נשמח לראות משהו מכם בספר האורחים שלנו: איזו מילה טובה, חוות דעת, עצה חכמה לשיפור או כל מה שיש לכם לספר לנו על אאוריקה, כפי שאתם חווים אותה.
»
«
מה זה RAG?
בעולם הבינה המלאכותית מדברים יותר ויותר על RAG. אבל מה זה RAG בעצם?
אז RAG, ראשי תיבות של Retrieval-Augmented Generation, היא טכניקה המאפשרת למודלי AI גישה למאגרי מידע ובסיסי נתונים, בכדי לשלוף מהם מידע רלוונטי ונכון. הם עושים את זה כדי לייצר תשובות מדויקות ומבוססות נתונים עדכניים ואמיתיים.
בניגוד לאלטרנטיבה של בזבוז משאבים יקרים על אימון מטורף ויקר של מודל שפה, כך שיהיה תמיד מעודכן וברמות הכי גבוהות, RAG מאפשר למודל AI לענות ככזה, מבלי שיצטרכו מאמניו לעשות בו את כל העבודה.
כי מודלי שפה גדולים דוגמת GPT או Claude הם מרשימים ביכולתם לג'נרט תשובות מדויקות וטקסטים משכנעים, אך הם סובלים ממגבלה ברורה - הם יודעים רק את מה שלמדו בתקופת האימון שלהם. הידע שלהם "קפא" בזמן למועד ולהיקף האימון שלהם.
מה שעוד יותר מביך הוא שהם כמעט ולא יודעים לומר שאינם יודעים. לעתים, כשאין להם תשובה מדויקת, הם עונים או מייצרים מידע שגוי המתחזה לנכון - תופעה שאנו מכנים "הזיות", או בעגה המקצועית "הלוצינציות" (hallucinations), מונח טכני המתאר יצירת מידע שאינו מבוסס עובדות.
#יתרונות
RAG היא טכנולוגיה שמבטיחה שהתשובות יהיו לא רק חכמות, אלא גם נכונות. מעבר לחיסכון האדיר והברור בעלויות, לעומת בזבוז משאבים על אימון המודלים לעדכנות בזמן אמת, היתרונות של RAG לעומת מודל שפה סטנדרטי הם ברורים:
עדכניות בזמן אמת - גישה למידע חדש שלא היה קיים בזמן אימון המודל.
דיוק ואמינות - צמצום משמעותי של "הזיות".
שקיפות המקורות - אפשרות להציג למשתמש את מקורות המידע.
התאמה אישית וגמישות - יכולת להשיג ולהזין מידע ספציפי לתחום או לארגון המשתמש במודל.
בכל אלה RAG מסמן את כיוון ההתפתחות של מערכות בינה מלאכותית חכמות, מדויקות ואמינות יותר - מערכות המשלבות את היצירתיות של מודלי שפה עם הדיוק של מידע עובדתי ונכון לעכשיו ובזמינות של 24/7.
#אז איך עובד RAG?
דמיינו ספרן וירטואלי שעומד לצד מודל AI ומספק לו את המסמכים הרלוונטיים והמעודכנים בדיוק ברגע שהוא נזקק להם. זוהי מהותה של טכנולוגיית RAG - היא יודעת ומביאה את המידע המעודכן והמדויק לכל שאלה שנשאל מודל הבינה המלאכותית ומאפשרת לו לדייק בתשובותיו, גם בשאלות שלא עוסקות במידע שעליו הוא מאומן ומעודכן.
טכנית, RAG פותר את הבעיה בתהליך מובנה של שלושה שלבים:
1. קבלת השאלה מהמודל על ידי מערכת ה-RAG.
2. שליפה (Retrieval) - סריקת מסמכים פנימיים או דוחות פנימיים של הארגון או של מאגרי המידע החיצוניים והרלוונטיים על ידי מנגנון האחזור, זיהוי המידע הנדרש באתרים, מסמכים, או בסיסי נתונים ארגוניים והעברתו למודל.
3. יצירה (Generation) - שילוב המידע שנאסף עם הידע הכללי של מודל השפה לכדי תשובה קוהרנטית, כלומר הגיונית ומושלמת, בצורה של שיחה טבעית.
#דוגמאות
בארגון פיננסי למשל, מערכת RAG יכולה לשלוף מידע מעודכן מדוחות רבעוניים, תקנות רגולטוריות חדשות ונתוני שוק בזמן אמת כדי לענות על שאלה ספציפית של משקיע.
בעסק או חברה מערכת RAG יכולה לשלוף מדוחות פנימיים של הארגון, ממאגרי התמיכה או המסמכים הפנימיים ולתת מענה מבוסס ללקוחות ולעובדים.
באוניברסיטאות החוקרים משתמשים ב-RAG כדי לאפשר למודלים לגשת למאמרים מדעיים עדכניים בתחום הרפואה, מה שמאפשר ייעוץ מבוסס על מחקרים חדשניים שלא היו זמינים בעת אימון המודל.
חברת רפואה יכולה להטמיע RAG כדי לספק מענה מדויק לשאלות על טיפולים חדשניים, תוך שילוב מחקרים עדכניים עם ידע רפואי מוסמך.
במערכת המשפט, RAG יכול לסייע בניתוח תקדימים משפטיים, תוך שליפת פסקי דין רלוונטיים וחוקים עדכניים לסוגיה ספציפית.
#האתגרים
ההטמעה של טכנולוגיות RAG היא לא פשוטה ואף מורכבת מבחינה טכנית, הן בבחירת אלגוריתם האחזור המתאים, דרך ניהול מאגרי מידע גדולים, תחזוקה של מידע עדכני, שאלות של פרטיות כשמדובר במסמכים רגישים ועוד.
כמו כן, גם איכות התשובות תלויה באיכות מקורות המידע, כאשר מהנדסי המידע זוכרים תמיד את העיקרון שתקף גם כאן - "זבל נכנס, זבל יוצא".
הנה ה-RAG בהסבר פשוט ומרהיב:
https://youtu.be/zX4cL6n5UzY
כך עושים את זה:
https://youtu.be/tKPSmn-urB4
והסבר חופר:
https://youtu.be/u47GtXwePms
איך מאמנים מכונות ובאילו שיטות הן לומדות?
למידת מכונה מתבססת על יצירה של מודל גדול. המודל עצמו הוא אכן אוסף גדול ומורכב של מספרים, שמייצגים מידע, כלומר דאטה שהוזן למודל מהעולם האמיתי כקלט (Input).
המספרים הללו מייצגים את פריטי הקלט המסוים ומגדירים קשרים מתמטיים ביניהם. על ידי אימון מתמיד של המודל, הוא הולך ומזהה את הקשרים הללו כדפוסים, שיהיו מוכנים כמעין ידע שהוא למד, לקראת שימוש בו, להצגת תחזיות, מענה לשאלות, חישובים של בעיות שנפנה אליו וכדומה.
#תהליך האימון
לפני וכדי שמודל יוכל לענות על שאלות או להציע תחזיות יש לאמן אותו. ממש כמו מאמן כושר או מפקד טירונים בצבא, שמקבלים אימון, הוא יקבל אוסף של נתונים, דאטה שיעמוד לרשותו, כדי שיוכל לזהות את אותם דפוסים. זה חייב להיות קלט (Input) עצום וגדול, כלומר המון נתונים, Big Data.
כדי לאמן מודל אנחנו נותנים לו אוסף של קלטים. הקלטים הללו ישתנו לפי סוג ומטרת המודל, אך המטרה הבסיסית, העליונה והתמידית שלו תהיה למצוא את הדפוסים בדאטה, כך שהוא יוכל ליצור תחזיות טובות ולתת תשובות טובות וללא הֲזָיוֹת (Hallucinations).
#שיטות אימון
למידת מכונה מתבצעת בכמה שיטות שונות, שכל אחת מחייבת "שיטת הוראה" שונה. ישנם 3 סוגים של למידת מכונה: למידה ללא פיקוח, למידה מפוקחת ולמידת חיזוק.
- למידה לא מפוקחת - היא למידת מכונה הלומדת באמצעות זיהוי עצמי של קווי דמיון ודפוסים וללא הנחיה אנושית.
- למידה מפוקחת - מתבססת על אימון בינה מלאכותית באמצעות דוגמאות מסומנות. כלומר, למידה שמסתמכת על קלט מבני אדם כדי לבדוק את דיוק התחזיות.
- למידת חיזוק - מתבססת על אימון בינה מלאכותית באמצעות ניסוי וטעייה. כלומר, מדובר בלמידה מחוזקת משמשת לתוכניות טיפול, תוך איסוף משוב באופן חוזר ונשנה (איטרטיבי) והשוואה מול הדאטה המקורית של כל פרופיל, כדי לקבוע את הטיפול היעיל ביותר לו.
כאשר מודלים אלה הופכים לעצמם, קשה יותר לקבוע את תהליך קבלת ההחלטות שלהם, מה שיכול להשפיע על העבודה, הבריאות והבטיחות שלנו.
#דוגמה
הנה דוגמה מהעולם הרפואי של רופאים והמטופלים שלהם:
בלמידה ללא פיקוח נוכל להשתמש כדי שהמודל יזהה קווי דמיון בין פרופילי מטופלים שונים ויאתר דפוסים שמתעוררים אצלם, כשהוא עושה זאת ללא הדרכה אנושית וללא פיקוח של רופאים ומומחים.
למידה מפוקחת, לעומת זאת, תסתמך על הקלט של הרופאים שיבצעו את האבחנה הסופית ויבדקו את הדיוק של חיזוי האלגוריתם. כלומר כאן המכונה תלמד מהמומחה, גם מהאבחנות המוצלחות שלו אך גם משגיאותיו. אם יוזנו למכונה נתונים של 2 קבוצות, חולים ובריאים, היא תזהה בעצמה מאפיינים שמשותפים לחולים במחלה מסוימת ושאינם נמצאים אצל אנשים בריאים. לאחר השוואה בין תחזיות המכונה לאבחון הסופי של המומחים, המכונה תלמד לזהות את התסמינים של המחלה ולסייע לרופאים לאבחן אותה נכון בעתיד.
למידת חיזוק תשמש לתכניות טיפול, בגישה איטרטיבית, תהליך חוזר ונשנה בו יוזן למכונה, שוב ושוב, המשוב החוזר על ידי הרופאים. המשוב יהיה לגבי יעילות התרופות, המינונים השונים ולגבי הטיפולים היעילים יותר ופחות, כך שהמודל ישווה יעילות של התרופות, המינונים והטיפולים לדאטה של החולה ויסיק מסקנות שיאפשרו לו לחזק בעתיד את הטיפולים המוצלחים והייחודיים יותר, אלו שיתאימו לפרופילי חולים, עם מאפיינים ומקרים שונים, לאור תגובות חולים משתנות, נסיבות שונות של המחלה ומצבי המחלה המגוונים לאורך הטיפול.
כלומר, החוקרים יכולים להשתמש במערכות למידת המכונה הללו ביחד, כדי לבנות מערכות בינה מלאכותית.
אבל - ויש כאן אבל משמעותי - יש לשים לב שככל שהמודלים הללו מכוונים באופן עצמאי, יהיה קשה יותר לקבוע כיצד האלגוריתמים השונים מגיעים לפתרונות שלהם, מה שיכול להיות בעל השפעה משמעותית על העבודה, הבריאות והבטיחות שלנו, בני האדם, כשאנו משתמשים בהם. לכן, באימון של מודלים גדולים (LLMs) משתמשים לרוב בכל השיטות הללו במקביל, כשלא פעם הן מאמנות אחת את השנייה.
הנה אימון מכונה פשוט (עברית):
https://youtu.be/CC-TGXxc-Go
כך המכונה לומדת ומדוע כדאי לשלב שיטות אימון שונות (מתורגם):
https://youtu.be/0yCJMt9Mx9c
וכך האלגוריתמים לומדים (מתורגם):
https://youtu.be/R9OHn5ZF4Uo?long=yes
אימון מודל שפה
בעולם הבינה המלאכותית מדברים יותר ויותר על RAG. אבל מה זה RAG בעצם?
אז RAG, ראשי תיבות של Retrieval-Augmented Generation, היא טכניקה המאפשרת למודלי AI גישה למאגרי מידע ובסיסי נתונים, בכדי לשלוף מהם מידע רלוונטי ונכון. הם עושים את זה כדי לייצר תשובות מדויקות ומבוססות נתונים עדכניים ואמיתיים.
בניגוד לאלטרנטיבה של בזבוז משאבים יקרים על אימון מטורף ויקר של מודל שפה, כך שיהיה תמיד מעודכן וברמות הכי גבוהות, RAG מאפשר למודל AI לענות ככזה, מבלי שיצטרכו מאמניו לעשות בו את כל העבודה.
כי מודלי שפה גדולים דוגמת GPT או Claude הם מרשימים ביכולתם לג'נרט תשובות מדויקות וטקסטים משכנעים, אך הם סובלים ממגבלה ברורה - הם יודעים רק את מה שלמדו בתקופת האימון שלהם. הידע שלהם "קפא" בזמן למועד ולהיקף האימון שלהם.
מה שעוד יותר מביך הוא שהם כמעט ולא יודעים לומר שאינם יודעים. לעתים, כשאין להם תשובה מדויקת, הם עונים או מייצרים מידע שגוי המתחזה לנכון - תופעה שאנו מכנים "הזיות", או בעגה המקצועית "הלוצינציות" (hallucinations), מונח טכני המתאר יצירת מידע שאינו מבוסס עובדות.
#יתרונות
RAG היא טכנולוגיה שמבטיחה שהתשובות יהיו לא רק חכמות, אלא גם נכונות. מעבר לחיסכון האדיר והברור בעלויות, לעומת בזבוז משאבים על אימון המודלים לעדכנות בזמן אמת, היתרונות של RAG לעומת מודל שפה סטנדרטי הם ברורים:
עדכניות בזמן אמת - גישה למידע חדש שלא היה קיים בזמן אימון המודל.
דיוק ואמינות - צמצום משמעותי של "הזיות".
שקיפות המקורות - אפשרות להציג למשתמש את מקורות המידע.
התאמה אישית וגמישות - יכולת להשיג ולהזין מידע ספציפי לתחום או לארגון המשתמש במודל.
בכל אלה RAG מסמן את כיוון ההתפתחות של מערכות בינה מלאכותית חכמות, מדויקות ואמינות יותר - מערכות המשלבות את היצירתיות של מודלי שפה עם הדיוק של מידע עובדתי ונכון לעכשיו ובזמינות של 24/7.
#אז איך עובד RAG?
דמיינו ספרן וירטואלי שעומד לצד מודל AI ומספק לו את המסמכים הרלוונטיים והמעודכנים בדיוק ברגע שהוא נזקק להם. זוהי מהותה של טכנולוגיית RAG - היא יודעת ומביאה את המידע המעודכן והמדויק לכל שאלה שנשאל מודל הבינה המלאכותית ומאפשרת לו לדייק בתשובותיו, גם בשאלות שלא עוסקות במידע שעליו הוא מאומן ומעודכן.
טכנית, RAG פותר את הבעיה בתהליך מובנה של שלושה שלבים:
1. קבלת השאלה מהמודל על ידי מערכת ה-RAG.
2. שליפה (Retrieval) - סריקת מסמכים פנימיים או דוחות פנימיים של הארגון או של מאגרי המידע החיצוניים והרלוונטיים על ידי מנגנון האחזור, זיהוי המידע הנדרש באתרים, מסמכים, או בסיסי נתונים ארגוניים והעברתו למודל.
3. יצירה (Generation) - שילוב המידע שנאסף עם הידע הכללי של מודל השפה לכדי תשובה קוהרנטית, כלומר הגיונית ומושלמת, בצורה של שיחה טבעית.
#דוגמאות
בארגון פיננסי למשל, מערכת RAG יכולה לשלוף מידע מעודכן מדוחות רבעוניים, תקנות רגולטוריות חדשות ונתוני שוק בזמן אמת כדי לענות על שאלה ספציפית של משקיע.
בעסק או חברה מערכת RAG יכולה לשלוף מדוחות פנימיים של הארגון, ממאגרי התמיכה או המסמכים הפנימיים ולתת מענה מבוסס ללקוחות ולעובדים.
באוניברסיטאות החוקרים משתמשים ב-RAG כדי לאפשר למודלים לגשת למאמרים מדעיים עדכניים בתחום הרפואה, מה שמאפשר ייעוץ מבוסס על מחקרים חדשניים שלא היו זמינים בעת אימון המודל.
חברת רפואה יכולה להטמיע RAG כדי לספק מענה מדויק לשאלות על טיפולים חדשניים, תוך שילוב מחקרים עדכניים עם ידע רפואי מוסמך.
במערכת המשפט, RAG יכול לסייע בניתוח תקדימים משפטיים, תוך שליפת פסקי דין רלוונטיים וחוקים עדכניים לסוגיה ספציפית.
#האתגרים
ההטמעה של טכנולוגיות RAG היא לא פשוטה ואף מורכבת מבחינה טכנית, הן בבחירת אלגוריתם האחזור המתאים, דרך ניהול מאגרי מידע גדולים, תחזוקה של מידע עדכני, שאלות של פרטיות כשמדובר במסמכים רגישים ועוד.
כמו כן, גם איכות התשובות תלויה באיכות מקורות המידע, כאשר מהנדסי המידע זוכרים תמיד את העיקרון שתקף גם כאן - "זבל נכנס, זבל יוצא".
הנה ה-RAG בהסבר פשוט ומרהיב:
https://youtu.be/zX4cL6n5UzY
כך עושים את זה:
https://youtu.be/tKPSmn-urB4
והסבר חופר:
https://youtu.be/u47GtXwePms
למידת מכונה מתבססת על יצירה של מודל גדול. המודל עצמו הוא אכן אוסף גדול ומורכב של מספרים, שמייצגים מידע, כלומר דאטה שהוזן למודל מהעולם האמיתי כקלט (Input).
המספרים הללו מייצגים את פריטי הקלט המסוים ומגדירים קשרים מתמטיים ביניהם. על ידי אימון מתמיד של המודל, הוא הולך ומזהה את הקשרים הללו כדפוסים, שיהיו מוכנים כמעין ידע שהוא למד, לקראת שימוש בו, להצגת תחזיות, מענה לשאלות, חישובים של בעיות שנפנה אליו וכדומה.
#תהליך האימון
לפני וכדי שמודל יוכל לענות על שאלות או להציע תחזיות יש לאמן אותו. ממש כמו מאמן כושר או מפקד טירונים בצבא, שמקבלים אימון, הוא יקבל אוסף של נתונים, דאטה שיעמוד לרשותו, כדי שיוכל לזהות את אותם דפוסים. זה חייב להיות קלט (Input) עצום וגדול, כלומר המון נתונים, Big Data.
כדי לאמן מודל אנחנו נותנים לו אוסף של קלטים. הקלטים הללו ישתנו לפי סוג ומטרת המודל, אך המטרה הבסיסית, העליונה והתמידית שלו תהיה למצוא את הדפוסים בדאטה, כך שהוא יוכל ליצור תחזיות טובות ולתת תשובות טובות וללא הֲזָיוֹת (Hallucinations).
#שיטות אימון
למידת מכונה מתבצעת בכמה שיטות שונות, שכל אחת מחייבת "שיטת הוראה" שונה. ישנם 3 סוגים של למידת מכונה: למידה ללא פיקוח, למידה מפוקחת ולמידת חיזוק.
- למידה לא מפוקחת - היא למידת מכונה הלומדת באמצעות זיהוי עצמי של קווי דמיון ודפוסים וללא הנחיה אנושית.
- למידה מפוקחת - מתבססת על אימון בינה מלאכותית באמצעות דוגמאות מסומנות. כלומר, למידה שמסתמכת על קלט מבני אדם כדי לבדוק את דיוק התחזיות.
- למידת חיזוק - מתבססת על אימון בינה מלאכותית באמצעות ניסוי וטעייה. כלומר, מדובר בלמידה מחוזקת משמשת לתוכניות טיפול, תוך איסוף משוב באופן חוזר ונשנה (איטרטיבי) והשוואה מול הדאטה המקורית של כל פרופיל, כדי לקבוע את הטיפול היעיל ביותר לו.
כאשר מודלים אלה הופכים לעצמם, קשה יותר לקבוע את תהליך קבלת ההחלטות שלהם, מה שיכול להשפיע על העבודה, הבריאות והבטיחות שלנו.
#דוגמה
הנה דוגמה מהעולם הרפואי של רופאים והמטופלים שלהם:
בלמידה ללא פיקוח נוכל להשתמש כדי שהמודל יזהה קווי דמיון בין פרופילי מטופלים שונים ויאתר דפוסים שמתעוררים אצלם, כשהוא עושה זאת ללא הדרכה אנושית וללא פיקוח של רופאים ומומחים.
למידה מפוקחת, לעומת זאת, תסתמך על הקלט של הרופאים שיבצעו את האבחנה הסופית ויבדקו את הדיוק של חיזוי האלגוריתם. כלומר כאן המכונה תלמד מהמומחה, גם מהאבחנות המוצלחות שלו אך גם משגיאותיו. אם יוזנו למכונה נתונים של 2 קבוצות, חולים ובריאים, היא תזהה בעצמה מאפיינים שמשותפים לחולים במחלה מסוימת ושאינם נמצאים אצל אנשים בריאים. לאחר השוואה בין תחזיות המכונה לאבחון הסופי של המומחים, המכונה תלמד לזהות את התסמינים של המחלה ולסייע לרופאים לאבחן אותה נכון בעתיד.
למידת חיזוק תשמש לתכניות טיפול, בגישה איטרטיבית, תהליך חוזר ונשנה בו יוזן למכונה, שוב ושוב, המשוב החוזר על ידי הרופאים. המשוב יהיה לגבי יעילות התרופות, המינונים השונים ולגבי הטיפולים היעילים יותר ופחות, כך שהמודל ישווה יעילות של התרופות, המינונים והטיפולים לדאטה של החולה ויסיק מסקנות שיאפשרו לו לחזק בעתיד את הטיפולים המוצלחים והייחודיים יותר, אלו שיתאימו לפרופילי חולים, עם מאפיינים ומקרים שונים, לאור תגובות חולים משתנות, נסיבות שונות של המחלה ומצבי המחלה המגוונים לאורך הטיפול.
כלומר, החוקרים יכולים להשתמש במערכות למידת המכונה הללו ביחד, כדי לבנות מערכות בינה מלאכותית.
אבל - ויש כאן אבל משמעותי - יש לשים לב שככל שהמודלים הללו מכוונים באופן עצמאי, יהיה קשה יותר לקבוע כיצד האלגוריתמים השונים מגיעים לפתרונות שלהם, מה שיכול להיות בעל השפעה משמעותית על העבודה, הבריאות והבטיחות שלנו, בני האדם, כשאנו משתמשים בהם. לכן, באימון של מודלים גדולים (LLMs) משתמשים לרוב בכל השיטות הללו במקביל, כשלא פעם הן מאמנות אחת את השנייה.
הנה אימון מכונה פשוט (עברית):
https://youtu.be/CC-TGXxc-Go
כך המכונה לומדת ומדוע כדאי לשלב שיטות אימון שונות (מתורגם):
https://youtu.be/0yCJMt9Mx9c
וכך האלגוריתמים לומדים (מתורגם):
https://youtu.be/R9OHn5ZF4Uo?long=yes
