» «

יצירת תמונות ב-AI

סטוריבורד
מה זה סטוריבורד?



סטוריבורד (StoryBoard) בקולנוע הוא תיאור של השוטים המתוכננים לצילום, לרוב כשהם מצויירים על גבי נייר, כמו בקומיקס. מדובר בלוח תכנון שביצירתו יוצרי סרטים מקילים ומשביחים את תהליך הפרה-פרודקשן של הסרט.

בסטוריבורד מתוארים הצילומים המתוכננים מראש, בצורה ויזואלית, כדי לתאר את צילומי הווידאו או הפילם המתוכננים, עוד לפני הצילום.

המטרה של הסטוריבורד, בעברית "לוח סיפור", היא להקל על הבמאי ועל בעלי המקצוע השונים, בתכנון של צילומי הסרט.

הסטורי בורד מאפשר להבין את הסרט כפי שייראה על ציר הזמן, תמונה אחרי תמונה. הוא מסייע להמחיש את הסיפור, שוט אחרי שוט.

בעזרת הסטורי בורד ניתן לבדוק ולבקר מראש ובקלות רבה יותר דברים כמו מה עובד בסיפור ומה לא, לסמן כמה זמן ייקח כל שוט בסרט, לבחון האם הזרימה בין השוטים עובדת היטב והאם החיתוכים בין השוטים עובדים נכון.

בתור ייצוג גרפי של האופן שבו הסרט יתפתח, צילום אחר צילום, ייתכן שיצירת סטוריבורד נראה כמו שלב נוסף ואולי מיותר בתהליך הכנת סרט קצר או סרטון, אבל מדובר בשלב שמומלץ לעשות מה שניתן כדי לא לדלג עליו.

מקור השם "סטורי בורד" מגיע מהנוהג שהיה באולפני האנימציה הגדולים של פעם, לתלות איורים של כל שוט ושוט בסרט, על גבי לוח גדול על קיר האולפן. האיורים הללו איפשרו לצוות להתייחס לתכנית-העל של הסרט והוא היווה מעין מתכון להכנתו.


הנה דוגמה קצרה לסטורי בורד (עברית):

https://youtu.be/Rz1E0O3PSSw


מה זה סטורי בורד?

https://youtu.be/bpZjnH9wA4k


איך הסטוריבורד עובד?

https://youtu.be/6aTnEanIXBk


דוגמה לסטורי בורד מומחז בווידאו (עברית):

https://youtu.be/udK6HLxpaJE


הדרכה כיצד לעשות סטורי בורד, גם אם אינכם ציירים:

https://youtu.be/ux_Em1lVsjI


ויצירת סטוריבורד באמצעות כלי AI בסגנון של "Black and white sketch drawing style":

https://youtu.be/MKOG__oIe1o
AARON
איזה מחשב מציג יצירות במוזיאון?



ציור ויצירה אמנותית בכלל הן פעולות מורכבות למחשב ולכן מחשבים המסוגלים לצייר בעצמם הם תופעה יחודית. את המחשב AARON מפתח האמן האמריקאי הרולד כהן כבר מעל 30 שנה, במעבדה לאינטליגנציה מלאכותית של אוניברסיטת סטנפורד. הוא תוכנת כך שיוכל לצייר תמונות בסגנונות ציור מגוונים. למחשב, סוג של רובוט מצייר, הוזן ידע אמנותי שמאפשר לו לצייר עצמים שונים, כמו בני אדם, צמחים ודומם. למחשב תוכנתו גם אלגוריתמים וכללים אמנותיים שבהם מצוייד הצייר, כמו העובדה שבסיסו של עצם רחוק הוא גבוה מבסיסו של עצם קרוב, שהוא קטן יותר מהקרוב, מוסתר על ידיו ועוד. בנוסף הגדיר האמן כללים שלקוחים מניסיונו כצייר ומורה פעיל לציור, בצירוף ידע מהתחום בתחומים כמו צבע, קומפוזיציה ופרספקטיבה.

יש ויכוח אמיתי מה מידת היצירתיות של המחשב הזה, שכן את היכולת לבצע הוראות שנלמדו יכול לבצע כל תלמיד ציור והרי אמן הוא אדם שמעבד את הידע שברשותו, מוסיף מהיצירתיות הטבעית שלו ופורץ את גבולות מה שכבר נעשה. ועדיין, הציורים של AARON הם כה מרשימים ומעוררי עניין, שחובבי אמנות רבים לא מצליחים להבחין ביניהם לבין ציורים שנעשו על ידי ציירים אנושיים. כיום מוצגים רבים מהם בתערוכות ובמוזיאונים בכל העולם ורבים מהם אף נרכשו במהלך השנים בידי אספני אמנות.


הנה הרולד כהן מספר על AARON:

https://youtu.be/MwHQx9BrHQc


הרצאה של הרולד כהן על העבודות של AARON:

https://youtu.be/RyIgu_GSS5g


הנה ציור שנוצר על ידי התוכנה של AARON:

https://youtu.be/3PA-XApZkso


דיון על המחשב המצייר AARON:

https://youtu.be/boKs9JzI1f4
מנועי יצירת תמונות
מהם מנועי התמונות וכלי יצירה ויזואלית ב-AI?



הבינה המלאכותית (AI) DALL-E היא מערכת המסוגלת לייצר תמונות ודימויים ויזואליים דמיוניים, המבוססים על פרומפטים - תיאורי מלל, אינפוטים טקסטואליים שכתב והזין לה המשתמש.

הכל הוא חלק מטכנולוגיה שנקראת "ג'נרטיב AI". זו בינה מלאכותית שבמקום לחשב ולנצח במשחקי טריוויה הפכה ליוצר AI, לצייר, צלם ועוד כל מיני אמנים - אבל באינטליגנציה מלאכותית.

באמצעות פרומפטים, תיאורים מילוליים דוגמת "אביר ימיבייניימי עשוי מחצילים" או "מגדל מודרני בנוי על שריון של צב בסגנון פיקאסו" מייצרת המערכת תמונות וציורים מרהיבים ולא פעם אף מדהימים.

ליצירת התמונות מהטקסט אחראית הבינה המלאכותית המבוססת על למידה עמוקה, מערכת הלומדת בעצמה רשתות נוירונים מלאכותיות, על סמך דפוסים שהיא מאתרת עצמאית, במיליוני תמונות וציורים המוזנים אליה על ידי המפעילים שלה.

להישג המקורי של DALL-E וגרסתה המשופרת DALL-E 2, תוצר של חברת OpenAI, קמו די מהר מתחרים ראויים נוספים ואיכותיים לא פחות, המייצרים עולם חדש וחסר תקדים של ציירים מכניים, שרק ממתינים לבקשות מהמשתמשים ומזדרזים לצייר מבחר טיוטות, מהן יכול המשתמש לבחור את התוצר הסופי שמועדף, שיבוצע באיכות גבוהה.

איש לא יודע בדיוק כיצד DALL-E פועל, גם לא היוצרים של המודלים שלפיהם הוא פועל. אבל זו העבודה המדהימה של הלמידה העמוקה שמעבדת בעצמה את הדאטה ממיליוני התמונות ומלמדת את עצמה לצייר ולפרש את הפרומפטים לפיקסלים ותמונות.

התוצאות של DALL-E 2 היכו די מהר גלים בעולם הבינה המלאכותית וחוץ מתחרות של חברות וקוד פתוח יצרו גם הרבה שיפורים, הן באיכות הטכנית של התמונות והן ביכולות האמנותיות. כך למשל הולכות התמונות ונעשות מפורטות, הרזולוציה גדלה, יכולות הריאליזם, עבודת הצל והתאורה, השימוש במרקמים וציור הנראה כמעט טבעי לחלוטין.


הנה כלי Gen AI מצטיין ליצירה ויזואלית:

https://youtu.be/XZjaHJP0PQE


באיזה כלי לבחור לכל צורך? (עברית)

https://youtu.be/a5wUS6SQ0us?t=1m47s


"דאל-E" שכבר יכולה לצייר דיוקנאות מתיאור מילולי בשפה טבעית של מה שיכיל הציור:

https://youtu.be/qTgPSKKjfVg


כתבה על היכולת המופלאה של דאלי 2 ליצור אמנות:

https://youtu.be/hiSgpZUAy2c


הסבר אמנות ה-AI:

https://youtu.be/alJdw4JDJ4o


מנועי יצירת תמונות מתחרים ומקבילים ל-DALL-E:

https://youtu.be/rGbNJrywLhk


גם היהדות ואפילו החרדית מקבלת אפשרויות שהולכות ומתפתחות (עברית):

https://youtu.be/KR29znIp2LU


ה"אאוט פיינטינג" של דאלי, בו הוא מרחיב תמונה:

https://youtu.be/G-Wsh1vUeVQ


מדריך להרחבת תמונות:

https://youtu.be/V1KLG159A2s


קליפ שכולו תמונות שנוצרו ממילות שיר של קינג קרימזון:

https://youtu.be/VR3AWdyVVdU


למה יש לבינה כל הזמן בעיה עם אצבעות?

https://youtu.be/24yjRbBah3w


גם למחוללי בינה כמו מידג'רני יש בעיות (עברית):

https://youtu.be/xUpUhHsAWlg?long=yes


ויוצר רשת שחודש שלם העלה לרשת החברתית תמונות אושר ואווירה שיצר AI - ואז גילה לעוקביו את האמת:

https://youtu.be/FRClNMC_z-s?long=yes
פרומפט
מה עושה הפרומפט בעולם הבינה המלאכותית הגנרטיבית?



מהו המקביל של מברשת של הצייר, מקלדת המלחין או הבוס של כותב המאמר, עורך הווידאו או המשורר בעולם הבינה המלאכותית הגנרטיבית? - מיהו זה שאומר מה הוא צריך והם יושבים לעבוד וליצור?

זהו הפרומפט (Prompt), ההנחייה הטקסטואלית שאנחנו נותנים למכונה, כלומר לכלי הבינה הגנרטיבי (Generative AI). את ההנחייה הזו אנו כותבים לו כדי שייצר לנו תוצר בינתי.

בפשטות, פרומפט הוא התיאור המילולי בשפה טבעית של התוצר שרוצים לקבל מהבינה.

היום הפרומפט הוא המלך של עולם הבינה המלאכותית מבוססת הדיאלוג וסוגי מודלים של שפה.

זה אמנם נשמע דומה לביטוי חיפוש, אבל הפרומפט הוא לא המקבילה הפשוטה של ביטוי החיפוש במנועי חיפוש, אלא בניסוח מאוד מוקפד של התוצר הרצוי, שיכול ללכת ולהשתבח במהלך הצ'אט עם הבוט, ככל שנרצה להשביח את התוצאה שקיבלנו.


#לג'נרט אהבה
הפעולה הזו ,של ניסוח הפרומפט, זכתה בעברית החדשה לשם הפעולה "לג'נרט" (To generate). היא זו שבמידה רבה תקבע את האיכות של התוצרים.

יש אפילו מקצוע חדש שהולך ומלבלב בעולם ה-AI. הוא נקרא, החזיקו חזק, "מהנדס פרומפטים" (Prompt Engineer). מדובר באדם שמיומנותו בניסוח של פרומפטים מוצלחים.


#איך להצליח בפרומפט?
כמה מרכיבים יוכלו לסייע בכתיבת הנחיות טובות לבינה הגנרטיבית:

פירוט ודיוק - אמנם הפרומפט יכול להיות משפט פשוט כמו "כתוב סיפור לילדים על החתול שנעלם", או "מתכון לסלט חצילים". אבל במיטבו פרומפט מדויק ומפורט יותר, ישיג דיוק ואיכות טובים יותר. תיאור של התוצר המצופה, עם פרטי פרטים, יביא כמעט תמיד לתוצאות טובות יותר. הקפידו פרומפטים לכתוב:

ספציפיות - במקום לכתוב לצ'ט "צייר לי פרח" מומלץ לפרט ולבקש למשל "פרח אדום עם עלי כותרת גדולים שהקצה שלהם צהוב". אל תדאגו אם מה שאתם כותבים נשמע לכם לא הגיוני. אחד הדברים שהבינה מצויינת בהם זה יצירה של דברים שרק גאון או משוגע יכולים לחשוב עליהם וזו בדיוק היצירתיות שלכם שדרושה לג'ינרוט מוצלח. אל תבקשו מהצ'ט "מתכון לסלט" אלא בקשו "מתכון לסלט חצילים עם טחינה, מעט חריף ועם שמן זית". באופן דומה, הציבו גם מגבלות - מה לא ייכלל בתוצר. במקום לבקש "תכנית לטיול בלונדון" בקשו "תכנית לטיול של 3 ימים בלונדון, למשפחה עם בני נוער, שיהיה חינוכי ויכלול הליכה רגלית בלבד וללא שופינג".

שיפור בשלבים - את הפרומפט, בניגוד לחיפוש במנועי חיפוש, אפשר לשפר בשלבים. הצ'ט בוט של ChatGPT, למשל, זוכר את השיחה וההקשר של מה שאתם כותבים, כל עוד התכתבות היא באותו חלון שיחה. זה אומר שלמתחילים שווה לנסות ולהתחיל בפרומפט כללי ולא מפורט ובהדרגה, ככל שהשיחה והדיוק של התוצר מתקדם לכם וגם התיאבון לתוצר יותר מוצלח גדל, להמשיך ולשפר את הפרומפט ולהפוך אותו למפורט וספציפי יותר.

בקול או טון מתאימים - ניסוח של פרומפטים לטקסטים כדאי שיקל בחשבון את הטון והקול הנכונים. כמו שבפרומפט ויזואלי נוכל לבקש שהציור יהיה בסגנון של ון גוך, פיקסו או דאלי, בתיאור של טקסט החליטו אם אתם רוצים שיהיה מנוסח כרציני, מדעי, עיתונאי, רשמי, או בסגנון של מתבגרים או של החבר'ה. אפשר גם לבקש שהטקסט יהיה קצר או ארוך (כתוב לי שתי פסקאות על.. או "כתוב מאמר מלא על..." וכו').

הסבר כמו למתחיל - בקשו בפרומפט כך:

"Explain [subject] in simple terms. Explain to me as if I'm a beginner."


כך מודגם הפרומפט בפתיחת הסקירה על טכנולוגיית AI של חברת ראנוויי (עברית):

https://youtu.be/joJVqKTPVsY


השיעור הראשון בניסוח הפרומפט:

https://youtu.be/Qos2rG3zVAM


איך משתמשים ב- chatGPT כדי שהוא ינסח פרומפטים טובים למנוע תמונות, במקרה הזה Midjourney? (עברית):

https://youtu.be/zFS7WtovYmo


יש תוכנה לעזרה בניסוח פרומפטים (עברית):

https://youtu.be/HLhRFaXQ0vQ


על הפרומפט שמייצר חדשות קוליות לגיק:

https://youtu.be/5TlsXXTamBs


מודלים לציור גנרטיבי מתיאור מילולי בשפה טבעית:

https://youtu.be/pZsJbYIFCCw


הנה מקצוע מהנדס הפרומפט:

https://youtu.be/Bq-ncjOGeVU


והסבר מקיף על עבודתם של מהנדסי הפרומפט (Prompt Engineer) בעולם ה-AI:

https://youtu.be/hd7l9F3n4ZM?long=yes


אֵאוּרִיקַה - האנציקלופדיה של הסקרנות!

העולם הוא צבעוני ומופלא, אאוריקה כאן בשביל שתגלו אותו...

אלפי נושאים, תמונות וסרטונים, מפתיעים, מסקרנים וממוקדים.

ניתן לנווט בין הפריטים במגע, בעכבר, בגלגלת, או במקשי המקלדת

בואו לגלות, לחקור, ולקבל השראה!

אֵאוּרִיקַה - האנציקלופדיה של הסקרנות!

שלום,
נראה שכבר הכרתם את אאוריקה. בטח כבר גיליתם כאן דברים מדהימים, אולי כבר שאלתם שאלות וקיבלתם תשובות טובות.
נשמח לראות משהו מכם בספר האורחים שלנו: איזו מילה טובה, חוות דעת, עצה חכמה לשיפור או כל מה שיש לכם לספר לנו על אאוריקה, כפי שאתם חווים אותה.