שלום,
נראה שכבר הכרתם את אאוריקה. בטח כבר גיליתם כאן דברים מדהימים, אולי כבר שאלתם שאלות וקיבלתם תשובות טובות.
נשמח לראות משהו מכם בספר האורחים שלנו: איזו מילה טובה, חוות דעת, עצה חכמה לשיפור או כל מה שיש לכם לספר לנו על אאוריקה, כפי שאתם חווים אותה.
»
«
איך צובעים סרטי קולנוע ישנים?
צביעה אוטומטית של סרטים ישנים שצולמו בשחור לבן (Colorise of old films) היא טכנולוגיה חדשנית, המשתמשת בבינה מלאכותית כדי להחזיר את הצבע לסרטי שחור לבן ישנים.
ההוספה של אפקטים מיוחדים לסרט, עם המודרניזציה שלו והצגת המראה האותנטי של מי ומה שצולמו בו איננה רק טכנולוגיה. מדובר במשהו שמחזיר את החיים למצולמים בו ומאפשרת לצופים להתחבר טוב יותר לתוכן. לפתע הופכות דמויות השחור לבן המרצדות של הסרטים הישנים לאנשים כמונו. זוהי סוג של הנפשה מאוחרת למצולמים בו.
אבל איך זה קורה?
דמיינו שאת סרטי הפילם הישנים ממירים לפורמט דיגיטלי (מה שנקרא "דיגיטציה") ואז נותנים למחשב, שבתוכנה שלו שמור ידע עצום על צבעים אופייניים של מדים בצבא הגרמני, עצים בטבע, מטוסים במלחמת העולם השנייה וכדומה.
בתהליך הצביעה הדיגיטלית צובע המחשב כל אובייקט כזה שמופיע בסרטים. המומחה עובר על הסרטים אחריו וצובע את מה שהמחשב לא ידע לצבוע. אבל המחשב לומד כל אובייקט חדש כזה, שהאדם צבע. בפעם הבאה שאובייקט דומה יופיע על המסך, הוא כבר ייצבע אוטומטית על ידי התוכנה.
מדובר במה שהכרנו בתגית "למידת מכונה".
אם היו צריכים לעשות באופן ידני את התהליך של הוספת צבע לתמונות נעות בצבעי שחור לבן, "פריים אחרי פריים" (Frame הוא תמונה בפילם), זה היה לוקח פרקי זמן עצומים.
אז זה לא שאין יכולת לטכנאי אנושי לעבור בדקדקנות על כל פריים ולצבוע אותו צביעה עשירה ומדויקת. המחשב בימינו פשוט עושה זאת במהירות ובדיוק מדהימים, כש"Frame by Frame", הוא לומד ומשתפר עוד יותר.
טכנולוגיה זו, שפותחה בשנות ה-70 על ידי וילסון מרקל, כצביעה פשוטה וזולה של פריימים בסרטי שחור לבן, רק הראתה את האפשרויות. עם הזמן והמחשב, השתפרה השיטה, כשהטכנאי-צייר נהג לצבוע רק חלק מהתמונה, בעוד המחשב משלים, לפי הכיוון שהוא התווה, את צביעת שאר התמונה.
היום, אגב, הטכנולוגיה כבר עוברת ל"למידה עמוקה". ההבדל הוא שהתוכנה מקבלת עכשיו המוני סרטים צבעוניים ולומדת בעצמה על הצבעים האופייניים לכל סוג של עץ, צבעי המדים של כל צבא, צבע עור של כל אדם לפי תווי פניו וכדומה. בקיצור, את הטכנאי-צייר שלידו, כמעט ולא צריך יותר...
כך החל טרנד צביעת הסרטים הישנים שצולמו בשחור לבן (עברית):
https://youtu.be/Yz2gM9u_kus?end=1m27s
כשצובעים סרטים ישנים - נותנים להם חיים:
https://youtu.be/zRed-Ri9IpI
כתבה על הקסם הצבעוני שמחזיר לחיים את האנשים שנלחמו במלחמת העולם הראשונה (עברית):
https://youtu.be/9pGkIFGcxUE
כך צובעים היום סרטי שחור לבן בני מאה שנים:
https://youtu.be/_cSXfKSRKz4
סרט הדרכת איפור מ-1935 שנצבע ובו חלוץ האיפור המודרני מקס פקטור מאפר גבות:
https://youtu.be/IikkGeDtXVs
10 טכנולוגיות בינה מלאכותית של צביעת סרטים:
https://youtu.be/mUXpxxyThr8?long=yes
התפתחות טכנולוגיית צביעת הסרטים שנולדה מצביעה של תמונות שחור לבן:
https://youtu.be/vubuBrcAwtY?long=yes
והעתיד של צביעת הסרטים באמצעות בינה מלאכותית:
https://youtu.be/SM9YwN_Dvv0?long=yes
מהי טכנולוגיית הדיפ נוסטלגיה?
בשנים האחרונות הולכת ותופסת את מקומה טכנולוגיה מבוססת בינה מלאכותית (AI) שנקראת דיפ פייק (Deepfake). טכנולוגיה זו משמשת לייצור או שינוי תוכן וידאו כך שהיא מציגה מציאות שלמעשה לא התרחשה מעולם. מנאומים שלא ננאמו מעבירים מסרים בדויים מפיהם לכאורה, של אנשים מפורסמים ועד סרטונים "פסאודו-תיעודיים", שמציגים מראות וטקסטים מדוברים, שנראים אמיתיים אך מעולם לא צולמו והוקלטו.
ענף חדש בעולם הדיפ פייק הוא יישום שזכה לשם "דיפ נוסטלגיה" (™Deep Nostalgia), המנפיש את פניהם של אנשים שצולמו בתמונות ישנות או היסטוריות, ומזיז את פניהם, כאילו צולמו בווידאו.
הטכנולוגיה הזו פועלת על כל תמונת סטילס (תמונות קפואות), כולל תמונות בשחור-לבן ותמונות שצולמו בצבע.
השם ניתן ליישום פורץ דרך זה על ידי חברת MyHeritage, שעוסקת בפיתוח טכנולוגיה ליצירת עצי משפחה מקוונים.
סרטוני הדיפ נוסטלגיה התפרסמו כשאנשים שיתפו עם בני משפחתם וחבריהם סרטונים קצרים ומונפשים שנוצרו כך, ובהם קרוביהם ואבותיהם מזיזים את ראשיהם, מצמצים, מחייכים ונעים בצורה ריאליסטית כמעט לחלוטין.
#איך פועלת הדיפ נוסטלגיה?
דיפ נוסטלגיה מחזירה, אם כן, לחיים אנשים שצולמו בצילומי סטילס. זה מתחיל באיתור פני המצולמים בתמונות ואז הפקה של מחוות ותנועות מציאותיות, ממש כאילו צולמו בווידאו. ההנפשה של הפנים בתמונות הסטילס מראה אותם מחייכים, זזים וממצמצים, כאילו צולמו כך במקור.
בבסיס הטכנולוגי של יישום ה"דיפ נוסטלגיה" פועל אלגוריתם למידה עמוקה (Deep Learning), המחבר בין תווי הפנים של המצולמים לבין אוסף מחוות שצולמו בווידאו ושמורים במאגר החברה.
פיתוח וצילום אותן מחוות נעשה כשצילמו אנשי מיי הריטג' מראש שלל מקטעי וידאו של שחקנים ועובדי החברה, המזיזים את ראשיהם ופניהם באורח טבעי, ממצמצים, מחייכים ומפנים את ראשם לכיוונים שונים.
למעשה שכרה חברת MyHeritage רישיון מחברת D-ID, לטכנולוגיה שפותחה בה ומאפשרת שחזור, באמצעות טכנולוגיית למידה עמוקה, של סרטוני וידאו.
על מנת שאפקט ההנפשה יופעל על התמונות, ברזולוציה הכי גבוהה האפשרית, עוברות תמונות מטושטשות חידוד אוטומטי, שמבצעת הטכנולוגיה החדשנית, מה שמעלה באופן דרמטי את איכות הסרטונים המופקים בה.
ההברקה האמיתית של הטכנולוגיה הזו נעוצה בזיהוי והבחירה האוטומטית שמבצע יישום הדיפ נוסטלגיה, מבין מקטעי המחוות בווידאו. ניתוח מהיר של מנח הראש וכיוון העיניים של המצולמים בתמונה מאפשרים ליישום להתאים להם באופן חכם את מחוללי ההנפשה המיטביים ולייצר את הסרטונים המונפשים באופן אופטימלי.
#ממה נמנעו מפתחי הדיפ נוסטלגי?
אנשי חברת MyHeritage ומפתחי היישום המלהיב נמנעו מהוספת דיבור לסרטונים.
לאור העובדה שטכנולוגיית הדיפ פייק ידועה ביכולות המטורפות שלה, גם בתחום הדיבור, נשאלת השאלה מדוע. הרי ניתן היה לשתול בפי המצולמים טקסטים מדוברים, שהיו נשמעים אמיתיים, על אף שמעולם לא צולמו והוקלטו.
ראשית, חשוב לומר שזיהוי קולי של המצולמים, ככל שמדובר באנשים שקרוביהם זוכרים עדיין את קולם האמיתי, היה מפחית את אפקט המציאות שיוצרים הסרטונים הללו.
אבל יש עוד סיבה לכך.
ב-MyHeritage מציינת שההימנעות מאפקטים קוליים של דיבור היא מכוונת. מטרתה, הם מטעימים, היא "למנוע שימושים זדוניים בכלי", דוגמת אלה שנעשים בסרטוני "דיפ פייק" של פוליטיקאים וידוענים שעודם בחיים.
לכן הם גם מבקשים מהמשתמשים לעשות בכלי שימוש רק על תמונות היסטוריות השייכות להם ולהימנע משימוש בתמונות של אנשים חיים, שלא אישרו את השימוש הזה.
הסבר לטכנולוגיה (עברית):
https://youtu.be/O4VPN_YjgIM?t=21s
הנה הדיפ נוסטלגיה:
https://youtu.be/tjBYSnoAWqg
ציורים מפורסמים שקמים לתחייה:
https://youtu.be/TWY1uBK4Zxc
ואפילו דיקטטורים קמים לתחיה עם הדיפ נוסטלגיה של מיי הריטג':
https://youtu.be/a-HR03bToew
צביעת סרטים
צביעה אוטומטית של סרטים ישנים שצולמו בשחור לבן (Colorise of old films) היא טכנולוגיה חדשנית, המשתמשת בבינה מלאכותית כדי להחזיר את הצבע לסרטי שחור לבן ישנים.
ההוספה של אפקטים מיוחדים לסרט, עם המודרניזציה שלו והצגת המראה האותנטי של מי ומה שצולמו בו איננה רק טכנולוגיה. מדובר במשהו שמחזיר את החיים למצולמים בו ומאפשרת לצופים להתחבר טוב יותר לתוכן. לפתע הופכות דמויות השחור לבן המרצדות של הסרטים הישנים לאנשים כמונו. זוהי סוג של הנפשה מאוחרת למצולמים בו.
אבל איך זה קורה?
דמיינו שאת סרטי הפילם הישנים ממירים לפורמט דיגיטלי (מה שנקרא "דיגיטציה") ואז נותנים למחשב, שבתוכנה שלו שמור ידע עצום על צבעים אופייניים של מדים בצבא הגרמני, עצים בטבע, מטוסים במלחמת העולם השנייה וכדומה.
בתהליך הצביעה הדיגיטלית צובע המחשב כל אובייקט כזה שמופיע בסרטים. המומחה עובר על הסרטים אחריו וצובע את מה שהמחשב לא ידע לצבוע. אבל המחשב לומד כל אובייקט חדש כזה, שהאדם צבע. בפעם הבאה שאובייקט דומה יופיע על המסך, הוא כבר ייצבע אוטומטית על ידי התוכנה.
מדובר במה שהכרנו בתגית "למידת מכונה".
אם היו צריכים לעשות באופן ידני את התהליך של הוספת צבע לתמונות נעות בצבעי שחור לבן, "פריים אחרי פריים" (Frame הוא תמונה בפילם), זה היה לוקח פרקי זמן עצומים.
אז זה לא שאין יכולת לטכנאי אנושי לעבור בדקדקנות על כל פריים ולצבוע אותו צביעה עשירה ומדויקת. המחשב בימינו פשוט עושה זאת במהירות ובדיוק מדהימים, כש"Frame by Frame", הוא לומד ומשתפר עוד יותר.
טכנולוגיה זו, שפותחה בשנות ה-70 על ידי וילסון מרקל, כצביעה פשוטה וזולה של פריימים בסרטי שחור לבן, רק הראתה את האפשרויות. עם הזמן והמחשב, השתפרה השיטה, כשהטכנאי-צייר נהג לצבוע רק חלק מהתמונה, בעוד המחשב משלים, לפי הכיוון שהוא התווה, את צביעת שאר התמונה.
היום, אגב, הטכנולוגיה כבר עוברת ל"למידה עמוקה". ההבדל הוא שהתוכנה מקבלת עכשיו המוני סרטים צבעוניים ולומדת בעצמה על הצבעים האופייניים לכל סוג של עץ, צבעי המדים של כל צבא, צבע עור של כל אדם לפי תווי פניו וכדומה. בקיצור, את הטכנאי-צייר שלידו, כמעט ולא צריך יותר...
כך החל טרנד צביעת הסרטים הישנים שצולמו בשחור לבן (עברית):
https://youtu.be/Yz2gM9u_kus?end=1m27s
כשצובעים סרטים ישנים - נותנים להם חיים:
https://youtu.be/zRed-Ri9IpI
כתבה על הקסם הצבעוני שמחזיר לחיים את האנשים שנלחמו במלחמת העולם הראשונה (עברית):
https://youtu.be/9pGkIFGcxUE
כך צובעים היום סרטי שחור לבן בני מאה שנים:
https://youtu.be/_cSXfKSRKz4
סרט הדרכת איפור מ-1935 שנצבע ובו חלוץ האיפור המודרני מקס פקטור מאפר גבות:
https://youtu.be/IikkGeDtXVs
10 טכנולוגיות בינה מלאכותית של צביעת סרטים:
https://youtu.be/mUXpxxyThr8?long=yes
התפתחות טכנולוגיית צביעת הסרטים שנולדה מצביעה של תמונות שחור לבן:
https://youtu.be/vubuBrcAwtY?long=yes
והעתיד של צביעת הסרטים באמצעות בינה מלאכותית:
https://youtu.be/SM9YwN_Dvv0?long=yes
בשנים האחרונות הולכת ותופסת את מקומה טכנולוגיה מבוססת בינה מלאכותית (AI) שנקראת דיפ פייק (Deepfake). טכנולוגיה זו משמשת לייצור או שינוי תוכן וידאו כך שהיא מציגה מציאות שלמעשה לא התרחשה מעולם. מנאומים שלא ננאמו מעבירים מסרים בדויים מפיהם לכאורה, של אנשים מפורסמים ועד סרטונים "פסאודו-תיעודיים", שמציגים מראות וטקסטים מדוברים, שנראים אמיתיים אך מעולם לא צולמו והוקלטו.
ענף חדש בעולם הדיפ פייק הוא יישום שזכה לשם "דיפ נוסטלגיה" (™Deep Nostalgia), המנפיש את פניהם של אנשים שצולמו בתמונות ישנות או היסטוריות, ומזיז את פניהם, כאילו צולמו בווידאו.
הטכנולוגיה הזו פועלת על כל תמונת סטילס (תמונות קפואות), כולל תמונות בשחור-לבן ותמונות שצולמו בצבע.
השם ניתן ליישום פורץ דרך זה על ידי חברת MyHeritage, שעוסקת בפיתוח טכנולוגיה ליצירת עצי משפחה מקוונים.
סרטוני הדיפ נוסטלגיה התפרסמו כשאנשים שיתפו עם בני משפחתם וחבריהם סרטונים קצרים ומונפשים שנוצרו כך, ובהם קרוביהם ואבותיהם מזיזים את ראשיהם, מצמצים, מחייכים ונעים בצורה ריאליסטית כמעט לחלוטין.
#איך פועלת הדיפ נוסטלגיה?
דיפ נוסטלגיה מחזירה, אם כן, לחיים אנשים שצולמו בצילומי סטילס. זה מתחיל באיתור פני המצולמים בתמונות ואז הפקה של מחוות ותנועות מציאותיות, ממש כאילו צולמו בווידאו. ההנפשה של הפנים בתמונות הסטילס מראה אותם מחייכים, זזים וממצמצים, כאילו צולמו כך במקור.
בבסיס הטכנולוגי של יישום ה"דיפ נוסטלגיה" פועל אלגוריתם למידה עמוקה (Deep Learning), המחבר בין תווי הפנים של המצולמים לבין אוסף מחוות שצולמו בווידאו ושמורים במאגר החברה.
פיתוח וצילום אותן מחוות נעשה כשצילמו אנשי מיי הריטג' מראש שלל מקטעי וידאו של שחקנים ועובדי החברה, המזיזים את ראשיהם ופניהם באורח טבעי, ממצמצים, מחייכים ומפנים את ראשם לכיוונים שונים.
למעשה שכרה חברת MyHeritage רישיון מחברת D-ID, לטכנולוגיה שפותחה בה ומאפשרת שחזור, באמצעות טכנולוגיית למידה עמוקה, של סרטוני וידאו.
על מנת שאפקט ההנפשה יופעל על התמונות, ברזולוציה הכי גבוהה האפשרית, עוברות תמונות מטושטשות חידוד אוטומטי, שמבצעת הטכנולוגיה החדשנית, מה שמעלה באופן דרמטי את איכות הסרטונים המופקים בה.
ההברקה האמיתית של הטכנולוגיה הזו נעוצה בזיהוי והבחירה האוטומטית שמבצע יישום הדיפ נוסטלגיה, מבין מקטעי המחוות בווידאו. ניתוח מהיר של מנח הראש וכיוון העיניים של המצולמים בתמונה מאפשרים ליישום להתאים להם באופן חכם את מחוללי ההנפשה המיטביים ולייצר את הסרטונים המונפשים באופן אופטימלי.
#ממה נמנעו מפתחי הדיפ נוסטלגי?
אנשי חברת MyHeritage ומפתחי היישום המלהיב נמנעו מהוספת דיבור לסרטונים.
לאור העובדה שטכנולוגיית הדיפ פייק ידועה ביכולות המטורפות שלה, גם בתחום הדיבור, נשאלת השאלה מדוע. הרי ניתן היה לשתול בפי המצולמים טקסטים מדוברים, שהיו נשמעים אמיתיים, על אף שמעולם לא צולמו והוקלטו.
ראשית, חשוב לומר שזיהוי קולי של המצולמים, ככל שמדובר באנשים שקרוביהם זוכרים עדיין את קולם האמיתי, היה מפחית את אפקט המציאות שיוצרים הסרטונים הללו.
אבל יש עוד סיבה לכך.
ב-MyHeritage מציינת שההימנעות מאפקטים קוליים של דיבור היא מכוונת. מטרתה, הם מטעימים, היא "למנוע שימושים זדוניים בכלי", דוגמת אלה שנעשים בסרטוני "דיפ פייק" של פוליטיקאים וידוענים שעודם בחיים.
לכן הם גם מבקשים מהמשתמשים לעשות בכלי שימוש רק על תמונות היסטוריות השייכות להם ולהימנע משימוש בתמונות של אנשים חיים, שלא אישרו את השימוש הזה.
הסבר לטכנולוגיה (עברית):
https://youtu.be/O4VPN_YjgIM?t=21s
הנה הדיפ נוסטלגיה:
https://youtu.be/tjBYSnoAWqg
ציורים מפורסמים שקמים לתחייה:
https://youtu.be/TWY1uBK4Zxc
ואפילו דיקטטורים קמים לתחיה עם הדיפ נוסטלגיה של מיי הריטג':
https://youtu.be/a-HR03bToew
