מוסיקה של בינה מלאכותית ג'נרטיבית היא אחד הפלאים המדהימים של הז'אנר הנפלא הזה. בשירים ובמוסיקה קשה לרמות כי אנחנו גדלים עליהם חיים שלמים וחשופים לכל כך הרבה מהם שכל שגיאה מזדקרת לאוזנינו מיד.

בינה מלאכותית גנרטיבית (Generative AI) היא בינה מלאכותית שיכולה לייצר עבור המשתמש מגוון של תוכן חדש, החל מטקסטים, דרך תמונות, סרטונים, מוסיקה ומגוון סוגי מדיה נוספים.

הבינה המלאכותית המוסיקלית יודעת לעשות 3 דברים:

1. לקבל דאטה מוסיקלי, כלומר נתונים, בכמויות ענק, מכל סגנון של מוסיקה, מכל תקופה או אזור ותרבות בעולם ועם כל קול וכלי מוסיקלי אפשרי.

2. ללמוד מהדאטה הזה איך הדברים נשמעים.

3. לייצר מוסיקה חדשה, לפי דרישות המשתמש כפי שנוסחו בהוראות מילוליות פשוטות (פרומפטים).

פלטפורמות וכלי בינה פופולריים כמו Suno ו-Udio מאפשרים היום יצירת מוסיקה קלה וחדשנית. יצירה כזו של מוסיקה לא מחייבת את המשתמשים בידע מוסיקלי אלא רק ביכולות ניסוח פרומפטים וטעם טוב, שיאפשר ליצור מוסיקה טובה באמצעות בינה מלאכותית.

את הידע המוסיקלי שנדרש מאז ומעולם, בכדי להלחין ולכתוב שירים ומוסיקה כלית, מחליפים כאן אלגוריתמים מתקדמים ויכולת של המודלים הבינתיים להבין את הפרומפטים, אותם תיאורים טקסטואליים שהמשתמשים כותבים ולהפוך אותם ליצירות מוסיקליות, שכוללות מלודיה (מנגינה), עיבוד והפקה שנשמעת לא פעם מקצועית והולכת ומשתפרת בכל גרסה חדשה.

היכולת המדהימה הזו, שמאפשרת לאנשים ללא רקע מוסיקלי ליצור מוסיקה ושירים שלמים בקלות יחסית, מאפשרת פתיחה של עולם יצירת המוסיקה לציבורים חדשים ופותחת הזדמנויות חדשות לביטוי יצירתי ואמנותי.

פרויקט יוטיוב מוצלח בעבר היה AI Beatles שייצר שירים שהביטלס מעולם לא שרו. מהמילים והמוסיקה ועד לקולות וצורת השירה, הם נשמעו מאוד כמו הדבר האמיתי אבל הם לגמרי בינה מלאכותית. את הקליפים יצרו שם מחומרים אמיתיים.

עוד מודל Gen AI מעניין הוא Diff-A-Riff, שיוצר ליווי כלי לריף מוסיקלי שהעלית. הוא משתמש במקודד אוטומטי (CAE) ומודל דיפוזיה סמוי (LDM) כדי ליצור ערוצי מוסיקה, תפקידי כלים נוספים שמתאימים ללוות את הריף המקורי. עם Diff-A-Riff, ניתן לתת רפרנס, מעין השראה או רוח מוסיקלית, או פרומפט - הנחייה מילולית שתנחה את המודל בהפקת הערוצים הנוספים הללו. בכך פותח המודל, כלומר הכלי, אפשרויות חדשות ומרגשות, הן למוסיקאים המחפשים השראה וכן לחובבים או מתעניינים שרוצים לשלב בינה גנרטיבית וכלי AI במוסיקה.


הנה המודל של Suno שמייצר מוסיקת AI בהזמנה:

https://youtu.be/3_pxKK2wqvI


פרומפטים ל-Suno מתקדם:

https://youtu.be/u-ZuCHAufqs


הבינה המוסיקלית המדהימה של Udio:

https://youtu.be/aQC0FI_asKY


המחשה מוקדמת של שיטת הוספת הכלים והתפקידים במודל Diff-A-Riff:

https://youtu.be/dAq0YcOAB4k


הדוגמאות של המודל הבא מ-Eleven labs:

https://youtu.be/WA4Aco4rnTA


ניסיתם כבר להלחין בהמהום?

https://youtu.be/vA63-nDMYGg


תמיד יהיה מנוע וידאו שיאפשר להפוך את זה לקליפ:

https://youtu.be/Xfhulh3iyWQ


מוסיקה קלאסית לכינור וכלי מיתר שיצרה בינה:

https://youtu.be/iQ6ITnYAIok


פרויקט הקוד הפתוח המצוין Minimax:

https://youtu.be/aUcDyeZgz_k?long=yes


Riffusion - הכלי החדש ליצירת מוסיקת AI (עברית):

https://youtu.be/c5_agjg-_Q4?long=yes


ההבטחה המפוקפקת אך אפשרית לעשות כסף ממוסיקת הבינה:

https://youtu.be/cvRJ_izhs28?long=yes


ואיך עובדים עם סונו 4:

https://youtu.be/5zYHm35V998?long=yes