Google DeepMind חושפת את Genie 4: מודל עולם עם שמע מובנה ושליטה בזמן אמת, בשלב מחקר בלבד

מה Google הכריזה

⁦Google DeepMind⁩ הכריזה ב-27 באוקטובר על ⁦Genie 4⁩, מודל עולם חדש לסימולציה אינטראקטיבית בזמן אמת. מודל עולם הוא מערכת שמייצרת סביבה שאפשר לנוע בה ולהשפיע עליה, בלי שמישהו בנה את הסביבה מראש. לפי ⁦Google⁩, המשתמש מפעיל אירוע, ו-⁠⁦Genie 4⁩ מדמה מה קורה אחר כך: איך העולם מגיב, איך הוא נשמע ואיך האנשים בו זזים, מגיבים ומדברים.

בפוסט של ⁦DeepMind⁩ נכתב שהמודל הוא רב-מודלי באופן מובנה, כלומר מייצר שמע יחד עם התמונה. ⁦Genie 4⁩ נשען על יכולות ממשפחת ⁦Gemini⁩: לפי ⁦Google⁩, ⁦Gemini Omni⁩ מעגן את הסימולציה במראה ובהתנהגות של העולם האמיתי, ודגמי ⁦Gemini⁩ אחרים מספקים את החשיבה שמסייעת לשמור על עקביות.

ארבע יכולות מרכזיות

הראשונה היא שליטה בזמן אמת. לפי ⁦DeepMind⁩, אפשר להשתמש בשפה טבעית כדי לשנות סימולציה תוך כדי ריצה, למשל לשנות את מזג האוויר, להזיז את המצלמה או להכניס אדם או עצם חדש, ו-⁠⁦Gemini⁩ מתאים את ההנחיה לסצנה. בין ההנחיות ⁦Gemini⁩ גם עוקב אחר הסצנה ומכוון אותה כך שהעולם ימשיך להתפתח באופן קוהרנטי. ⁦DeepMind⁩ מציינת שבהדגמות המשתמשים משתמשים במקשי מקלדת רגילים לניווט ולשליטה במצלמה, ובהנחיות טקסט להכוונת הסצנה.

השנייה היא פיזיקה ודמויות. ⁦Google⁩ כותבת שהמודל מדמה תרחישים כמו אווירודינמיקה והתנגשויות, ושהקפיצה הדרמטית ביותר היא בדמויות: הן זזות באופן טבעי, מגיבות לסביבה וניתנות להכוונה בזמן אמת. ⁦Ars Technica⁩ כותב, בהתבסס על ⁦DeepMind⁩, שהדמויות אמורות להיראות פחות מוזרות, עם תנועה ותגובות טבעיות יותר לשינויים בסביבה.

השלישית היא שמע. לפי ⁦Google⁩, ⁦Genie 4⁩ הוא מודל העולם הראשון שלה שמייצר שמע בזמן אמת באופן מובנה: לכל עולם יש את הצלילים של הסביבה שלו, מרוח בעצים ועד גלים בחוף. ההישג שמוגדר כגבול החדש הוא דיבור אנושי, דיאלוג שמסתגל תוך כדי תנועה. ⁦Ars Technica⁩ כותב שזו הקפיצה הגדולה ביותר, "אם זה עובד".

הרביעית היא שילוב עם ⁦Gemini⁩. לפי ⁦DeepMind⁩, ⁦Gemini 3.8 Flash⁩ משמש סוכן מנחה בלולאה: הוא צופה בסצנה, מפרק מטרות לשלבים ובוחן את הפריימים הנכנסים כדי לוודא שכל שלב הצליח. בניסוי מחקרי נפרד, שנעשה יחד עם ⁦Gemini Robotics⁩, מודל בשם ⁦Gemini 4 Argon⁩ פירק משימה לשלבים ש-⁠⁦Genie 4⁩ הציג, וביחד הם דימו את הרובוט ההומנואידי ⁦Apollo⁩ של ⁦Apptronik⁩ משחק דמקה.

מה בודקים בשטח

⁦DeepMind⁩ כותבת שהיא עובדת עם קבוצות של בודקים מהימנים בתחומי יצירה, עיתונאות, חינוך, משחקים והנדסה. לפי ⁦Google⁩, יוצרי קולנוע בודקים את ⁦Genie 4⁩ כ"מצב טיוטה" לתכנון חזותי, שבו אפשר להיכנס לסצנה חיה ולהריץ כמה "טייקים" בזמן אמת. צלמי עיתונות בודקים איך תצלום ארכיון אחד הופך לסימולציה של המקום, ומפתחי משחקים בודקים מעבר מרעיון לאב-טיפוס שאפשר לחקור.

⁦TechCrunch⁩ מצטט את דייגו ריבס, מהנדס ב-⁠⁦DeepMind⁩, שאמר במסיבת עיתונאים שהיכולת בזמן אמת שימושית בשלב הרעיונות והסטוריבורד. ריבס הדגיש לפי ⁦TechCrunch⁩ שעדיין מוקדם ושלא ברור איך תיראה חוויית המוצר מקצה לקצה. הכתבה מציינת גם שהמודל הקודם, ⁦Genie 3⁩, יצא כתצוגה מקדימה לפני קצת יותר משנה, ושהחברה ⁦Runway⁩ הציגה לפני כמה חודשים מודל עולם משלה.

כמה זמן העולם מחזיק

לפי ⁦TechCrunch⁩, ⁦Genie 4⁩ שומר על סצנה עקבית עד כשתי דקות, כפול מהמגבלה של קודמו. ⁦The Verge⁩ כותב אף הוא על כשתי דקות לעומת דקה במודל הקודם, ו-⁠⁦Ars Technica⁩ כותב שהעולמות נשארים עקביים "כמה דקות" לפני שהם שוכחים איך הדברים התחילו. בפוסט של ⁦DeepMind⁩ עצמו אין מספר מדויק, ורק נכתב שהמודל שומר על סביבות קוהרנטיות לאורך סשנים קצרים. בגלל השוני בניסוח, כדאי להתייחס לשתי הדקות כנתון מדיווחי העיתונות ולא כמספר מאושר של ⁦Google⁩.

⁦DeepMind⁩ מפרטת מגבלות: פרטים וקביעות עצמים עלולים להשתנות כשסימולציה רצה זמן רב, אחרי הנחיות מורכבות רבות או בזמן ניווט בסצנה. אינטראקציות פיזיקליות מורכבות, דיוק השמע בזמן אמת, הצגת טקסט קריא, דיוק מרחבי ועקביות לטווח ארוך הם תחומי מחקר פעילים. לפי ⁦TechCrunch⁩, הצוות הודה גם שעדיין לא פתר איך להבטיח שהשמע יהיה מדויק ושהטקסט בעולם יהיה קריא.

בטיחות, זמינות ומחיר

לפי ⁦Google⁩, כל הווידאו והשמע ש-⁠⁦Genie 4⁩ מייצר יכללו ⁦SynthID⁩, סימן מים בלתי נראה לזיהוי תוכן שנוצר בבינה מלאכותית. החברה כותבת שהמודל נבדק בהערכות בטיחות פנימיות לפני התצוגה המקדימה, ושהוא נפרס קודם לבודקים מהימנים כדי לקבל משוב לפני פתיחה רחבה יותר.

לגבי זמינות, ⁦Google⁩ כותבת ש-⁠⁦Genie 4⁩ "יגיע בקרוב" למנויי ⁦Google AI Ultra⁩ ב-⁠⁦Project Genie⁩ ולשותפי גישה מוקדמת ב-⁠⁦Gemini API⁩ וב-⁠⁦Google AI Studio⁩, ושרשימת המתנה פתוחה. ⁦Ars Technica⁩ מוסיף שמחיר ל-⁠⁦API⁩ עדיין לא פורסם, ושמנויי ⁦Ultra⁩ מתחילים ב-$100 לחודש. הנתון על $100 לחודש הוא של ⁦Ars Technica⁩ ולא מופיע בפוסטים של ⁦Google⁩ שקראנו, ולכן כדאי לוודא אותו מול ⁦Google⁩ לפני שמסתמכים עליו. בישראל לא פורסם מידע על זמינות מקומית.

מה לא ידוע

⁦TechCrunch⁩, ⁦The Verge⁩ ו-⁠⁦Ars Technica⁩ מבוססים על ההודעה של ⁦Google⁩ והדגמות שהחברה בחרה לפרסם, וכתב ⁦The Verge⁩ אומר במפורש שלא ניסה את המודל. לא ידוע כמה ⁦Genie 4⁩ טוב בפועל מחוץ להדגמות, מה העלות להפעלה, מתי יגיע לציבור ואם הוא יהיה זמין בישראל. עד שבודקים חיצוניים ינסו אותו, הנתונים על הריאליזם, השמע והזמן שבו העולם נשאר יציב הם טענות של ⁦Google⁩.