מהפכת ה-Embodied AI: איך Runway הופכת סרטוני וידאו לפקודות לרובוטים
אחד האתגרים הגדולים ביותר בתחום הרובוטיקה כיום הוא לאו דווקא החומרה, אלא הנתונים. איסוף נתונים מהעולם האמיתי עבור אימון רובוטים הוא תהליך יקר, איטי ומורכב להפליא. בעוד שבינה מלאכותית גנרטיבית פורחת בזכות כמויות אדירות של טקסט ותמונות, רובוטים נותרו מאחור בגלל המחסור ב"דוגמאות פעולה" איכותיות. חברת Runway, שמוכרת לנו בעיקר מעולמות יצירת הווידאו ב-AI, מנסה לשנות את המשוואה הזו עם הכרזה מסקרנת: Praxis-1.
הבעיה: למה קשה לאמן רובוטים?
כדי שרובוט יבצע פעולה פשוטה כמו הרמת כדור והנחתו בקופסה, הוא זקוק לאלפי דוגמאות מתויגות. הבעיה היא שסרטוני הדגמה של רובוטים הם משאב נדיר. לעומת זאת, האינטרנט מוצף במיליארדי שעות של וידאו שמתעדות בני אדם מבצעים פעולות יומיומיות. כאן נכנסת לתמונה התובנה של Runway: אם המודל כבר למד "איך העולם עובד" מתוך צפייה בווידאו, אולי אפשר לתרגם את הידע הזה לשליטה פיזית ברובוטים?
מה זה Praxis-1?
Praxis-1 הוא מה ש-Runway מכנה "World Action Model" (מודל פעולה עולמי) בעל משקלים פתוחים (Open-weights). המודל נבנה על גבי התשתית הטכנולוגית של מודלי הווידאו הגדולים של החברה, ומטרתו לגשר על הפער בין הבנה ויזואלית לבין ביצוע פעולות מוטוריות [4, 5].
במקום לנסות לאסוף עוד ועוד נתונים מרובוטים יקרים, המערכת משתמשת בידע שנצבר מאימון על וידאו כדי להבין את הפיזיקה והדינמיקה של הסביבה. התוצאה היא מודל שיכול לקבל פקודות שפה טבעית ולהפוך אותן לתנועות מדויקות עבור זרועות רובוטיות ומערכות אוטונומיות [8, 10].
שיתופי פעולה וזמינות
הפיתוח של Praxis-1 לא נעשה בחלל ריק. Runway כבר משתפת פעולה עם חברות רובוטיקה מובילות כדי לבחון את המודל בשטח, ביניהן:
- •Noble Machines
- •Standard Bots
- •Ultra
החברה הודיעה כי היא מתכננת לשחרר את המשקלים של המודל לציבור הרחב בחודשים הקרובים, מהלך שעשוי להוריד משמעותית את חסמי הכניסה למפתחי רובוטיקה עצמאיים וחברות סטארט-אפ [4]. בינתיים, ניתן להגיש בקשה לגישה מוקדמת דרך האתר הרשמי של החברה [4, 7].
למה זה משנה?
המהלך של Runway מסמן מגמה רחבה יותר: המעבר מ-AI שרק "מייצר תוכן" ל-AI ש"פועל בעולם". אם נצליח להשתמש במידע הוויזואלי הקיים כדי לאמן רובוטים, אנחנו עשויים לראות קפיצת מדרגה ביכולות של רובוטים ביתיים ותעשייתיים בטווח זמן קצר בהרבה ממה שחזינו.
היכולת להשתמש ב-General World Models (כמו GWM-1 של Runway) כדי להריץ סימולציות פוטו-ריאליסטיות ולתרגם אותן לפעולות רובוטיות, היא כלי עוצמתי שמשנה את כללי המשחק עבור כל מי שעוסק בפיתוח Embodied AI [3, 7].
סיכום
Praxis-1 הוא הוכחה לכך שהידע שנצבר בתחום ה-Generative Video הוא הרבה מעבר ל"סרטונים יפים". מדובר בתשתית להבנת המציאות הפיזית. עבור מפתחים, זה אומר שבעתיד הקרוב, אימון רובוט עשוי להפוך למשימה נגישה הרבה יותר, כזו שלא דורשת מעבדות ענק או תקציבי עתק, אלא בעיקר גישה למודלים חכמים שיודעים ללמוד מהעולם סביבנו.
למידע נוסף: