מפלצת של 2.5 טריליון פרמטרים בדרך: אילון מאסק חושף את התחנה הבאה של Grok 4.8
קצב הפיתוח בעולם הבינה המלאכותית ממשיך לשבור שיאים, ואילון מאסק לא מתכוון לתת למתחרות לנשום. בעדכון אחרון שמסעיר את קהילת המפתחים וה-AI, מאסק חשף כי מודל הדגל הבא מבית xAI, Grok 4.8, עומד להשלים את שלב האימון המקדים (Pre-training) כבר בימים הקרובים. משם, המודל יעבור ישירות לשלב הקריטי: למידה בחיזוק (Reinforcement Learning - RL).
בגודל בלתי נתפס של כ-2.5 טריליון פרמטרים, לא מדובר רק בעוד שדרוג גרסה מספרי, אלא בקפיצת מדרגה ארכיטקטונית וחישובית שמשנה את כללי המשחק.
מה זה בעצם אומר? מעבר מאימון גולמי ללמידה בחיזוק (RL)
כדי להבין את המשמעות של המעבר הזה, שווה לפרק את שלבי האימון של מודלי שפה ענקיים:
- •שלב ה-Pre-training (אימון מקדים): בשלב זה המודל סופג כמויות עצומות של טקסט, קוד ודאטה מולטימדיה. כאן נבנה "המוח הגולמי" – הוא לומד תחביר, עובדות, לוגיקה בסיסית ודפוסים. זהו השלב היקר והאינטנסיבי ביותר מבחינת כוח מחשוב.
- •שלב ה-Reinforcement Learning (למידה בחיזוק): כאן מתרחש הקסם האמיתי של מודלי הדור החדש. בדומה למה שראינו במודלי חשיבה מתקדמים (Reasoning Models), שלב ה-RL מעצב את יכולות ההסקה של המודל. באמצעות תגמולים (Rewards) ומנגנוני בקרה, המודל מתרגל פתרון בעיות צעד-אחר-צעד, בדיקה עצמית, זיהוי שגיאות בקוד ותכנון משימות מורכבות.
ברגע ש-Grok 4.8 נכנס ל-RL, xAI מתחילה לחדד את היכולות שלו כסוכן אוטונומי (Agentic AI) ולא סתם כמחולל טקסט סטטי.
תשתית מחשוב קיצונית: סופר-קלאסטרים ומחסנית תוכנה ייעודית
אימון מודל בסדר גודל של 2.5T פרמטרים דורש תשתית שמעט מאוד חברות בעולם יכולות להעמיד. על פי דיווחים ועדכונים סביב הפרויקט, xAI נעזרת בסופר-קלאסטרים מתקדמים כמו Colossus (המשלבים עשרות אלפי מאיצי Nvidia) ומחסנית תוכנה ייעודית שנכתבה מחדש ב-C++ כדי למקסם כל טיפת יעילות חישובית ותקשורת בין שבבים.
הקפיצה הזו ממשיכה ישירות את מפת הדרכים האגרסיבית של החברה, לאחר הדגמים הקודמים בסדרה כמו Grok 4.5 ששולבו בכלי פיתוח מובילים דוגמת Cursor.
תובנות למפתחים, בוני מוצרים וצוותי קלאוד
מה המשמעות של מודלים בהיקף כזה עבורנו בפרקטיקה היומיומית?
- •יכולות קידוד ואוטומציה ברמה של מהנדס בכיר: מודלים עם מאות מיליארדי וטריליוני פרמטרים שעוברים חידוד ב-RL מראים זינוק חד ביכולת לבנות פרויקטים שלמים מאפס, לאתר באגים מורכבים במערכות מבוזרות ולכתוב סקריפטים לתשתיות ענן ללא שגיאות.
- •ארכיטקטורת Multi-Model: המודלים האלו כבדים ויקרים להרצה ישירה לכל שאילתה קטנה. בפועל, בעולם הפיתוח ואפליקציות ה-No-Code, אנחנו הולכים לראות שילוב שבו מודלים קטנים ומהירים (כמו Grok Mini) מתמודדים עם המשימות השוטפות, בעוד ענקים כמו Grok 4.8 מופעלים כ"מתכננים ראשיים" (Reasoning Engines) עבור בעיות עמוקות.
- •בשלות של סוכנים אוטונומיים: השילוב בין פרמטריזציה רחבה ל-RL מקדם אותנו במהירות לקראת סוכני בינה מלאכותית שמסוגלים לנהל תהליכי עבודה מלאים מקצה לקצה – מניתוח דרישות מוצר ועד פריסה בפועל לענן.
סיכום ומבט קדימה
ההכרזה על סיום האימון המקדים של Grok 4.8 מוכיחה שוב שמירוץ החימוש על גודל המודלים ויכולות ה-Reasoning עדיין רחוק ממיצוי. אם שלב ה-RL יספק את התוצאות המצופות, אנחנו צפויים לראות מודל שמתחרה ישירות בחזית הטכנולוגית העולמית ומציב סטנדרט חדש ביכולות הסקה.
נמשיך לעקוב מקרוב ולעדכן ברגע שה-API ייפתח למפתחים ונוכל לבחון אותו בבנצ'מרקים אמיתיים בשטח.