תכנות במרחב המשקולות: האם מודלי שפה בדרך לתקן את עצמם?
דמיינו שאתם יכולים לשפר ביצועים של מודל בינה מלאכותית לא על ידי אימון מחדש (Retraining) יקר וממושך, אלא פשוט על ידי "ניתוח כירורגי" של המשקולות הפנימיות שלו. זה בדיוק מה שחוקרים מ-MIT CSAIL הדגימו לאחרונה, והתוצאות משנות את כל מה שחשבנו על אופטימיזציה של מודלים [2, 7].
מהפכת ה-Weight-Space Programming
צוות חוקרים מ-MIT, בהובלת ריקיה טאקאהי (Rikiya Takehi), הציג גישה חדשה שהם מכנים Weight-Space Programming [2, 3]. במקום להסתמך על תהליכי למידה מסורתיים המבוססים על גרדיאנטים (Gradient Descent), הם השתמשו במודל חזיתי – GPT-6 Astra – כדי לקרוא ולערוך ישירות את המשקולות של מודל אחר, Qwen3.5-0.8B [2, 6].
הקונספט פשוט אך עוצמתי: המודל ה"חכם" מאבחן בעיות פנימיות במודל ה"קטן" ומתקן אותן ברמת הקוד הבינארי של המשקולות [2, 3].
המספרים מאחורי הניסוי
התוצאות שהתקבלו בניסוי היו מרשימות במיוחד. החוקרים ביקשו מ-Astra לשפר את יכולות המתמטיקה של מודל Qwen, שסבל מ"לולאות חשיבה" (Reasoning Loops) שפגעו בביצועיו [3, 7].
- •שינוי מינימלי: Astra שינה רק 0.016% מהמשקולות של המודל [1, 4].
- •קפיצה בביצועים: הציון במבחן MATH-500 זינק מ-7.9% ל-48.1% [1, 8].
- •שיפור רוחבי: גם יכולת ביצוע ההוראות (IFEval) השתפרה פי שלושה, מה שמעיד על כך שהתיקון לא היה נקודתי בלבד אלא שיפר את היציבות הכללית של המודל [2, 7].
למה זה חשוב?
עד היום, כדי לשפר מודל, היינו צריכים להריץ תהליכי אימון מחדש שצורכים משאבי מחשוב אדירים וזמן רב. הגישה הזו מציעה דרך לעקוף את הצורך בגרדיאנטים [2, 6]. זהו צעד משמעותי לעבר מערכות בינה מלאכותית שיכולות לאבחן את עצמן, לתקן באגים פנימיים ולבצע אופטימיזציה בזמן אמת ללא צורך בסטים ענקיים של נתוני אימון [5, 10].
החוקרים הראו ש-Astra לא רק תיקן מודלים קיימים, אלא הצליח לכתוב מאפס רשתות נוירונים קטנות למשחקי מחשב, פשוט על ידי הבנת המבנה המתמטי של המשקולות [3, 6].
סיכום ומסקנות
אנחנו נמצאים בפתחו של עידן חדש שבו מודלי שפה מתייחסים למשקולות של מודלים אחרים כאל קוד קריא וניתן לעריכה [2]. אמנם מדובר בניסויים ראשוניים, והיכולת הזו עדיין מוגבלת למודלים קטנים יחסית, אך הפוטנציאל ברור: היכולת לבצע "עריכה גנטית" לרשתות נוירונים עשויה להפוך את תהליך הפיתוח והתחזוקה של מודלי AI להרבה יותר יעיל, מדויק ומהיר.
מקורות וקריאה נוספת: