משהו רקוב בממלכת הבנצ'מרקים: למה OpenAI חושבת שהמבחן הכי חשוב לקוד ב-AI פשוט שבור?
במקום להאשים את המודלים בכשלונות, הגיע הזמן להסתכל על המבחנים עצמם. הניתוח האחרון של OpenAI על SWE-bench חושף מציאות בעייתית: קרוב ל-30% מהמשימות במבחן הפופולרי ביותר לפיתוח תוכנה הן פשוט בלתי אפשריות לפתרון.
בכל פעם שיוצא מודל שפה חדש, אנחנו רצים לראות את הטבלאות. כמה הוא קיבל ב-MMLU? כמה הוא חזק ב-HumanEval? אבל בשנה האחרונה, המבחן שהפך לסטנדרט הזהב האמיתי עבור סוכני AI (AI Agents) הוא ה-SWE-bench. בניגוד למבחנים סינתטיים שדורשים כתיבת פונקציה פשוטה, SWE-bench מבוסס על בעיות אמיתיות מתוך GitHub. הוא דורש מהמודל להבין ריפו (Repository) שלם, לשנות קבצים ולעבור בדיקות יחידה (Unit Tests).
אלא שמתברר שגם הבוחנים צריכים להיבחן. OpenAI פרסמה לאחרונה מחקר מעמיק שבו היא טוענת: חלק עצום מהמבחן הזה פשוט לא תקין.
כשהמבחן מכשיל את התלמיד בכוונה
הניתוח של OpenAI התמקד בגרסת ה-Lite של המבחן, המשמשת להערכה מהירה של מודלים. הם שכרו מהנדסי תוכנה אנושיים שיעברו על המשימות אחת-אחת, והמסקנות היו מדהימות: כ-30% מהמשימות סומנו כבעייתיות.
מה זה אומר "בעייתיות"? הנה כמה דוגמאות שמצאו המהנדסים:
- •דרישות חסרות או מעורפלות: המשימה מבקשת לתקן באג, אבל התיאור לא מספק מספיק מידע כדי להבין מה בכלל נחשב לתיקון נכון.
- •בדיקות יחידה שבורות: המבחן כולל Unit Tests שנכשלים גם אם המודל כתב קוד מושלם, פשוט כי הבדיקה עצמה כתובה רע או מסתמכת על סביבה שלא קיימת.
- •הוראות סותרות: בתוך ה-Issue המקורי מ-GitHub היו הוראות שסתרו אחת את השנייה, מה שהשאיר את המודל (ואת המהנדס האנושי) במבוי סתום.
המשמעות היא דרמטית: מודלים כמו GPT-4o או Claude 3.5 Sonnet נראים פחות טוב ממה שהם באמת, פשוט כי הם מנסים לפתור חידות שאין להן פתרון.
הפתרון: SWE-bench Verified
OpenAI לא רק הצביעה על הבעיה, היא גם שחררה פתרון: SWE-bench Verified. זוהי תת-קבוצה מנופה של המבחן המקורי, הכוללת 500 משימות שעברו וולידציה אנושית קפדנית כדי לוודא שהן פתירות, ברורות ומכילות את כל המידע הדרוש.
התוצאות על המבחן המנופה מראות קפיצה משמעותית בביצועים. בעוד שבמבחן המקורי וה"מלוכלך" מודלים התקשו לעבור רף מסוים, בגרסה המאומתת אנחנו רואים שהיכולות האמיתיות של ה-AI באות לידי ביטוי. לדוגמה, GPT-4o הציג שיפור משמעותי באחוזי ההצלחה ברגע שהורדו מהשולחן המשימות ה"שבורות".
למה זה חשוב לנו?
הסיפור הזה הוא הרבה מעבר לריב טכני על בנצ'מרקים. הוא מלמד אותנו שני דברים קריטיים על עתיד הפיתוח עם AI:
- •אנחנו צריכים דאטה איכותי, לא כמותי: בדיוק כפי שאימון מודלים על דאטה זבל מייצר תוצאות זבל, כך גם הערכה על דאטה שגוי מטעה את התעשייה. ככל שהבינה המלאכותית הופכת ליותר "סוכנית" (Agentic) ומבצעת משימות מקצה לקצה, הדיוק בתיאור המשימה הופך לקריטי.
- •הגורם האנושי עדיין כאן: כדי לבנות את המבחן הכי טוב ל-AI, היינו צריכים מהנדסי תוכנה בשר ודם שיעברו על אלפי שורות קוד ויוודאו שהן הגיוניות. הבינה המלאכותית עדיין זקוקה לסטנדרטים שאנחנו מציבים לה.
שורה תחתונה
המהלך של OpenAI הוא קריאת השכמה לכל מי שעוסק בפיתוח ובהערכה של כלי AI. לפני שאנחנו קובעים שמודל מסוים "לא יודע לתכנת", כדאי שנבדוק אם המשימה שנתנו לו בכלל אפשרית לפתרון על ידי בן אדם.
אני ממליץ לכל מי שעוסק בפיתוח סוכני AI להעיף מבט בפוסט הרשמי של OpenAI ובמאגר הנתונים המנופה ב-GitHub. זה ישנה את הדרך שבה אתם בוחנים את הכלים שלכם.
למידע נוסף וקריאת המחקר המלא: