מדוע לא כדאי להשתמש ב-High Reasoning ב-GPT-6 Astra?

אם אתם עובדים ביומיום עם מודלי חשיבה (Reasoning Models), כנראה שהתרגלתם לריטואל המוכר: כדי לפתור בעיית קוד סבוכה, ארכיטקטורת ענן או ניתוח נתונים מורכב – פשוט שמים את רמת החשיבה (Reasoning Effort) על

High

טיבו (Tibo) מ-OpenAI שיתף לאחרונה תובנה שמסבירה בדיוק את המגמה הזו: Astra ברמת חשיבה נמוכה (Low) כבר מציג ביצועים טובים יותר מאשר קודמו, Sol (GPT-5.6), כשהוא מוגדר על High. ההמלצה שלו למי שהיה מרוצה מהתוצאות של Sol על מקסימום חשיבה? אל תרוצו ישר לדחוף את Astra לקצה – נסו אותו קודם כל על Low או Medium.

המשפט הזה אולי נשמע כמו טיפ טכני נקודתי לחיסכון במשאבים, אבל בפועל הוא מסמן את תהליך ההתבגרות המשמעותי ביותר שראינו במודלי שפה בשנה האחרונה.

כשמודלי ה-Reasoning הראשונים נכנסו לחיינו, הם התנהגו כמו תלמיד מבריק שנלחץ במבחן – כותב עמודי טיוטה שלמים, מתלבט בקול וממלא מאות שורות של Chain-of-Thought רק כדי להגיע לפסיק הנכון. זה עבד, אבל שילמנו על זה ביוקר: זמני המתנה ארוכים (Latency גבוה) וחשבוניות API מנופחות על טוקנים של חשיבה סמויה.

לפי סקירות וניתוחים טכניים, כמו הניתוח המעמיק ב-DataCamp על GPT-6 Astra, Astra מציג קפיצת מדרגה אמיתית ביעילות המשימה. הוא גוזר זמני ביצוע בכ-47% פחות זמן למשימה בהשוואה ל-GPT-5.6 Sol במבחני שימוש בסביבת מחשב (OSWorld 2.0), תוך שמירה על רמת דיוק יוצאת דופן במבחנים תובעניים כמו FrontierMath ו-ExploitBench.

במילים אחרות: המודל הפך לבוגר ומפוקס יותר. הוא כבר לא צריך "לטחון מים" מנטליים כדי להבין הקשרים מורכבים. החשיבה הבסיסית שלו (Internal Representations) חדה מראש, ולכן מספיקה לו דחיפה קלה ברמת Low כדי לעקוף תוצאות שבעבר דרשו מאמץ חישובי מקסימלי.

לשינוי הזה יש השפעה ישירה ומיידית על הכיס של כל מי שבונה סוכנים (Agents), אוטומציות או מערכות מבוססות API:

1. •פחות טוקנים, פחות עלויות: תמחור טוקני הפלט במודלי דגל אינו זול. כפי שמציינים ב-ComputingForGeeks בסקירת GPT-6 Astra, טוקני החשיבה מחושבים כחלק מעלות ה-Output הכוללת. כאשר מודל נדרש לפחות צעדי מחשבה כדי לסגור משימה, עלות הבקשה יורדת דרמטית, גם אם המחיר למיליון טוקנים בסיסי הוא גבוה יותר.
2. •קיצור זמני תגובה (Latency): אחד החסמים הגדולים בשימוש במודלי חשיבה באפליקציות Production היה הזמן שלוקח למודל להחזיר תשובה. מודל שמפיק תוצאה מעולה ברמת Low מחזיר מענה תוך שניות בודדות, במקום חצי דקה של חישובים מאחורי הקלעים.
3. •עמידות ומניעת Overthinking: מודלים שמריצים חשיבה עמוקה מדי על שאלות פשוטות יחסית נוטים לפעמים להתפזר, להמציא סייגים מיותרים ולהסתבך בלופים לוגיים. היכולת לתת תשובה מדויקת בלי להתאמץ מייצרת פלט נקי וישיר בהרבה.

אם אתם מפתחים, מנהלי מוצר או בונים מערכות AI בארגון שלכם, הנה שתי התאמות שכדאי ליישם כבר היום:

• •ברירת המחדל החדשה שלכם צריכה להיות Low: אל תפתחו את ההגדרות אוטומטית על מקסימום מאמץ חשיבה. תתחילו מ-

  reasoning_effort: low

  , תבחנו את איכות הפלט, ורק אם המשימה מתרסקת או דורשת הוכחה מתמטית/לוגית נדירה – תעלו ל-Medium.
• •בחנו שוב את ה-Workflows הישנים שלכם: משימות מורכבות שעד כה נמנעתם מלהכניס לפרודקשן בזמן אמת בגלל איטיות המודל של Sol על High – הופכות עכשיו לאפשריות ומעשיות לגמרי.

ההתפתחות הזו מוכיחה שוב שהעתיד של בינה מלאכותית אינו נמדד רק בכמה פרמטרים או כוח מחשוב דוחפים פנימה, אלא בכמה החשיבה הזו אלגנטית, חדה וחסכונית.