Inkling: המודל שמשנה את חוקי המשחק ב-Open Source (והוא גם חושב לפני שהוא עונה)
הכירו את היורש הפתוח של מודלי ה-Reasoning: חברת Thinking Machines שחררה את Inkling, מודל מולטימודאלי ענק עם טוויסט שמאפשר לנו לקבוע כמה זמן הוא יקדיש למחשבה על כל שאלה.
עד לא מזמן, יכולות של "חשיבה עמוקה" (Reasoning) היו שמורות למודלים סגורים ויקרים כמו o1 של OpenAI. אבל עולם הקוד הפתוח לא נשאר מאחור. חברת Thinking Machines שחררה השבוע את Inkling, מודל Mixture-of-Experts (MoE) מסיבי שמשלב יכולות מולטימודאליות טבעיות עם מנגנון שליטה דינמי על זמן העיבוד.
בניגוד למודלים שפשוט "יורים" את המילה הבאה, Inkling מסוגל לעצור, לנתח ולהעמיק בבעיה לפני שהוא מספק תשובה. והחלק הכי טוב? המשקולות שלו פתוחות לגמרי תחת רישיון Apache 2.0.
המנגנון הסודי: חיוג לרמת הריכוז
החידוש המעניין ביותר ב-Inkling הוא מנגנון ה-Controllable Thinking Effort. תחשבו על זה כמו על "חוגת ריכוז": אתם יכולים לשלוח למודל פרמטר (בין 0.00 ל-0.99) שקובע כמה מאמץ מחשבתי הוא ישקיע במשימה.
למה זה חשוב? כי לא כל שאלה דורשת את אותו כוח עיבוד. אם אתם מבקשים ממנו לכתוב אימייל קצר, אפשר להגדיר מאמץ נמוך ולקבל תשובה מהירה וזולה. אם אתם צריכים פתרון לבעיית מתמטיקה מורכבת או דיבאגינג לקוד סבוך, אתם מעלים את המאמץ ל-Max (רמה של 0.99), והמודל מבצע סבבים נוספים של חשיבה פנימית כדי להגיע לתוצאה מדויקת יותר.
בבדיקות של החברה, Inkling הצליח להשתוות לביצועים של מודלים חזקים בהרבה תוך שימוש בשליש מכמות הטוקנים בלבד, פשוט בזכות היכולת לתעדף חשיבה איכותית על פני ייצור טקסט מהיר.
לא רק טקסט: הוא באמת מקשיב
רוב המודלים שקוראים לעצמם "מולטימודאליים" הם למעשה מודלי טקסט עם "מתרגם" חיצוני לתמונות או סאונד. Inkling שונה: הוא אומן נתיבית (Natively) על טקסט, תמונה ואודיו בו זמנית.
- •סאונד: המודל לא רק מתמלל דיבור, הוא מבין אינטונציה, רגש ורעשי רקע ישירות מתוך הקובץ (בפורמט WAV).
- •תמונה: הוא מצטיין בניתוח דיאגרמות מורכבות, גרפים וקוד חזותי.
- •חלון הקשר: עם תמיכה בעד מיליון טוקנים (1M Context), אפשר להזין לו פודקאסטים שלמים או ספריות קוד ענקיות והוא לא יאבד את הצפון.
תכל'ס, מה יש מתחת למכסה המנוע?
מבחינה ארכיטקטונית, מדובר במפלצת:
- •975 מיליארד פרמטרים בסך הכל.
- •41 מיליארד פרמטרים פעילים בכל רגע נתון (הודות למבנה ה-MoE הכולל 256 מומחים).
- •רישיון פתוח: Apache 2.0, מה שמאפשר שימוש מסחרי מלא ללא הגבלות דרקוניות.
המודל כבר זמין להורדה ב-Hugging Face ונתמך ביום ההשקה (Day-0) על ידי פלטפורמות כמו NVIDIA NIM, Databricks ו-vLLM. עבור מי שרוצה להתנסות בלי להקים שרת של 2TB VRAM, אפשר לשחק איתו ב-Playground של פלטפורמת Tinker.
השורה התחתונה
Inkling הוא לא המודל הכי חזק בעולם במונחים מוחלטים, אבל הוא המודל הפתוח הכי פרקטי שראינו לאחרונה עבור מפתחים. היכולת לשלוט ב-Trade-off שבין עלות/זמן לבין איכות התשובה היא כלי עבודה אדיר לבניית סוכני AI (Agents) שצריכים לעבוד בעולם האמיתי.
אם אתם מחפשים מודל בסיס (Base Model) שאפשר לעשות לו Fine-tuning על הנתונים שלכם וליהנות מיכולות Reasoning מובנות – זה הזמן לבדוק את Inkling.
קישורים רלוונטיים: