גוגל שוברת את מחסום המהירות: DiffusionGemma משנה את חוקי המשחק של ייצור טקסט

אם יצא לכם להשתמש ב-ChatGPT, Claude או אפילו ב-Gemini, אתם מכירים את ה"ריצוד" המוכר: המודל כותב מילה, ואז עוד מילה, ואז עוד אחת. הטכנולוגיה הזו, שנקראת Autoregressive Generation, עובדת מצוין, אבל יש לה תקרת זכוכית ברורה של מהירות. היא מוגבלת על ידי רוחב הפס של הזיכרון (Memory Bandwidth), כי המחשב צריך לגשת לכל הזיכרון של המודל עבור כל מילה בודדת שהוא מייצר.

כאן נכנסת לתמונה DiffusionGemma, פריצת הדרך הניסיונית החדשה מבית Google DeepMind. במקום להתנהג כמו מכונת כתיבה איטית, היא עובדת כמו מכבש דפוס מודרני.

החידוש המרכזי ב-DiffusionGemma הוא המעבר למודלים מבוססי דיפוזיה (Diffusion). אם הטכנולוגיה הזו נשמעת לכם מוכרת, זה בגלל שהיא עומדת בבסיס של מחוללי תמונות כמו Midjourney או Stable Diffusion. שם, המודל מתחיל מ"רעש" אקראי ומזקק אותו בהדרגה עד שנוצרת תמונה ברורה.

גוגל לקחה את הקונספט הזה והחילה אותו על טקסט. במקום לנחש מה המילה הבאה, DiffusionGemma לוקחת בלוק של 256 טוקנים (בערך 150-200 מילים) בבת אחת. היא מתחילה עם רצף של רעש ומתקנת אותו בלופים מהירים עד שהטקסט הופך לקריא ומדויק.

התוצאה? זינוק דרמטי בביצועים:

• •מהירות פנומנלית: המודל מסוגל לייצר מעל 1,000 טוקנים בשנייה על כרטיס מסך חזק (כמו NVIDIA H100).
• •פי 4 יותר מהיר: בהשוואה למודלים סטנדרטיים באותו גודל, DiffusionGemma משאירה להם אבק בכל מה שקשור לזמן תגובה.
• •יכולת תיקון עצמי: מכיוון שהמודל רואה את כל בלוק הטקסט בו-זמנית, הוא יכול לתקן טעויות בתחילת המשפט על סמך מה שהוא כותב בסופו – משהו שמודלים רגילים פשוט לא מסוגלים לעשות.

אחד הדברים המלהיבים ב-DiffusionGemma הוא הנגישות. מדובר במודל מסוג Mixture of Experts (MoE) עם 26 מיליארד פרמטרים, אבל בזמן העבודה הוא מפעיל רק 3.8 מיליארד מהם.

מה זה אומר מבחינתכם? שניתן להריץ אותו בגרסה מכווצת (Quantized) על כרטיס מסך ביתי עם 18GB VRAM (כמו RTX 3090 או 4090). זה פותח דלת ליישומים מקומיים ופרטיים לחלוטין, בלי לשלם על API ובלי להוציא את המידע שלכם לענן.

זה לא רק עניין של מהירות לשם המהירות. לטכנולוגיה הזו יש ערך מעשי אדיר בכמה תחומים:

1. •פיתוח קוד (Code Infilling): מודלים רגילים מתקשים להשלים קוד בתוך פונקציה קיימת כי הם "רואים" רק את מה שקדם לסמן. DiffusionGemma, בזכות המבנה הדו-כיווני שלה, מבינה גם מה כתוב מתחת לסמן ומשלימה את הקוד בצורה מדויקת הרבה יותר.
2. •עריכת טקסט בזמן אמת: תחשבו על כלי שמשכתב פסקאות שלמות בזמן שאתם מקלידים, בלי הדיליי המעצבן של "חשיבת המודל".
3. •סוכני AI מהירים: עבור יישומים שדורשים תגובה מיידית (כמו עוזרים קוליים), המהירות הזו היא ההבדל בין שיחה טבעית לבין המתנה מורטת עצבים.

חשוב לזכור: DiffusionGemma הוא עדיין מודל ניסיוני (Experimental). הוא לא נועד להחליף את Gemini 1.5 Pro במשימות חשיבה מורכבות, אבל הוא מוכיח שהעתיד של ה-AI לא חייב להיות איטי ויקר.

גוגל שחררה את המודל תחת רישיון Apache 2.0 (קוד פתוח), מה שאומר שכל מפתח יכול לקחת אותו, לשפר אותו ולהטמיע אותו במוצרים שלו.

רוצים להתנסות בעצמכם?

• •המודל זמין להורדה ב-Hugging Face.
• •לפרטים טכניים נוספים מומלץ לקרוא את הבלוג של Google DeepMind.
• •NVIDIA כבר שחררה אופטימיזציות למודל ב-אתר המפתחים שלהם.

המעבר מייצור טקסט טורי לייצור מקבילי הוא אחד השינויים המרתקים שעוברים על התחום, ו-DiffusionGemma היא הסנונית הראשונה שמראה לנו כמה מהר זה יכול לקרות.