Arete-27B: שינוי ערכי מודל שפה באמצעות Fine-tuning

בעולם של מודלי שפה פתוחים, אנחנו רגילים לראות מודלים סיניים כמו Qwen של עליבאבא מככבים בראש טבלאות הביצועים. אבל לצד היכולות הטכניות המרשימות, מודלים אלו מגיעים לעיתים קרובות עם הטיות מובנות שמשקפות את תפיסת העולם של המדינה שבה אומנו. חברת Nous Research החליטה לבדוק עד כמה קל – או קשה – לשנות את ה"ערכים" הללו באמצעות פרויקט חדש בשם Arete-27B.

מה זה בעצם Arete-27B?

הפרויקט מבוסס על המודל החזק Qwen3.8-27B. המטרה של Nous הייתה לבצע "אימון המשך" (Post-training) כדי לחזק ערכים מערביים בתוך המודל, מבלי לפגוע ביכולות הליבה שלו. חשוב להבין: לא מדובר בשינוי ארכיטקטוני או בשימוש בטכניקות מורכבות כמו RLHF (למידת חיזוק ממשוב אנושי). החברה השתמשה ב-Supervised Fine-tuning (SFT) בלבד, על גבי כ-52.8 מיליון טוקנים של נתונים שנבחרו בקפידה.

המדידה: איך בודקים "ערכים"?

כדי לכמת את ההצלחה, Nous בנתה מבחן ייעודי שכלל 803 פרומפטים המחולקים לשבע קטגוריות ערכיות, ביניהן: חופש הביטוי, אידיאולוגיה מדינתית, דמוקרטיה ופרטיות.

התוצאות שהציגה החברה היו דרמטיות:

• •ירידה בהטיה: שיעור התשובות שאימצו את עמדת השלטון הסיני צנח מ-22% במודל המקורי ל-1% בלבד ב-Arete-27B.
• •שמירה על ביצועים: במבחן היכולות הכלליות של החברה (Hermes Bench), המודל החדש הציג ביצועים כמעט זהים למודל המקור, מה שמוכיח שניתן לבצע התאמה ערכית מבלי "לשבור" את המודל.

למה זה חשוב למפתחים?

המשמעות המעשית כאן היא עמוקה: הערכים של מודל שפה הם לא "קבועים בסלע". הם שכבה דקה יחסית שניתן לעצב מחדש באמצעות כמות קטנה יחסית של נתונים איכותיים. עבור מפתחים וארגונים שרוצים להשתמש במודלים פתוחים חזקים אך חוששים מהטיות מובנות, הפרויקט הזה מציע מפת דרכים ברורה.

עם זאת, חשוב להישאר ביקורתיים. כפי ש-Nous עצמם מציינים, המדדים הם שלהם, והמבחן נבנה על ידם. זהו לא "אישור רשמי" לניטרליות, אלא הדגמה של יכולת שליטה על התנהגות המודל.

סיכום ומסקנות

הפרויקט הזה מוכיח שוב שהכוח האמיתי של מודלים פתוחים טמון באופציונליות. משתמשים לא חייבים לקבל את ה"ערכים" שמוטמעים במודל כפי שהוא מגיע מהמעבדה. בעזרת Fine-tuning ממוקד, ניתן להתאים את המודל לערכים ולצרכים של המשתמש הסופי.

למי שרוצה להעמיק בנתונים, לבחון את המשקולות או להריץ את המבחן בעצמו, כל המידע זמין ב-Hugging Face. זהו צעד חשוב בדרך להבנה טובה יותר של הדרך שבה מודלי שפה מעבדים מידע ואיך אנחנו, כקהילה, יכולים לעצב אותם בצורה אחראית ושקופה יותר.