פחות זה יותר: המהפכה השקטה בהנדסת פרומפטים (ועל מה Anthropic מוותרת)
למה כדאי לכם למחוק 80% מהפרומפט שלכם ואיך המודלים החדשים של Claude משנים את חוקי המשחק של ה-LLMs
במשך השנתיים האחרונות, הנדסת פרומפטים (Prompt Engineering) הפכה לסוג של אמנות שחורה. התרגלנו לכתוב מגילות: "תתנהג כמו מומחה ל-", "תבדוק את עצמך פעמיים", "אל תענה אם אתה לא בטוח", ורשימות אינסופיות של חוקי עשה ואל תעשה. חשבנו שככל שנקיף את המודל ביותר גדרות, כך הוא יתפקד טוב יותר.
אבל ההנחיות החדשות של Anthropic, החברה שעומדת מאחורי Claude, מבהירות שהתפיסה הזו פשוט התיישנה. המודלים החדשים (מסדרת Claude 3.5 וצפונה) הפכו להרבה יותר אינטליגנטיים והרבה פחות זקוקים ל"בייביסיטר" מילולי. למעשה, עודף הוראות לא רק מבזבז טוקנים וכסף – הוא אקטיבית פוגע בביצועים.
הדיאטה של Anthropic: 80% פחות טקסט, אותן תוצאות
הנתון המדהים ביותר שפורסם לאחרונה הוא ש-Anthropic עצמה קיצצה כ-80% מהוראות המערכת (System Prompts) הפנימיות שלה. המהנדסים גילו שהמודל מבין את הכוונה גם בלי שנחזור עליה עשר פעמים בניסוחים שונים.
כשאתם כותבים פרומפט ארוך מדי, אתם יוצרים "רעש" במרחב הקונטקסט של המודל. במקום להתמקד במשימה, המודל מנסה לאזן בין 50 חוקים שונים, מה שמוביל לעיכוב בתשובה (Latency) ולעיתים קרובות לבלבול או היצמדות יתרה לחוקים שוליים על חשבון המהות.
אז איך כותבים פרומפט בעידן החדש?
הנה ארבעה עקרונות מעשיים שצריכים להנחות אתכם מהיום:
1. גבולות גזרה במקום רשימת איסורים
במקום לכתוב רשימה של "אל תעשה" (למשל: "אל תשנה את שמות המשתנים", "אל תוסיף הסברים", "אל תכתוב קוד לא יעיל"), עברו להגדרה חיובית של גבולות הגזרה. הדוגמה המנצחת: "הישאר בגבולות המשימה ושמור על מבנה הקוד המקורי". זה מספיק. המודל מבין מה לא לעשות מתוך הבנת המטרה.
2. תפסיקו לבקש "בדיקות כפולות"
ביטויים כמו "Double check your work" או "Review your answer step by step" הפכו לקלישאות ששורפות טוקנים. אם המודל מספיק חכם לבצע את המשימה, הוא יעשה זאת. אם הוא טועה, לבקש ממנו לבדוק את עצמו באותו פרומפט בדרך כלל לא יעזור (הוא פשוט יחזור על אותה טעות בביטחון עצמי גבוה יותר). מה עושים במקום? מגדירים סכמה ברורה. למשל: "הפלט חייב לעמוד במבנה JSON הבא:". מבנה קשיח מאלץ את המודל לדיוק גבוה בהרבה מכל בקשה מילולית לבדיקה.
3. דוגמאות (Few-Shot) במקום הסברים מתישים
הדרך הטובה ביותר ללמד את Claude איך אתם רוצים שהתוצאה תיראה היא לא לתאר אותה, אלא להראות אותה. במקום לנסות להסביר במילים את הלוגיקה של ממשק ה-HTML שלכם, פשוט תנו לו את קובץ המקור. שימוש ב-Few-Shot Prompting – כלומר מתן 2-3 דוגמאות של "קלט ותוצאה רצויה" – אפקטיבי יותר מ-1,000 מילים של הוראות.
4. חשיפה הדרגתית של מידע
אל תדחפו את כל ה-Knowledge Base של החברה שלכם לתוך פרומפט אחד. זה מעלה את עלות המשימה ויוצר עומס קוגניטיבי על המודל. השיטה הנכונה: תנו קונטקסט בסיסי, ורק במידת הצורך (באמצעות RAG או טעינת קבצים ממוקדת), הוסיפו את המידע הרלוונטי למשימה הספציפית באותו רגע.
השורה התחתונה
אנחנו עוברים מעולם של "תכנות במילים" לעולם של "ניהול כוונות". המודלים של Anthropic, ובעיקר ה-Claude 3.5 Sonnet החדש, הם מכונות הסקה חזקות. כשאתם מדברים אליהם כמו אל ילדים קטנים עם רשימת חוקים אינסופית, אתם מקבלים תוצאות בינוניות.
הטיפ הכי טוב שאני יכול לתת לכם? קחו את הפרומפט הכי ארוך ומורכב שלכם, תמחקו ממנו כל מה שלא קריטי למשימה, ותראו מה קורה. רוב הסיכויים שתופתעו לטובה גם מהאיכות וגם מהמהירות.
רוצים להישאר מעודכנים בכל מה שקורה בעולם ה-AI והאוטומציות? הצטרפו לערוץ הטלגרם שלנו | עקבו אחרינו בוואטסאפ