תשכחו מפרומפטים: המהפכה האמיתית היא ה-Loop Engineering
למה המירוץ אחרי ה"פרומפט המושלם" נגמר, ואיך בונים מערכות AI שבאמת עובדות בשבילכם (במקום שתעבדו בשבילן)
בימים האחרונים נדמה שאי אפשר לפתוח את הפיד בלי להיתקל במושג החדש שמשתלט על השיחה: Loops. מדברים על Loop Engineering, על Agent Loops ועל Durable Loops. מצד אחד, קל לגלגל עיניים – הרי רק אתמול עוד ניסינו להבין מה זה Prompt Engineering וכבר דוחפים לנו מקצוע חדש. אבל הפעם, בניגוד להרבה באזוורדס ריקים, יש כאן שינוי פרדיגמה עמוק.
המעבר מפרומפטים ללופים הוא ההבדל בין לדבר עם AI לבין לבנות מערכת שעובדת עם AI. זה השלב שבו אנחנו מפסיקים להתלהב מהיכולת של המודל "לכתוב שיר בחרוזים" ומתחילים לבנות את מערכת העצבים של הארגון.
למה פרומפט לבד כבר לא מספיק?
בשנה האחרונה רובנו התמקדנו בשיפור יכולות הניסוח שלנו. איך לגרום ל-GPT-4o או ל-Claude 3.5 להבין אותנו יותר טוב, איך לתת לו קונטקסט מדויק ואיך לגרום לו "להיכנס לדמות". זה נחמד, אבל זה מוגבל. פרומפט הוא פעולה חד-פעמית (One-shot). אתה מבקש, הוא עונה. אם התשובה לא טובה? אתה מתקן ידנית.
העתיד שייך לAgentic Workflows – מושג שאנדרו אן (Andrew Ng), מהדמויות המשפיעות בעולם ה-AI, מדגיש לאחרונה בכל הזדמנות. אן טוען ששימוש במודל פחות חזק (כמו GPT-3.5) בתוך לופ איטרטיבי, יכול להניב תוצאות טובות יותר ממודל חזק שרץ פעם אחת בלבד.
בלופ, המערכת לא רק "מנחשת" את המילה הבאה, היא מתכננת, פועלת, בודקת את עצמה וחוזרת חלילה עד להשגת היעד.
ארבעת העמודים של לופ חכם
כדי לבנות לופ שבאמת מייצר ערך ולא רק שורף טוקנים על ריק, צריך להבין את הארכיטקטורה שלו. לופ טוב מורכב מארבעה רכיבים קריטיים:
- •הטריגר (Trigger): מתי הכל מתחיל? זה כבר לא תלוי במישהו שילחץ על "Enter". לופ מקצועי מופעל מאירועים (Event-driven): מייל שנכנס, שינוי בקוד ב-GitHub, או סתם שעה קבועה בלו"ז.
- •הפעולה (Action): זהו גוף העבודה. קריאת מידע, סיכום, כתיבת קוד או פנייה ל-API חיצוני. כאן המודל מבצע את המשימה שהוגדרה לו.
- •הערכה ובקרה (Evaluation): כאן רוב האנשים נופלים. אם המודל שביצע את הפעולה הוא גם זה שמאשר אותה, אתם בבעיה. זה כמו לתת לסטודנט לבדוק לעצמו את המבחן. בקרת איכות אמיתית משתמשת ב-LLM-as-a-judge (מודל אחר שבודק), בבדיקות יחידה (Unit Tests) או בהצלבת נתונים מול מקור מידע חיצוני (Ground Truth).
- •תנאי עצירה (Termination): לופ בלי עצירה הוא לא אוטונומיה, הוא תקלה תקציבית. מערכת חכמה יודעת מתי היא הגיעה לתוצאה הרצויה, או מתי היא תקועה וצריכה לקרוא לבן אדם (Human-in-the-loop).
מה זה Durable Loops?
כשמדברים על לופים ברמה ארגונית, אי אפשר להתעלם מהמושג Durable Execution. חברות כמו Temporal או Inngest מאפשרות לבנות לופים שיכולים לרוץ ימים, שבועות ואפילו חודשים.
דמיינו תהליך גיוס עובדים שבו ה-AI מנהל את הקשר עם המועמד: שולח מבחן, מחכה לפתרון, מזכיר לו אם הוא שכח, בודק את הפתרון, ומתאם ראיון. אם השרת נופל באמצע? המערכת זוכרת בדיוק איפה היא עצרה וממשיכה משם. זה לא סתם צ'אטבוט, זו תשתית עבודה עמידה.
ההבדל בין צעצוע למערכת עצבים
הפער בין חברות שישרדו את גל ה-AI לבין אלו שיישארו מאחור יתמצה בשאלה: איזה לופים בניתם?
- •החברה הראשונה תשתמש ב-AI כדי לכתוב מיילים מהר יותר. הם קנו צעצוע פרודוקטיביות.
- •החברה השנייה תבנה לופים שמנטרים תקלות ייצור ב-2 בלילה, מצליבים אותן עם הלוגים, מנסים תיקון בסביבת בדיקות, ורק אם התיקון עבר את כל הטסטים – מעלים הצעה לאישור מהנדס בבוקר. הם בנו מערכת עצבים.
הסיכון: המתמחה על הקפאין
חשוב לזכור: לופ גרוע נראה בהתחלה כמו עובד מצטיין. הוא חרוץ, הוא מייצר טקסטים, הוא פותח משימות ב-Jira ושולח הודעות ב-Slack. אבל ללא מנגנון בקרה וזיכרון (Memory), אתם מקבלים "מתמחה על קפאין" עם גישה ל-Production. הוא ימשיך לרוץ במעגלים, לשרוף כסף על טוקנים ולייצר רעש דיגיטלי.
כארכיטקטים של עבודה, התפקיד שלנו משתנה. אנחנו כבר לא הנהגים של ה-AI, אנחנו מתכנני הכבישים והרמזורים. במקום לשאול "איך אני כותב את זה?", אנחנו שואלים "איזה מנגנון יוודא שזה נכתב נכון תמיד?".
שורה תחתונה
בפעם הבאה שמישהו מראה לכם סוכן AI (Agent) חדש ומרשים, אל תסתנוורו מהמודל שרץ מאחורי הקלעים. תשאלו שאלה אחת פשוטה: איזה לופ מחזיק אותו?
כי העתיד לא שייך למי שיודע לדבר עם המכונה, אלא למי שיודע לבנות את המכונה שבודקת את עצמה.