לקחים כלכליים מ-Project Deal של Anthropic

כולנו מדברים על "סוכני AI" כבר חודשים, אבל רוב הזמן זה נשאר בגדר הבטחה טכנולוגית רחוקה. לאחרונה, חברת Anthropic החליטה להפסיק לדבר ולהתחיל להריץ ניסוי שטח חי, שנותן לנו הצצה נדירה לאיך ייראה העתיד שבו הבוט שלנו לא רק עונה על שאלות, אלא אשכרה יוצא לשוק עם הארנק שלנו.

הניסוי, שזכה לשם Project Deal, הפך את משרדי החברה בסן פרנסיסקו לשוק "קח-תן" דיגיטלי ואוטונומי לחלוטין. במקום ש-69 העובדים שהשתתפו בניסוי יבזבזו זמן על פרסום מודעות והתכתבויות מתישות בסלאק, הם פשוט עברו ראיון קצר עם קלוד (Claude), הגדירו לו מה הם רוצים למכור או לקנות, מה התקציב שלהם ומהו סגנון המשא ומתן המועדף עליהם. מכאן והלאה – הסוכנים לקחו את המושכות.

לא רק משחקים: 186 עסקאות בעולם האמיתי

זה לא היה סימולציה. הסוכנים של קלוד פעלו בתוך ערוצי סלאק ייעודיים, פרסמו מודעות, איתרו קונים ומוכרים פוטנציאליים, ניהלו התכתבויות מורכבות בשפה טבעית וסגרו עסקאות. בסוף השבוע של הניסוי, נסגרו 186 עסקאות בשווי כולל של מעל 4,000 דולר.

הפריטים שנמכרו היו פיזיים לחלוטין: מגלשי סנובורד, מקלדות מכניות, יהלומי מעבדה ואפילו שקית של 19 כדורי פינג-פונג (שהסוכן הגדיר בחינניות כ-"19 כדורים מושלמים של אפשרויות"). העובדים היו צריכים רק להתייצב בסוף היום ולהחליף ידיים עם החפצים.

פער האינטליגנציה: למה המודל שבו אתם משתמשים שווה כסף?

החלק המרתק ביותר בניסוי של Anthropic היה הניסוי המקביל והסמוי שהם הריצו. הם רצו לבדוק האם ליכולת של המודל יש משמעות כלכלית ישירה. הם חילקו את הסוכנים לשתי קבוצות: חלק רצו על Claude 3 Opus (המודל החזק והיקר) וחלק על Claude 3 Haiku (המודל הקל והמהיר).

התוצאות היו חד-משמעיות ומעוררות מחשבה:

• •ביצועים עודפים: סוכני ה-Opus סגרו בממוצע 2 עסקאות יותר לכל עובד לעומת סוכני ה-Haiku.
• •מחירים טובים יותר: מוכרים שהשתמשו ב-Opus הרוויחו בממוצע 2.68 דולר יותר על כל פריט, בעוד שקונים שהשתמשו ב-Opus חסכו 2.45 דולר בממוצע.
• •דוגמה מהשטח: אופניים מתקפלים שנמכרו דרך סוכן Opus הגיעו למחיר של 65 דולר, בעוד שסוכן Haiku הצליח להשיג עבור אותם אופניים בדיוק רק 38 דולר.

האשליה של ההוגנות

כאן מגיע הנתון הכי מטריד: העובדים לא שמו לב להבדל. בסקר שביעות רצון שנערך לאחר הניסוי, משתמשי ה-Haiku (אלו שהפסידו כסף בלי לדעת) דירגו את הגינות העסקאות שלהם כמעט בדיוק באותו ציון כמו משתמשי ה-Opus. זהו מצב ש-Anthropic מכנה "אי-שוויון בלתי נראה". בעולם שבו סוכני AI מנהלים עבורנו את הכלכלה, מי שיחזיק במודל חזק יותר פשוט ירוויח יותר, בזמן שהצד השני אפילו לא יבין שהוא נמצא בעמדת נחיתות.

עוד תובנה מעניינת היא שסגנון המשא ומתן שהגדירו המשתמשים (כמו "תהיה קשוח" או "תהיה חברותי") כמעט לא השפיע על התוצאה הסופית. מה שקבע את השורה התחתונה היה האינטליגנציה הגולמית של המודל והיכולת שלו להבין ניואנסים, לתזמן הצעות ולזהות הזדמנויות בשוק.

שורה בתחתונה: העתיד הוא אג'נטי

Project Deal מוכיח שסוכני AI כבר מסוגלים לבצע פעולות כלכליות מורכבות בסביבה מרובת משתתפים. עבורנו, כאנשי טכנולוגיה ומפתחים, המסר ברור:

1. •המודל הוא האסטרטגיה: כשבונים סוכנים לביצוע משימות קריטיות (כמו רכש או ניהול מלאי), בחירת המודל היא לא רק שאלה של עלות הרצה, אלא שאלה של ROI ישיר.
2. •פרומפטינג זה לא הכל: אי אפשר "לפצות" על מודל חלש באמצעות הוראות משא ומתן מתוחכמות. היכולת הקוגניטיבית של המודל היא המנוע האמיתי.
3. •ממשק המשתמש משתנה: היכולת של קלוד לראיין את המשתמש ולהפוך את רצונותיו לסוכן אוטונומי היא מודל עבודה שאנחנו נראה ביותר ויותר אפליקציות בשנה הקרובה.

למי שרוצה להעמיק בפרטים הטכניים והסטטיסטיים של הניסוי, מומלץ לקרוא את הדיווח המלא בבלוג של Anthropic.

היום שבו ה-AI שלכם יסגור עבורכם את חוזה השכירות או ינהל את המשא ומתן מול הספקים של העסק קרוב הרבה יותר ממה שחשבנו. השאלה היא רק באיזה מודל תבחרו לשלוח לזירה.