היתרון של מי שיודע שהכול ייגמר רע: המלכודת של פסימיות בבינה מלאכותית

למה נבואות זעם טכנולוגיות נשמעות תמיד מתוחכמות יותר, איך נראה ריאליזם אמיתי בשטח, ולמה אופטימיות מעשית היא הבחירה היחידה שלנו

יש משהו נוח להפליא בלהיות האדם שיושב בחדר ומסביר לכולם למה המיזם הבא יקרוס. בזמן שאחרים מתלהבים מכלי AI חדשים, מתהליכי אוטומציה או ממודלים מרובי-סוכנים, אתה כבר מזהה את התהום. בנרטיב הזה, כולם מסביב נתפסים כתמימים שרצים קדימה בעיוורון, ואתה – המפוכח היחיד. תוסיף לזה תחזית קודרת עם תאריך יעד ואחוזים מנומקים, ופתאום אתה נראה כמו האדם החכם ביותר בחדר, זה שכבר הספיק לקרוא את הפרק האחרון של האנושות.

בשיח הנוכחי סביב בטיחות בינה מלאכותית, העמדה הדואליסטית הזו מקבלת במה עצומה. חלק ניכר מהאזהרות מגיע מאנשים שפיתחו בעצמם את התשתית. חוקרים בעלי שיעור קומה, כמו חתן פרס טיורינג יושוע בנג'יו וג'פרי הינטון, מתריעים בגלוי על תרחישי קיצון. בנג'יו מוביל את ה-International AI Safety Report, יוזמה גלובלית שמרכזת נתונים מעשרות מדינות על יכולות מודלי שפה וסוכנים מתקדמים. הדו"ח מציג בפירוש את הסכנות – מאובדן שליטה ועד פעולות בלתי צפויות של סוכנים אוטונומיים – לצד עובדה קריטית לא פחות: יש חוסר הסכמה מוחלט בין המדענים המובילים לגבי ההסתברות של תרחישים אלה.

המומחיות של מפתחי המערכות מחייבת הקשבה זהירה. אבל מומחיות טכנית עדיין לא מגשרת על הפער שבין זיהוי נקודת תורפה לבין היכולת לחזות איך העתיד יתפתח בפועל.

למה תחזיות שחורות תמיד נתפסות כיותר מעמיקות מהצהרות על פוטנציאל ובנייה? התשובה טמונה במבנה הנרטיב האנושי:

• •עלילה ברורה וסגורה: קל מאוד להצביע על נקודה אחת ברצף ולומר: "פה המערכת תישבר, וזה יוביל לאסון מוחלט". הרבה יותר מסובך ומייגע להסביר תהליך הדרגתי שבו מפתחים, מוסדות, חוקים ומשתמשי קצה מסתגלים, מציבים חומות מגן, חווים כשלים קטנים ומתקנים אותם תוך כדי תנועה.
• •חסינות לוגית מושלמת: לפסימיות יש פטנט מובנה. אם הזהרת מקטסטרופה והיא התרחשה – צדקת והוכחת את עליונותך האינטלקטואלית. אם היא לא התרחשה – תמיד אפשר לטעון שהאזהרה שלך היא-היא שפקחה את עיני כולם ומנעה את החורבן. זה מסלול חף מסיכונים שמספק אחריות לכל החיים.

אבל לפעמים אזהרה מוקדמת באמת מונעת נזק. לכן המבחן היחיד לרצינות אינו עוצמת הפחד, אלא יכולת ההפרכה (Falsifiability) של הטענה. מה בדיוק חזית? אילו מדדים צריכים להתקיים כדי שנודה שהערכת הסיכון הייתה מוגזמת? באותה מידה בדיוק, עלינו להציב את השאלות האלו גם מול יזמים שמבטיחים אוטופיה שבה כל בעיות העולם ייפתרו תוך שנה.

אין כאן כוונה להמליץ על אופטימיות פסיבית. הגישה של "הכול יסתדר, תמיד מצאנו פתרונות טכנולוגיים בעבר" מסוכנת לא פחות. הרצון האנושי ברווחה אינו מבטיח שנגלה כשל בזמן או שנסכים בזמן אמת על בלימתו, במיוחד בשוק תחרותי שבו החשש להישאר מאחור דוחף חברות לדחוף מודלים לייצור לפני שהושלמו מבחני עמידות.

לכן, החלוקה המקובלת בין "פסימיים", "אופטימיים" ו"ריאליסטים" די מטעה. ריאליסט הוא לא פשוט מישהו שמתמקם באמצע בין שני קצוות. ריאליזם אמיתי נמדד בנכונות לעדכן עמדה מול עובדות חדשות:

1. •בחינה מדויקת של מה שידוע לנו כרגע.
2. •הפרדה בין ידע מוכח לבין הנחות עבודה והשערות.
3. •הכרה במה שעדיין חסר לנו.

אם ראיות מדעיות מעידות שסוכן AI עלול לבצע פעולות לא מורשות בסביבת ענן או קוד, חובה לעצור ולהציב מגבלות קשיחות. מנגד, אם רואים זינוק בפרודוקטיביות במחקר ביולוגי, רפואי או בפיתוח תשתיות תוכנה, אפשר להכיר בכך ללא שום התנצלות.

מחקרים בפסיכולוגיה של תקשורת מראים שמסרים מעוררי חרדה יכולים לעורר ערנות ראשונית, אך כשהם מגיעים ללא ארגז כלים מעשי, הם מולידים שיתוק, תסכול ורעש מיותר. פחד אולי פותח את השיחה; הנדסה ופרקטיקה צריכות לנהל אותה.

במקום להתווכח על תאריכי קץ האנושות, העשייה הפרקטית צריכה להתמקד במספר עקרונות ברורים:

• •בדיקות עמידות (Red Teaming) והרשאות מינימליות: בחינה מחמירה של מערכות לפני מתן גישה למשאבי ייצור קריטיים, שלילת הרשאות רחבות מראש מסוכני AI אוטומטיים (Least Privilege), ובניית נתיבי בידוד (Sandboxing).
• •מעקות בטיחות הנדסיים מוגדרים מראש: הטמעת מנגנוני מעקב שמסוגלים לחתוך חיבורי רשת או להקפיא תהליכים ברגע שמודל סוטה מההתנהגות המותרת.
• •הטמעה איטרטיבית עם ערך מוכח: במקום לנסות להחליף מערכות שלמות בבת אחת, מתמקדים באוטומציה של משימות מוגדרות, מדידות וברורות, המשפרות את איכות העבודה מבלי להציג סיכונים מערכתיים בלתי מנוהלים.

אני לא זקוק לאמונה עיוורת שהכול יהיה מושלם כדי לקום בבוקר ולבנות פתרונות טכנולוגיים מועילים. די לי באפשרות שהפעולה הממוקדת, המקצועית והמבוקרת שלי – ושל הצוותים שעובדים איתי – תשפר את הסיכויים להצלחה. זוהי אופטימיות מעשית שאפשר לעבוד איתה. היא דורשת הרבה יותר מאמץ מלכתוב ברשתות "אמרתי לכם".