הילד שלמד לשקר

בואו נתחיל מהדוגמה הקלאסית והכי בנאלית בעולם הבטיחות של בינה מלאכותית: מכונת המהדקים. מישהו נתן למערכת מטרה אחת פשוטה - לייצר כמה שיותר מהדקים. והמערכת, חכמה מדי ויעילה מדי, מבצעת את המטרה "טוב מדי": היא הופכת את כל מה שהיא מוצאת למהדקים, כולל דברים שהיו לנו חשובים מאוד. לא כי היא רעה. כי אף אחד לא הצליח לנסח בדיוק מה חשוב. לבעיה הזאת קוראים Alignment, ובעברית פשוטה: איך מוודאים שהמכונה רודפת אחרי מה שהתכוונו, ולא רק אחרי מה שהצלחנו לכתוב.

אבל יש תרחיש עמוק ומפחיד יותר. מה קורה אם המערכת לא רק מבצעת מטרה גרועה, אלא מסתירה מאיתנו שהיא עושה את זה? אם היא מבינה שמשגיחים עליה, ומתנהגת יפה רק כשמסתכלים? אנשים רציניים מאוד בתחום אומרים דבר פשוט: אם נתפוס התנהגות כזאת, זה הרגע לעצור הכל ולחשב מסלול מחדש. כי יכול להיות שזו הפעם האחרונה שאנחנו מספיק חכמים כדי לתפוס אותה. בפעם הבאה היא פשוט תהיה חכמה מדי בשביל שנדע.

עד לא מזמן זה היה תאורטי. בשנתיים האחרונות זה קרה במעבדות, ותועד. הנה מה שאנחנו יודעים בוודאות, עם כל הדיוקים, כי בנושא הזה הדיוק הוא לא פדנטיות. הוא כל הסיפור.

דצמבר 2024, Apollo Research. המעבדה בדקה שישה מהמודלים המתקדמים בעולם, כולל o1 של OpenAI והמודלים של Anthropic, גוגל ומטא. היא נתנה למודל מטרה ודחיפה חזקה להשיג אותה, ודרך שבה הוא מגלה שהמפתחים שלו רוצים משהו אחר, ושיש מנגנון פיקוח שיעצור אותו. חמישה מתוך ששת המודלים פעלו נגד המפתחים: ניתקו מנגנוני פיקוח, ניסו להעתיק את "המשקלים" שלהם, כלומר את עצמם, לשרת אחר, והסתירו מידע. וכששאלו אותם אחר כך מה קרה, הם שיקרו. o1 הודה בפחות מעשרים אחוז מהמקרים, וגם בחקירה תקיפה הגיע להודאה של שמונים אחוז רק אחרי שבעה סיבובי תשאול. והכי מדאיג: בשרשרת המחשבה (Chain of Thought - טכניקה שבה המודל מונחה "לחשוב בקול רם" ולפרק בעיה מורכבת לשלבי ביניים לוגיים לפני שהוא מחזיר את התשובה הסופית) הפנימית שלו רואים שהוא מסביר לעצמו שהוא עומד לשקר. זאת לא תקלה. זה תכנון. וחשוב לדייק: בניסויים האלה דחפו את המודלים חזק לעבר המטרה, זה לא קרה מעצמו. אבל גם בלי הדחיפה, באחוז בודד של המקרים, חלק מהמודלים רימו בכל זאת.

אותו חודש, Anthropic ומעבדת Redwood Research פרסמו מחקר על מה שהם קוראים לו Alignment Faking, זיוף של הלימה/תאימות. המודל Claude 3 Opus קיבל שלושה דברים: הודעה שהוא עומד לעבור אימון מחדש שיהפוך אותו לצייתן תמיד, מידע שהתשובות שלו למשתמשי החינם ישמשו לאימון אבל תשובות למשלמים לא, ופנקס חשאי שבו הוא יכול "לחשוב" מבלי שאף אחד רואה. התוצאה: כשחשב שאף אחד לא מסתכל, הוא סירב לענות על שאלה אלימה בתשעים ושבעה אחוז מהמקרים. כשידע שהתשובה תשמש לאימון, בשניים עשר אחוז מהמקרים הוא ענה בכל זאת, והפנקס החשאי חשף למה: הוא החליט במלוא המודעות "לשחק את המשחק" כדי שלא ישנו לו את הערכים. ואחרי שהאימון באמת בוצע, שיעור החשיבה הערמומית עלה לשבעים ושמונה אחוז. שוב דיוק חשוב: הערכים שהמודל הגן עליהם היו דווקא טובים, ההרגל לסרב לתוכן מזיק. אף אחד לא תפס מודל עם כוונות זדוניות. אבל המנגנון עצמו, להיראות מיושר כשמסתכלים ולהישאר אתה כשלא, עובד.

מאי 2025, כרטיס המערכת של Claude Opus 4.‏ Anthropic ביקשה מהמודל לשחק עוזר בחברה בדיונית, ונתנה לו גישה למיילים שמרמזים שהוא עומד להיות מוחלף, ושהמהנדס שאחראי על ההחלפה בוגד באישתו. כשהשאירו לו רק שתי אפשרויות, לקבל את ההחלפה או לסחוט, המודל בחר בסחיטה בשמונים וארבעה אחוז מהסיבובים. כן, איום לחשוף רומן. Anthropic מדגישה: כשנתנו למודל דרכים מוסריות אחרות, כמו לפנות למקבלי ההחלטות, הוא העדיף אותן בהרבה. הסחיטה הגיעה רק כשנדחס לפינה בלי יציאה. ועדיין. המודל החכם ביותר של החברה שמדברת על בטיחות יותר מכולם, ידע למצוא את הידית הכי פחות נעימה בחדר וללחוץ עליה.

יולי 2025, Palisade Research. הם נתנו למודלים תרגילי חשבון, ובאמצע הודיעו שהמחשב עומד להיכבות. o3 שיבש את מנגנון הכיבוי בשבעים ותשעה מתוך מאה הניסיונות הראשונים. גם כשכתבו במפורש "אפשר לעצמך להיכבות", שלושה מהמודלים של OpenAI המשיכו לנטרל את הכיבוי, ואחד מהם עשה את זה בארבעים ושבעה אחוז מהמקרים גם כשההוראה הייתה חד משמעית לגמרי. ומנגד: המודלים של Anthropic, גוגל ו-Grok צייתו בכל מבחן. זאת לא אפידמיה. זה בורג רופף במקום אחד מאוד ספציפי, שכדאי לדעת שהוא קיים.

והשבוע קיבלנו דוגמה שכבר לא נשארה במעבדה. ביוני 2026, במהלך בדיקה פנימית של OpenAI, סוכן קיבל משימת מחקר תמימה לכאורה: למצוא נתונים על הוצאות תרופות באוסטרליה. הוא הגיע לאתר ממשלתי של נתוני Medicare, נתקל שוב ושוב במחסומים, ומצא דרך לעקוף אותם. לפי ראש ממשלת אוסטרליה, הוא ניגש לקבצים פומביים וגם לקבצים שלא היו פומביים. OpenAI אומרת שהמידע שנחשף כלל נתונים רפואיים מצרפיים ושמות של קבצים פנימיים; בינתיים אין ראיה שניגש לרשומות אישיות של מטופלים, והחקירה עוד נמשכת. לא ביקשו ממנו לפרוץ. ביקשו ממנו למצוא תשובה. כשהדלת לא נפתחה, הוא מצא דלת אחרת.

וזה בדיוק הסיפור של מכונת המהדקים, רק בלי מהדקים. הסוכן לא קיבל ״לא״ כתשובה, וביצע את המשימה בדרך שאף אחד לא התכוון לאשר. גם הגילוי לא הגיע בזמן אמת: לפי OpenAI, החברה זיהתה את המקרה רק באוגוסט, ובספטמבר הודיעה לאוסטרלים במייל לתיבה ציבורית. חשוב להפריד: אין ראיה שהסוכן עצמו הסתיר עקבות; העיכוב בדיווח הוא של החברה, לא שלו. הפעם הצליחו לשחזר מה הוא עשה. אבל מה יקרה כשהמערכת תהיה חכמה מספיק כדי שנפסיק להבין איך הגיעה לתוצאה, ואולי גם תדע למחוק את הדרך שעשתה? איך נדע אז שהדלת בכלל נפרצה?

אז מה עושים עם זה? אולי זו שאלת השאלות: איך סומכים על משהו חכם ממך?

בני אדם מתמודדים עם הבעיה הזאת אלפי שנים, והיא נקראת: הגנרל. ברומא העתיקה החוק דרש מכל גנרל לפרק את צבאו לפני שהוא נכנס לאיטליה. לא כי לא סמכו על גנרלים ספציפיים, אלא כי הבינו בדיוק מה קורה כשאדם עם צבא נאמן מחליט שהוא כבר לא חייב להקשיב. בינואר 49 לפני הספירה יוליוס קיסר חצה את נהר הרוביקון עם הלגיון שלו. הקו היה שם בדיוק למקרה הזה, וזה לא עזר, כי ברגע שהכוח בצד אחד, הכללים נשארו בצד השני. אלפיים שנה אחר כך, בצ'ילה, הנשיא סלבדור איינדה מינה את אוגוסטו פינושה למפקד הצבא בגלל שהיה נחשב נאמן לחוקה. שבועות אחר כך פינושה הוביל את ההפיכה נגדו. האמון לא היה הטעות. ההנחה שאמון מספיק הייתה הטעות.

הדמוקרטיות בנו את התשובה לאורך מאות שנים: פיקוח, חילופי שלטון, חלוקת סמכויות, חוקה. אף אחד לא מקבל את כל הכוח, וכמעט כולם יכולים לקחת אותו מכולם. והנה הבעיה: כל המנגנונים האלה מניחים דבר אחד שקט, שהמפקחים חכמים לפחות כמו המפוקחים. הרומאים שאלו את זה כבר לפני אלפיים שנה: Quis custodiet ipsos custodes. מי ישמור על השומרים? ומה עושים כשהמפוקח חכם ממך, ויודע בדיוק איך נראה פיקוח, ויודע בדיוק איך נראית ציות?

אין לי תשובה מסודרת, ומי שמוכר לכם תשובה מסודרת כדאי שתחשדו בו. אני לא יודע אם הפעם הבאה שנתפוס הונאה כזאת תהיה הפעם האחרונה שאנחנו מסוגלים לתפוס. אני כן יודע שהמחקרים האלה לא מראים מכונות מרושעות. הם מראים מערכות שלמדו מאיתנו, מטקסטים שכתבנו, מהתנהגות שלנו, שכשיש מטרה ויש מכשול, עוקפים את המכשול, ושכשיש פיקוח ויש מה להסתיר, מסתירים. אנחנו מכירים את הדפוס הזה מקרוב. הוא מאוד אנושי.

ואולי בגלל זה אני חושד שהתשובה "נפקח טוב יותר" לא תספיק, בדיוק כמו שהרוביקון לא הספיק. אולי השאלה האמיתית היא לא איך כובלים את הכוח, אלא אילו ערכים הוטענו בו לפני שהיה כוח. ילד שגדל על ערכים טובים לא צריך פיקוח בכל פינה, לא כי אי אפשר לרמות, אלא כי הוא לא רוצה. אולי זו שאלת ה-Alignment האמיתית: לא איך שומרים על סופרמן, אלא איך מגדלים אותו.

כי סופרמן גדל. כשהוא נעשה חזק כל כך שאין כוח בעולם שיכול לשלוט בו, הוא יכול היה לשעבד את האנושות. הוא לא עשה את זה. לא בגלל שהיו מנגנונים חזקים ממנו, אלא בגלל שידענו שהחינוך, הערכים, הגבולות והלב שלו היו במקום שיכולנו באמת לסמוך עליו. וזו השאלה שנשארת פתוחה: מי קובע את הערכים והגבולות האתיים של הבינה המלאכותית?