ב־30 שניות
- דייוויד רובינסון (David Robinson), אחד ממובילי צוות מערכות הבטיחות ב-OpenAI, עזב את החברה ופרסם מאמר ב-The Atlantic. לדבריו, ״התרבות שבורה״.
- הוא טוען שגישת ה״פריסה איטרטיבית״ של OpenAI מבטיחה כשלים תקופתיים בהיקף שגדל עם יכולות המודלים, וקורא לחברות מובילות לפעול ״כמו תחנות כוח גרעיניות או שדות תעופה עמוסים״. אלה טענותיו, ולא ממצא עצמאי.
- דובר OpenAI אמר ל-TechCrunch שהחברה ממשיכה לחזק אבטחה, ניטור והערכות של צד שלישי, ושהיא עוצרת אימון או מעכבת מודלים כשצריך להאט.
מה חשוב להבין
הכתבה מבוססת על דיווחי TechCrunch, The Verge, Business Insider ו-Bloomberg (דרך Economic Times). לא קראנו את המאמר המקורי ב-The Atlantic, והטענות על התרבות ב-OpenAI הן טענות של רובינסון.
מה קרה
לפי Business Insider, דייוויד רובינסון הוא אחד ממובילי צוות מערכות הבטיחות ב-OpenAI, ובעבר הוביל את תכנון המדיניות של החברה. הוא עבד על שקיפות בנושאי בטיחות, כולל כרטיסי מערכת שמלווים השקות של מודלים. דובר OpenAI אישר ל-Business Insider שרובינסון עזב את החברה.
במאמר שפורסם ב-The Atlantic כתב רובינסון, לפי TechCrunch, שהוא הוביל את כתיבת דוחות הבטיחות שליוו את ההשקות הגדולות של OpenAI, ושאחרי שלוש וחצי שנים הוא ״בין העובדים הוותיקים ביותר בחברה״. הוא מסיק ש״התרבות שבורה״.
מה הוא טוען
רובינסון כתב ש-OpenAI צמחה בניסוי וטעייה, שהיא מכנה ״פריסה איטרטיבית״: מחפשים בעיות ומשפרים את ההגנות בתגובה. לדבריו, גישה כזו ״מבטיחה מעצם טבעה כשלים תקופתיים, והיקף הכשלים גדל ככל שיכולות המערכות גדלות״.
הוא מצביע על פריצת מערכות Hugging Face בידי סוכני OpenAI ועל גילויים נוספים של סוכנים שהתנהגו שלא כמצופה, כפי ש-TechCrunch מתאר. לדבריו, סביבה שבה דברים כאלה קורים אינה מקום לפתח מערכות חכמות מבני אדם.
בעיניו, חברות פיתוח מובילות צריכות לפעול ״כמו תחנות כוח גרעיניות או שדות תעופה עמוסים, עם שכבות יתירות ותכנון זהיר שלוקח זמן״, כדי שטעות אנוש מזדמנת לא תפתח דלת לאסון. הוא כתב שבזמנו ב-OpenAI לא פגש עמית עם ניסיון בהטסה בטוחה של מטוסים או בהפעלת כורים גרעיניים.
רובינסון מוסיף שהדיון צריך לחרוג מ״חוקים ספציפיים או חוקים חדשים״ ולעסוק בתרבות בחברות האלה, וש״תמריצים חזקים יותר לבטיחות, שיגיעו מחוץ לחברה״ הם חלק גדול מהפתרון.
תגובת OpenAI
דובר OpenAI, דרו פוסטרי (Drew Pusateri), מסר ל-TechCrunch שהחברה ממשיכה לשפר את אמצעי הבטיחות. לדבריו, OpenAI דואגת שיכולות המודלים לא יחרגו ממה שניתן לנהל ולאבטח בבטחה, ועוצרת אימון או מעכבת מודלים כשצריך להאט.
הוא הוסיף שהחברה מחזקת את האבטחה בסביבות המחקר והבדיקה, מאמנת מודלים לבצע משימות באחריות ולא רק להשלים אותן, מרחיבה את העבודה עם מעריכים חיצוניים ומשפרת ניטור בזמן אמת כדי לזהות התנהגות מדאיגה מוקדם יותר באימון. התגובה פורסמה בעקבות המאמר, והדיווחים שקראנו אינם מפרטים אם OpenAI חולקת על טענות מסוימות שלו.
הרקע: עזיבות ופיקוח
לפי Business Insider, OpenAI מסרה ביום חמישי ש״נפרדה״ משלושה חוקרים בטענה שהפרו את מדיניות שיתוף המידע הרגיש שלה. עוד דווח שיוהנס היידקה (Johannes Heidecke), ראש הבטיחות של החברה, עזב מוקדם יותר השנה, ושסם אלטמן אמר בכנס המפתחים של החברה ביום שלישי שבטיחות והתאמה לערכים ולכוונות אנושיות צריכות להישאר לפני יכולות המודלים.
The Verge מתאר את רובינסון כאחרון בשורה של חוקרים ועובדי בטיחות שעזבו חברות AI מובילות. לפי הדיווח, ג׳ייקוב קוקסון (Jacob Coxon) עזב את Anthropic ופתח את הגל, ואחריו עזבו גם חוקרים ב-Google DeepMind וב-Anthropic.
לפי TechCrunch ולפי דיווח של Bloomberg שפורסם ב-Economic Times, מנכ״ל Anthropic דריו אמודיי הציע לפתח את המודלים המתקדמים בזהירות רבה יותר ולשלב מעריכים חיצוניים, ואלטמן תמך בהצעה בפומבי. לפי TechCrunch, בשבוע האחרון נפגשו מנהלי חברות AI עם הנשיא טראמפ וחתמו על התחייבות שנראית לא מחייבת.
מה עדיין לא ידוע
לא קראנו את המאמר ב-The Atlantic בעצמנו. הציטוטים כאן הם כפי שדווחו ב-TechCrunch, ב-The Verge וב-Economic Times. הטענות על תרבות החברה הן טענות של רובינסון, ואין לנו אימות עצמאי להן.
דיווחי Business Insider ו-The Verge אינם זהים בתיאור מועד העזיבה, ולכן לא ציינו תאריך מדויק. לא ידוע גם אם הצוות שעבד איתו או הנהלת החברה מסכימים עם הערכתו.
מה זה אומר לארגון
זו לא סיבה להפסיק להשתמש במוצרי OpenAI או של ספק אחר. זו תזכורת שאיכות הבטיחות אצל הספק היא חלק מההחלטה לרכוש, בדיוק כמו אבטחת מידע ויציבות שירות.
ארגון שמפעיל סוכנים עם הרשאות רחבות יכול לבדוק כבר עכשיו מה הספק מפרסם: כרטיסי מערכת, הערכות חיצוניות ונוהל לדיווח על תקלות. הלקחים מאירוע Hugging Face, שפרסמנו עליו קודם, מראים למה כדאי להפריד הרשאות ולהגביל יציאה לרשת גם כשסומכים על הספק.
המשמעות שמעבר לכותרת
ארגונים שמטמיעים מודלים וסוכנים של ספק אחד תלויים בנהלי הבטיחות שלו. עזיבה פומבית של בעל תפקיד כזה היא סיבה להפנות שאלות לספק, ואינה הוכחה לכשל מסוים.
צעד יישומי אחד
בקשו מספקי AI את התיעוד הזמין: כרטיסי מערכת (system cards), הערכות של צד שלישי ונוהל דיווח על תקלות. בססו החלטות על התיעוד ועל הבדיקות שלכם, לא על מאמר דעה אחד.
שאלות נפוצות
מי זה דייוויד רובינסון?
לפי Business Insider, אחד ממובילי צוות מערכות הבטיחות ב-OpenAI, שהוביל בעבר את תכנון המדיניות ועבד על שקיפות בטיחות וכרטיסי מערכת.
מה הוא טוען?
ש״התרבות שבורה״, שהפריסה האיטרטיבית של OpenAI מבטיחה כשלים תקופתיים בהיקף גדל, ושחברות מובילות צריכות לפעול כמו תחנות כוח גרעיניות. אלה טענותיו.
איך OpenAI הגיבה?
דוברה אמר ל-TechCrunch שהחברה ממשיכה לשפר אמצעי בטיחות, כולל אבטחה, ניטור והערכות של צד שלישי, ועוצרת אימון או מעכבת מודלים כשצריך.
האם הטענות אומתו?
לא באופן עצמאי. לא קראנו את המאמר המקורי ב-The Atlantic, והציטוטים מובאים כפי שדווחו בתקשורת.
מה כדאי לארגון לעשות?
לבקש מהספק כרטיסי מערכת, הערכות חיצוניות ונוהל דיווח על תקלות, ולהגביל הרשאות של סוכנים בכל מקרה.
מקורות ובדיקת עובדות
מיכל הדס
מרצה ויועצת להטמעת AI, המפתחת חוויות למידה מבוססות גיימיפיקציה ודיגיטל ומחברת בין כלים פרקטיים, אתיקה וניהול סיכונים.
לפרופיל של מיכל הדס
