ב־30 שניות
- הערכת AI אמינה דורשת עצמאות, אך חשיפה מוקדמת של מבחנים מאפשרת התאמת מודל לבנצ'מרק. מחשוב חסוי יכול לאפשר הפעלה משותפת שבה אף צד אינו מקבל גישה מלאה לנכס הסודי של האחר.
- הראיות נבדקות מול DeepMind — Double-blind evaluations ו-Microsoft — AI evaluation agreements, ולא מוצגות כהוכחת הצלחה מחוץ להקשר שלהן.
- בניתוח "מי בוחן את הבוחנים? המודל החדש להערכת AI בלי לחשוף את המבחן או המודל" המסקנה וההמלצות תחומות למגבלות המפורטות בגוף העמוד.
מה חשוב להבין
המאמר מבוסס על מקורות ראשוניים ומפריד בין עובדות שפרסמו הגופים לבין ניתוח המערכת. המלצות מקצועיות דורשות התאמה להקשר ולרמת הסיכון.
הראיות שעליהן נשען הניתוח
הפיילוט של DeepMind עם מכון הבטיחות הסינגפורי, OpenMined ו-MLCommons נועד לבחון בדיוק את המבנה הזה. ההסכמים של Microsoft עם מכוני הבטיחות בארה"ב ובבריטניה מראים שגם מסגרת מוסדית נעשית חלק מההערכה.
מה עדיין לא ידוע
מחשוב חסוי מגן על סודיות בזמן הרצה אך אינו מבטיח שמבחן מייצג שימוש אמיתי או שהמדדים נכונים. ממשל, בחירת תרחישים ופרסום מגבלות נשארים הכרחיים.
הצעד הבא לאחר הבדיקה הראשונית
פרסמו תיאור של אוכלוסיית המבחנים, שיעורי כשל ומגבלות בלי לחשוף פריטים שמאפשרים אימון מכוון לבחינה.
המשמעות שמעבר לכותרת
מנגנון כזה עשוי להתאים לבדיקת מודלים בתחומי בריאות, ממשל וביטחון בישראל, שבהם גם נתוני הבדיקה וגם פרטי המערכת רגישים. הוא יכול לאפשר ביקורת חיצונית בלי להעביר מאגר שלם.
צעד יישומי אחד
הפרידו בין בעל המודל, בעל נתוני הבדיקה והגוף שמאשר את המתודולוגיה, ותעדו מי יכול לראות כל תוצר.
מקורות ובדיקת עובדות
מיכל הדס
מרצה ויועצת להטמעת AI, המפתחת חוויות למידה מבוססות גיימיפיקציה ודיגיטל ומחברת בין כלים פרקטיים, אתיקה וניהול סיכונים.
לפריטים המשויכים ל־מיכל הדס
