מחקר: שופטי LLM מקלים עם מודלים חזקים, ושיטת הצבעה מכוילת מתקנת את ההטיה

מה נבדק ומה נמצא

החוקרים בחנו משימות ניקוד אבסולוטי — המציאות הנפוצה בהערכה אוטומטית — על פני ארבעה מבחנים ושישה מודלים, בסך הכול 36 צמדי שופט־נבחן. דיוק המודל במשימה חזה היטב את דיוק השיפוט שלו, אבל גם שופטים מדויקים היטו באופן עקבי לטובת נבחנים חזקים.

כתיקון הוצעה הצבעת רוב משוקללת: כל שופט מקבל משקל לפי שיעורי הכשלים החיוביים והשליליים שלו, שמוערכים מדפוסי אי־ההסכמה בין השופטים עצמם. בסימולציה עם התפלגויות משתנות, השיטה עקבה אחר שופט עם ידע מלא בשיעורי השגיאה בפער ממוצע של 0.5 נקודות אחוז, ועלתה על שופט בודד ועל רוב פשוט.

מה עוד צריך לבדוק

הממצאים מוגבלים למבחנים ולמודלים שנבדקו, ואין בהם עברית או תוכן ארגוני ישראלי. לפני אימוץ השיטה, כדאי לשחזר אותה על הנתונים שלכם ולבדוק שהעלות של כמה שופטים מצדיקה את שיפור הדיוק.