OpenAI оцінює бенчмарки кодування та виявляє помилки у тридцяти відсотках завдань
OpenAI опублікувала аналіз оцінювання кодуючих LLM, виявивши, що приблизно 30% стандартних завдань у бенчмарках мають дефекти, такі як непрацюючі тести або приховані вимоги.
Вплив: Середній
Чому це важливо
Ставтеся скептично до таблиць лідерів моделей; оцінюйте моделі за допомогою внутрішніх тестів, а не лише за результатами публічних бенчмарків.
TL;DR
- 01Близько 30% завдань у типових бенчмарках містили помилкові, неявні або непрацюючі вимоги тестів.
- 02Оцінювання моделей виключно через стандартні бенчмарки не відображає реальну якість написання коду.
- 03Надання моделям можливості ітеративно виправляти помилки на основі впалих тестів створює реалістичніший сценарій, але виявляє слабкі місця бенчмарків.
Ключові факти
- Проблемні завдання в бенчмарках
- ~30% (за заявою компанії)
Відокремлення сигналу від шуму
Оцінка кодуючих агентів дуже чутлива до дизайну тестів. Недоліки в завданнях, наприклад відсутність чітких вимог, які виявляються лише після падіння тестів, часто перевіряють здатність агента ітеративно вгадувати умови, а не писати якісний код. Якщо агентам не дозволяють бачити падіння тестів для виправлення помилок, такі зламані бенчмарки дають хибні результати.
Фокус на тестуванні в реальних умовах
Цей аналіз застерігає інженерів від сліпої віри у відсотки успішності з презентацій моделей. Створення власних внутрішніх наборів тестів — особливо з використанням тестування властивостей (property testing) та валідації на основі виконання коду — залишається найкращим рішенням для вибору кодуючих моделей під конкретний продакшн.
✓ Коли використовувати
- При проектуванні внутрішніх систем оцінювання для кастомних промптів, ШІ-агентів або донавчених моделей кодування.
Що зробити сьогодні
- Створюйте тестові середовища на основі виконання за допомогою property-based тестування замість статичних перевірок рядків.
- Оцінюйте власні донавчені моделі на незалежних наборах даних, що симулюють реальний продакшн.
Що каже спільнота
“Yeah, it's testing a different thing than what the benchmark claims to test, but it's also accidentally testing something more real-world applicable...”
Джерела