Oleksandr Kuzmenko, РедакторОпубліковано 5 хв читанняЗа участі AI · перевірено редактором
TL;DR
- XYBench перевіряє поведінку мовних моделей на 8 115 запитаннях із проявами XY-проблеми.
- Провідні моделі зосереджуються на справжній меті користувача лише у 35-41% відповідей на Stack Overflow.
- Явна передача наміру збільшує частку правильних рішень, але знижує попередження про хибні підходи.
Ключові факти
- Масштаб бенчмарку
- 8 115 реальних запитань
- Основні джерела даних
- 1 557 Stack Overflow, 6 272 WikiHow
- Академічна нагорода
- Best Resource Paper Award на EMNLP 2026
- Фокус на меті у Stack Overflow
- 35-41% фокусу на реальній меті проти 47-57% на буквальному запиті
Прагматичний розрив у діагностиці коду
Асистенти програмування регулярно витрачають контекст на реалізацію тупикових рішень, сприймаючи помилкові гіпотези буквально. Для вимірювання цієї проблеми дослідники з CMU, NVIDIA та Johns Hopkins створили XYBench, який отримав нагороду Best Resource Paper на EMNLP 2026.
Датасет містить 8 115 запитань зі Stack Overflow (1 557), Stack Exchange (184), експертної вибірки (102) та процедурних інструкцій WikiHow (6 272). Кожен приклад зіставляє прямий запит Y та приховану інженерну мету X.
Порівняння поведінки моделей
Оцінка Claude Sonnet 4.6, GPT-5, Gemini 3.1 Pro, Qwen3.5-9B та DeepSeek-V4 Pro зафіксувала суттєвий перекіс у бік буквального виконання:
- Рішення хибного запиту (Y): надавалися у 75–86% відповідей на завдання зі Stack Overflow.
- Рішення кореневої мети (X): зустрічалися лише у 59–71% генерацій.
- Основний фокус відповіді: моделі зосереджувалися на справжній меті лише у 35–41% випадків, витрачаючи 47–57% виводу на помилковий шлях користувача.
Чому простої передачі контексту замало
Пряма передача справжнього наміру користувача в Claude Sonnet 4.6 збільшила частку розв'язання проблеми з 59% до 67%, проте частота попередження про хибне припущення знизилася з 47% до 34%. Для автономних агентів критично задавати жорсткі системні інструкції з валідації архітектурних рішень перед генерацією коду.
