2 хв хв · Hugging Face Blog
Бенчмарк XYBench виявив нездатність провідних моделей виправляти хибні припущення користувачів
Дослідники з CMU, NVIDIA та Johns Hopkins випустили XYBench — бенчмарк на 8 115 завдань, що перевіряє розпізнавання помилкових запитів. Провідні моделі до 57% відповідей присвячують хибним шляхам користувача замість розв'язання вихідної проблеми.
Чому це важливо. ШІ-асистенти програмістів схильні реалізовувати крихкі обхідні шляхи на прямий запит користувача замість розв'язання фундаментальної проблеми.
