OpenAI оцінює бенчмарки кодування та виявляє помилки у тридцяти відсотках завдань
OpenAI опублікувала аналіз оцінювання кодуючих LLM, виявивши, що приблизно 30% стандартних завдань у бенчмарках мають дефекти, такі як непрацюючі тести або приховані вимоги.
Чому це важливо
OpenAI опублікувала аналіз оцінювання кодуючих LLM, виявивши, що приблизно 30% стандартних завдань у бенчмарках мають дефекти, такі як непрацюючі тести або приховані вимоги.
Відкрити повний матеріал