NVIDIA SWE-Serve: приблизно кожен третій патч ШІ-агента провалює живий рантайм
NVIDIA за участі команди SGLang презентувала SWE-Serve — бенчмарк із 53 завдань інженерії інференсу, створених на основі 83 влитих pull request'ів SGLang. У 19 завданнях із перевіркою живого рантайму ті самі патчі проходять у 69.4% випадків без цих перевірок і лише у 45.9% — з повним верифікатором: приблизно кожен третій патч, що проходить інші тести, провалює перевірку на живому сервері.
Чому це важливо
NVIDIA за участі команди SGLang презентувала SWE-Serve — бенчмарк із 53 завдань інженерії інференсу, створених на основі 83 влитих pull request'ів SGLang. У 19 завданнях із перевіркою живого рантайму ті самі патчі проходять у 69.4% випадків без цих перевірок і лише у 45.9% — з повним верифікатором: приблизно кожен третій патч, що проходить інші тести, провалює перевірку на живому сервері.