NVIDIA опублікувала методику навчання Nemotron та контур верифікації GenCorrect

Чотирикроковий рецепт спеціалізації моделей

NVIDIA відкрила методику досягнення олімпіадних результатів на змаганнях з інформатики (IOI) та математики (IMO). Архітектурний пайплайн складається з чотирьох кроків: 1. Використання базової моделі Nemotron 3. 2. Формування датасетів із детальними синтетичними ланцюжками міркувань. 3. Застосування спрямованого SFT та підкріплювального навчання (RL). 4. Організація циклу інференсу для генерації, верифікації та виправлення кандидатів.

GenCorrect: обчислення під час інференсу проти масового семплювання

Для генерації алгоритмічного коду NVIDIA розробила підхід GenCorrect. Динаміка метрик демонструє ефективність структурованого пошуку:

• Nemotron-3-Nano-CC (30 млрд параметрів, 3 млрд активних): 130 балів до навчання, 280 після SFT, 291 після RL та 468 балів у контурі GenCorrect (поріг золота — 438.3).
• Nemotron-3-Ultra-CC (550 млрд параметрів, 55 млрд активних): 535.4 бала з 600 на IOI 2026 при найкращому людському результаті у 498.27.

У математичному напрямку система працювала виключно природною мовою без формальних пруверів, набравши 30/42 на IMO 2026 завдяки комбінації SFT та RL на вибірці з 414 890 доведень.

Відкриті інструменти та репозиторії

Пайплайни інференсу та промпти опубліковано у репозиторії NeMo-Skills, а контрольні точки моделей та бенчмарк Nemotron-IMO-Bench доступні на Hugging Face.