Тюнінг моделі на 350M параметрів для структурованого виводу через GRPO
Hugging Face опублікувала рецепт донавчання компактних моделей на дотримання схеми за допомогою Group Relative Policy Optimization (GRPO) у TRL. За 100 кроків і 500 зразків на безкоштовному GPU точність моделі в бенчмарку IFStruct зросла з 22,6% до 29,7%.
Чому це важливо
Hugging Face опублікувала рецепт донавчання компактних моделей на дотримання схеми за допомогою Group Relative Policy Optimization (GRPO) у TRL. За 100 кроків і 500 зразків на безкоштовному GPU точність моделі в бенчмарку IFStruct зросла з 22,6% до 29,7%.
Відкрити повний матеріал