Оптимізація токенів
2 хв читання · Hugging Face Blog
Відновлення з урахуванням квантування перевершує точність 16-бітних LLM
Метод Quantization-Aware Healing (QAH) відновлює стиснуті 4-бітні моделі через дистиляцію безпосередньо з оригінального повнорозмірного вчителя. Застосований до GPT-OSS 120B, стиснутої до 60B в MXFP4, він перевершив власну 16-бітну версію bfloat16 у 7 з 9 бенчмарків.
Чому це важливо. Інженери можуть розгортати 4-бітні моделі половинного розміру, які перевершують за точністю та швидкістю свої 16-бітні чекпоїнти.