Результати для “Quantization”

Чому це важливо

Liquid AI випустила 4-бітні контрольні точки Q4_0 GGUF для моделей серії LFM2.5, навчені за допомогою дистиляції з урахуванням квантування. Ці моделі відновлюють до 97% точності, втраченої при звичайному квантуванні.

Чому це важливо

Метод Quantization-Aware Healing (QAH) відновлює стиснуті 4-бітні моделі через дистиляцію безпосередньо з оригінального повнорозмірного вчителя. Застосований до GPT-OSS 120B, стиснутої до 60B в MXFP4, він перевершив власну 16-бітну версію bfloat16 у 7 з 9 бенчмарків.