Oleksandr Kuzmenko, РедакторОпубліковано 5 хв читанняЗа участі AI · перевірено редактором
TL;DR
- HOPE моделює парні взаємодії експертів через квадратичну програму замість їх ізольованої оцінки.
- Забезпечує до +6,1% приросту над найближчим методом прунінгу на агентському кодингу при 50% скороченні.
- Потребує лише одного проходу калібрування і без проблем поєднується з квантуванням.
Проблема пам'яті в архітектурах MoE
Сучасні моделі MoE забезпечують високу швидкість обчислень, але вимагають колосального обсягу VRAM. Наприклад, Qwen3.5-122B має 256 експертів у 48 шарах, і 95% її ваги (~250 ГБ) припадає на MLP-блоки експертів. Хоча для кожного токена активуються лише K = 8 експертів, динамічне підвантаження блоків обмежене пропускною здатністю шини. Перманентний прунінг дозволяє зменшити розмір моделі без донавчання, однак класичні алгоритми оцінюють експертів ізольовано.
Врахування парної взаємодії
HOPE формулює задачу видалення експертів як мінімізацію квадратичної функції p^T F p. Матриця F обчислюється на калібрувальному наборі даних:
- Діагональні елементи
F_{k,k}відображають індивідуальну важливість експерта. - Недіагональні коефіцієнти
F_{i,j}фіксують силу парної взаємодії між одночасно активованими експертами. - Квадратична оптимізація гарантує збереження синергетичних груп експертів.
Ефективність для агентського кодингу
При видаленні 50% експертів HOPE перевершує аналоги на величину до +6,1% у бенчмарках агентського кодингу. Процедура потребує лише одного проходу калібрування і комбінується зі стандартними методами квантування ваг.