Метод Rotary GPU дозволяє запускати локальні моделі Mixture of Experts при обмеженій VRAM
Метод Rotary GPU оптимізує VRAM при запуску локальних моделей Mixture of Experts. Шляхом динамічної заміни активних шарів через PCIe можна запускати великі моделі на споживчих GPU. Працюйте з 8x22B локально.
Чому це важливо
Дозволяючи запускати великі MoE-моделі на споживчих GPU, цей метод дає можливість використовувати потужні локальні моделі без витрат на API.
TL;DR
- 01Впроваджуйте конфігурації Rotary GPU при запуску моделей Mixture of Experts на одній споживчій відеокарті
- 02Використовуйте спекулятивне випереджальне завантаження для компенсації затримок PCIe
- 03Передавайте офлайн-аналіз коду фоновим локальним моделям MoE
Ключові факти
- Тестоване залізо
- RTX 4060 Laptop (8 ГБ VRAM)
- Продуктивність
- 21.06 токенів/сек
Стратегія виконання
Rotary GPU вирішує проблему обмежень VRAM, впроваджуючи конвеєр виконання, де спеціалізовані шари експертів знаходяться в системній оперативній пам'яті та динамічно переміщуються у VRAM. Для зменшення затримки PCIe система використовує спекулятивне попереднє завантаження (prefetching), завантажуючи шари експертів у кільцевий буфер на основі прогнозів щодо наступних токенів.
Показники продуктивності
Під час публічної перевірки з використанням моделі класу Qwen3.6-35B-A3B MoE, система досягла швидкості декодування 21.06 токенів на секунду на ноутбуці з GPU RTX 4060 та 8 ГБ VRAM, підтримуючи загальне споживання пам'яті на рівні 6.3 ГБ для 2048 вихідних токенів. Такий підхід дозволяє користувачам запускати моделі, які інакше перевищували б ліміти локального заліза, уникаючи монолітного завантаження у VRAM.
✓ Коли використовувати
- Запуск MoE моделей, що перевищують доступну VRAM
- Офлайн-завдання у фоновому режимі, наприклад індексація коду
Джерела