TurboFieldfare: запуск Gemma 4 26B на Apple Silicon із 2 ГБ оперативної пам'яті
TurboFieldfare — це спеціалізоване середовище виконання на Swift та Metal, яке дозволяє запускати модель Gemma 4 на 26 мільярдів параметрів на комп'ютерах Mac із обмеженою оперативною пам'яттю. Завдяки потоковому завантаженню експертів із SSD замість завантаження всієї моделі в ОЗП, воно забезпечує ефективну роботу навіть на пристроях із 8 ГБ пам'яті.
Вплив: Високий
Чому це важливо
Це дозволяє запускати масивні моделі на обладнанні з низьким обсягом пам'яті.
TL;DR
- 01Запускає модель на 26B в межах ~2 ГБ оперативної пам'яті.
- 02Використовує Swift та Metal.
Ключові факти
- Вимоги до оперативної пам'яті
- ~2 ГБ
Архітектура та потокове передавання з SSD
На кожному шарі трансформера Metal обчислює механізм уваги та роутер на основі резидентних ваг. Процесор використовує top-8 ідентифікаторів експертів роутера для планування завантаження у 16-слотовий LFU-кеш шару, після чого заповнює пропуски за допомогою обмежених паралельних викликів pread у буфери, видимі для Metal. Metal обчислює резидентну гілку спільних експертів паралельно з цими зчитуваннями, а потім об'єднує виходи.