Локальні LLMВплив: Високий
Oleksandr Kuzmenko, РедакторОпубліковано 3 хв читанняЗа участі AI · перевірено редактором
Чому це важливо
Це дозволяє запускати масивні моделі на обладнанні з низьким обсягом пам'яті.
TL;DR
- 01Запускає модель на 26B в межах ~2 ГБ оперативної пам'яті.
- 02Використовує Swift та Metal.
Ключові факти
- Вимоги до оперативної пам'яті
- ~2 ГБ
Архітектура та потокове передавання з SSD
На кожному шарі трансформера Metal обчислює механізм уваги та роутер на основі резидентних ваг. Процесор використовує top-8 ідентифікаторів експертів роутера для планування завантаження у 16-слотовий LFU-кеш шару, після чого заповнює пропуски за допомогою обмежених паралельних викликів pread у буфери, видимі для Metal. Metal обчислює резидентну гілку спільних експертів паралельно з цими зчитуваннями, а потім об'єднує виходи.
#TurboFieldfare#Swift#Metal