Oleksandr Kuzmenko, РедакторОпубліковано 6 хв читанняЗа участі AI · перевірено редактором
TL;DR
- Швидкість читання з флеш-пам'яті eMMC (278 МБ/с), а не потужність CPU, є головним обмежувачем швидкості локальних LLM.
- Архітектура Mixture of Experts дозволяє виконувати моделі на 8B–16B параметрів у межах 1 ГБ оперативної пам'яті.
- Headless-режим та скорочення словника LM head звільняють сотні мегабайтів пам'яті на пристроях з Android та iOS.
Ключові факти
- Протестоване залізо
- Xiaomi TV Box S 3rd Gen (1,9 ГБ RAM) та iPad Air 2013 (1 ГБ RAM)
- Ліміт читання сховища
- 278 МБ/с на пам'яті eMMC
- Швидкість Qwen3.5-0.8B
- 16,8 токена/с на TV Box
- Швидкість Moon-Beam-8B-A1B MoE
- 7,2 токена/с при ~1,1 ГБ RSS
- Швидкість Ling-mini-2.0 16B MoE
- 5,1 токена/с при ~1,13 ГБ RSS
Подолання бар'єра пам'яті на периферійних пристроях
Розгортання LLM на слабких пристроях зазвичай упирається в нестачу пам'яті або затримки сховища. На Xiaomi TV Box S (3-го покоління) із чипом Amlogic S7D та 1,9 ГБ RAM процес може утримувати лише ~0,96 ГБ до втручання Android (або ~1,15 ГБ у headless-режимі). Оскільки швидкість флеш-пам'яті eMMC обмежена 278 МБ/с, а випадкове зчитування 1 МБ триває близько 6 мс, потокове зчитування щільних моделей обмежує швидкість формулою 278 / X токенів на секунду для моделі розміром X МБ.
Архітектура MoE та кастомні ядра NEON
Smolmaxxing обходить це апаратне обмеження завдяки MoE-моделям та оптимізованим ядрам обчислень:
- Пейджинг експертів: Використання виклику
O_DIRECT, кеш-орієнтованої маршрутизації та випереджальної вибірки дозволяє підвантажувати експерти Q2_K із флеш-пам'яті, знижуючи промахи з 13% до ~2%. - Ядра низької точності: 1-бітні таблиці пошуку (LUT) і тернарні ваги у 2-бітних полях підвищують швидкість Bonsai-8B з 1,2 до 5,2 токена/с.
- Оптимізація пам'яті: Урізання словника вихідного шару LM head (економія 0,2–0,5 ГБ) та headless-режим вивільняють додаткові сотні мегабайтів RAM.
Результати тестів на реальному залізі
На Xiaomi TV Box S модель Qwen3.5-0.8B генерує 16,8 токена/с, а Qwen3.5-2B — 7,7 токена/с. Модель Moon-Beam-8B-A1B на 128 експертів працює зі швидкістю 7,2 токена/с, а Ling-mini-2.0 (16,3B) генерує зв'язний текст на 5,1 токена/с при RSS 1,13 ГБ. На зламаному iPad Air 2013 року (процесор Apple A7, 1 ГБ RAM) Bonsai-1.7B досягає 24–26 токенів/с, а MoE-модель на 8B — 3,5 токена/с.
Спробуй за 2 хвилини
git clone https://github.com/hyperionaidev/smolmaxxing && cd smolmaxxingКоли використовувати
- Розгортання автономних локальних агентів або маршрутизаторів на пасивному ARM-залізі та одноплатниках.
- Створення недорогих локальних пристроїв з акцентом на приватність без плати за хмарні API.
- Розробка оптимізованих рушіїв вибірки пам'яті під мобільні чи вбудовані системи.
Що зробити сьогодні
- Клонуйте репозиторій smolmaxxing для ознайомлення з реалізацією ядер та логами тестів.
- Виміряйте послідовну та довільну швидкість читання пам'яті пристрою перед потоковим запуском моделей.
- Надавайте перевагу MoE-моделям замість щільних архітектур при розгортанні на пристроях із дефіцитом RAM.
Назви кроків узяті з блоку «Що зробити сьогодні».
Назви кроків узяті з блоку «Що зробити сьогодні». Клонуйте репозиторій smolmaxxing для ознайомлення з реалізацією ядер та логами тестів.. Виміряйте послідовну та довільну швидкість читання пам'яті пристрою перед потоковим запуском моделей.. Надавайте перевагу MoE-моделям замість щільних архітектур при розгортанні на пристроях із дефіцитом RAM.
- Клонуйте репозиторій smolmaxxing для ознайомлення з реалізацією ядер та логами тестів.
- Виміряйте послідовну та довільну швидкість читання пам'яті пристрою перед потоковим запуском моделей.
- Надавайте перевагу MoE-моделям замість щільних архітектур при розгортанні на пристроях із дефіцитом RAM.
Що каже спільнота
It's technically sweet regardless, so don't take this as even a little bit of negative pushback, but I am curious what the utility of these small models is? Are they smart enough to be useful?
in a similar vein, somebody got tinystories LLM running on the nintendo wii, including gpu acceleration [0]. 0: https://github.com/brysontang/iiama2.c
