Oleksandr Kuzmenko, РедакторОпубліковано 5 хв читанняЗа участі AI · перевірено редактором
Чому це важливо
Ви можете локально запускати агентські пайплайни з контекстом 256K та мультимодальні задачі менш ніж в 1 ГБ пам'яті.
TL;DR
- 01LFM3 запускає текстові моделі з контекстом 256K у ~1 ГБ VRAM у 4-бітному квантуванні.
- 02Архітектура поєднує згортки та гейтовану увагу, прискорюючи генерацію на контексті 8K на 25%.
- 03Можливість файнтюнінгу на одному GPU дозволяє локально розгортати моделі для зору, аудіо та агентів.
Ключові факти
- Кількість параметрів (Base/Text)
- 1.7B (-35% порівняно з LFM2.5)
- Контекстне вікно
- 256K токенів
- Пам'ять у 4-бітному режимі
- ~1 ГБ
- Оцінка WebArena-Verified
- 38.42 (проти 3.02 у LFM2.5)
- Аудіозатримка
- 50 мс до першого токена
- Обсяг претрейну
- 22T базових токенів + 3.5T mid-training
Тригібридна архітектура шарів
Базова модель LFM3-1.7B містить 24 шари: 13 коротких згорток (розмір ядра 7), 5 шарів ковзної уваги (вікно 256 токенів) та 6 глобальних шарів. У глобальних шарах використовується Partial RoPE для високочастотної частини голівки. Сендвіч-нормалізація та пошарове гейтування уваги пригнічують викиди активацій, дозволяючи моделі працювати в 4-бітному квантуванні з обсягом пам'яті ~1 ГБ.
Контекстне вікно 256K та навчання на викликах інструментів
Після претрейну на 22T токенів модель пройшла донавчання на 3.5T відібраних токенів з великою часткою агентських слідів і викликів функцій, що розширило контекстне вікно до 256K. У бенчмарку WebArena-Verified LFM3-1.7B набрала 38.42 (проти 3.02 у LFM2.5-2.6B), випередивши Qwen3.5-9B на тривалих браузерних завданнях.
Мультимодальна лінійка для Edge-пристроїв
- LFM3-VL-2B: Модель зору з підтримкою відео. Об'єднує кадри у часові зрізи, зменшуючи довжину послідовності вдвічі, із середнім балом 71.4 на 62 бенчмарках.
- LFM3-Audio-2B: Каузальний аудіоенкодер із затримкою до першого токена 50 мс та синтезом мовлення на швидкості 87x real-time на Apple M4 Max через LiquidCodec.
- Підтримка фреймворків: Готова до роботи в агентських оточеннях Hermes Agent, Pi та OpenClaw.
Спробуй за 2 хвилини
pip install "transformers>=5.21.0" torch torchvision pillowbash
✓ Коли використовувати
- Розгортання автономних агентів із викликом інструментів на edge-пристроях, ноутбуках чи Raspberry Pi 5.
- Створення приватних локальних систем розпізнавання мови чи аналізу відео на одному GPU.
✕ Коли НЕ варто
- Складне програмування на рівні великих монорепозиторіїв, де потрібні топові моделі міркувань.
- Розв'язання складних абстрактних математичних задач із коробки.
Що зробити сьогодні
- Встановіть transformers>=5.21.0 для локального тестування LFM3-1.7B та LFM3-VL-2B.
- Протестуйте LFM3-1.7B у зв'язці з Hermes Agent або OpenClaw для локальних агентських завдань.