Needle 2: 14MB LLM для виклику функцій на периферійних пристроях

Ультракомпактна архітектура для периферійного обладнання Needle 2 орієнтована на дешеві вбудовані системи, носимі пристрої та мікроконтролери, зосереджуючись виключно на мапінгу функцій і вилученні структурованих даних. Моделі потрібно лише 14MB RAM, і вона працює на апаратурі без окремих GPU чи NPU. Ключові особливості архітектури: - Simple Attention Network: Використовує ковзне вікно на 256 токенів та перетворення Вольша-Адамара для мінімізації обчислень. - 2-бітна квантизація без втрат: Тренована від початку до кінця за допомогою Quantization-Aware Training (QAT) для ваг, активацій та KV-кешу. - Граматичні обмеження на рівні байтів: Обмежує логіти декодування схемою інструменту, пропускаючи до 98% проєкцій словника. ### Локальне навчання та розгортання Продукт поставляється як автономний C++ бінарник із підтримкою ARM Cortex-M, x86, RISC-V та WebAssembly SIMD. Розробники можуть донавчати власні словники інструментів на звичайному Mac або PC за кілька хвилин за допомогою Python-пакета перед інтеграцією.