Oleksandr Kuzmenko, РедакторОпубліковано 4 хв читанняЗа участі AI · перевірено редактором
TL;DR
- Запускає 27B мультимодальну модель і computer-use у межах 5.9 ГБ оперативної пам'яті.
- Зберігає 98.2% вихідної точності на BigCodeBench, LiveCodeBench v6 та HumanEval+.
- Забезпечує 143 токени/с на RTX 5090 та 46.8 токенів/с на Apple Silicon M5 Max.
Ключові факти
- Розмір моделі
- 5.9 ГБ
- Ефективна розрядність
- 1.76 біта/вага
- Вікно контексту
- 262K токенів
- Збереження бенчмарків
- 98.2% (за даними вендора)
- Швидкість (RTX 5090)
- 143 токени/с
- Ліцензія
- Apache 2.0
Джерело: Ключові факти — Розмір моделі, Ефективна розрядність, Вікно контексту, Швидкість (RTX 5090)
Джерело: Ключові факти. Розмір моделі: 5.9 ГБ. Ефективна розрядність: 1.76 біта/вага. Вікно контексту: 262K токенів. Швидкість (RTX 5090): 143 токени/с. Кожне число скопійоване з історії.
- Розмір моделі5.9 ГБ
- Ефективна розрядність1.76 біта/вага
- Вікно контексту262K токенів
- Швидкість (RTX 5090)143 токени/с
Екстремальне квантування без деградації логіки Ternary Bonsai 2 27B на базі Qwen3.8 27B стискає розмір моделі більш ніж у 9 разів до 5.9 ГБ, використовуючи 1.76 ефективного біта на вагу. Якщо ранні експерименти з наднизькою розрядністю ламали багатокрокові цикли через накопичення помилок, то Bonsai 2 отримує 83.9 бала на комплексних бенчмарках, зберігаючи 98.2% вихідної якості.
Швидкість на залізі та інтеграція в агенти Модель демонструє 143 токени/с на NVIDIA RTX 5090 і 46.8 токенів/с на Apple M5 Max за допомогою оптимізованих ядер MLX. Енергоспоживання на RTX 4090 становить 0.714 мВт·год на токен, що на 40% ефективніше за стандартну 8B модель без квантування. Prism ML підтвердила стабільну роботу з автономним агентом Cline та сценаріями computer-use на вікні контексту 262K під ліцензією Apache 2.0.
Спробуй за 2 хвилини
git clone https://github.com/prismml/bonsai && cd bonsai && pip install -e . && python -m bonsai.serve --model ternary-bonsai-2-27b --context-window 262144Коли використовувати
- Запуск офлайн-агентів для кодингу із суворими вимогами до приватності.
- Розгортання багатокрокових агентів на звичайних ноутбуках або робочих станціях з однією GPU.
- Тривалі фонові процеси аналізу, де виклики комерційних API стають надто дорогими.
Що зробити сьогодні
- Завантажте ваги моделі з офіційного репозиторію під ліцензією Apache 2.0.
- Протестуйте локальну швидкість інференсу через кастомні ядра MLX на Apple Silicon або CUDA на GPU RTX.
- Підключіть локальний endpoint до Cline або Cursor для перевірки багатокрокового редагування без хмарних витрат.
Назви кроків узяті з блоку «Що зробити сьогодні».
Назви кроків узяті з блоку «Що зробити сьогодні». Завантажте ваги моделі з офіційного репозиторію під ліцензією Apache 2.0.. Протестуйте локальну швидкість інференсу через кастомні ядра MLX на Apple Silicon або CUDA на GPU RTX.. Підключіть локальний endpoint до Cline або Cursor для перевірки багатокрокового редагування без хмарних витрат.
- Завантажте ваги моделі з офіційного репозиторію під ліцензією Apache 2.0.
- Протестуйте локальну швидкість інференсу через кастомні ядра MLX на Apple Silicon або CUDA на GPU RTX.
- Підключіть локальний endpoint до Cline або Cursor для перевірки багатокрокового редагування без хмарних витрат.