Reflection представила Beam: відкриту MoE-модель на 501B параметрів для програмування
Reflection випустила Beam — відкриту модель суміші експертів на 501 млрд параметрів під ліцензією Apache 2.0 із вікном у 1 млн токенів. Вона активує 23 млрд параметрів на токен і має готову підтримку у vLLM, SGLang та Transformers.
Чому це важливо
Команди отримують можливість самостійно розгортати та донавчати повнорозмірну модель для складного кодингу без прив'язки до пропрієтарних API.
TL;DR
- 01Beam надає відкриту альтернативу комерційним моделям кодингу з контекстом 1M під Apache 2.0.
- 02Гібридна увага зменшує витрати пам'яті на KV-кеш приблизно на 83% (до 36 КіБ на токен).
- 03Формат NVFP4 дозволяє розмістити ваги 501B на 4x GPU B200 із запасом під повний контекст.
Ключові факти
- Загальна кількість параметрів
- 501 млрд
- Активні параметри
- 23 млрд на токен
- Контекстне вікно
- 1,000,000 токенів
- Ліцензія
- Apache 2.0
- Архітектура
- 52 шари, 256 експертів, 8 маршрутизованих
- Розмір KV-кешу
- 36 КіБ на токен (гібридна увага)
Архітектура та гібридна увага
Beam має структуру Mixture-of-Experts (MoE) на 501 млрд параметрів, із яких для кожного токена активуються лише 23 млрд. Модель налічує 52 шари з розмірністю прихованого стану 5,120. Перші 3 шари є щільними блоками SwiGLU MLP, а наступні 49 — шарами MoE по 256 експертів кожен (98.4% усіх параметрів). Маршрутизатор використовує груповий відбір DeepSeek-V3, вибираючи 8 експертів із 4 найкращих груп.
Для роботи з контекстом у 1,000,000 токенів реалізовано гібридну увагу: 43 шари зі ковзним вікном на 512 токенів і 9 глобальних шарів. У шарах зі ковзним вікном використовується RoPE, а в глобальних — масштабований softmax без позиційного кодування. Завдяки цьому приріст KV-кешу знижено з 208 КіБ до 36 КіБ на токен.
Квантування та вимоги до обладнання
Модель доступна у трьох форматах:
- BF16: займає ~1 ТБ пам'яті та потребує багатонодових кластерів.
- NVFP4: ~280 ГБ пам'яті під архітектуру NVIDIA Blackwell. Нода з 4x B200 (720 ГБ VRAM) забезпечує повний запуск із запасом під контекст.
- FP8: оптимізований чекпойнт для карт поколінь Hopper та Ampere.
Екосистема та підтримка з першого дня
Інференс підтримується у бібліотеках transformers, vLLM та SGLang. Доступні готові рецепти донавчання (SFT) та RL через Miles. Модель містить п'ять рівнів міркувань: low, medium (за замовчуванням), high, xhigh та max із можливістю збереження думок (preserve_thinking) між повідомленнями.
Спробуй за 2 хвилини
from transformers import pipeline
pipe = pipeline("text-generation", model="reflection/Beam-1.0-501B-A23B", device_map="auto")
messages = [{"role": "user", "content": "Write an optimized quicksort in Rust."}]
output = pipe(messages, max_new_tokens=2000)python
✓ Коли використовувати
- Автономне розгортання агентних систем із великим контекстом у закритому периметрі безпеки.
- Донавчання власних інструментів генерації коду на закритих репозиторіях під відкритою ліцензією Apache 2.0.
✕ Коли НЕ варто
- Розробницькі машини без спеціалізованих серверних GPU (потрібні карти класу B200/H100/H200).
- Прості чат-боти з жорсткими вимогами до затримки, де достатньо локальних моделей на 8B–14B.
Що зробити сьогодні
- Протестуйте Beam локально або через хмарні провайдери за допомогою конвеєра Transformers.
- Розгорніть чекпойнти NVFP4 або FP8 у vLLM чи SGLang для перевірки на власних тестах кодингу.
- Подайте власні квантування або бенчмарки на Hugging Face Hub для участі в грантовій програмі на $10,000.