Oleksandr Kuzmenko, РедакторОпубліковано 5 хв читанняЗа участі AI · перевірено редактором
TL;DR
- Репозиторій демонструє об'єднання лінійної рекурентності GDN та уваги MLA для усунення вузьких місць у KV-кеші.
- Масштабування MoE зміщується до надвеликої кількості експертів (1224) із дрібнозернистим вибором (top-48 плюс спільний).
- Прямий запуск неможливий без промислових кластерів на десятках прискорювачів Trainium2 або NVIDIA Blackwell.
Ключові факти
- Загальна кількість параметрів
- ~14T (6.85T тензорних параметрів в індексі)
- Розмір шардів
- 7.72 ТБ у 772 файлах safetensors
- Кількість шарів
- 114 шарів
- Конфігурація MoE
- 1224 експерти (top-48 маршрутизованих + 1 спільний)
- Формат квантування
- NVFP4 (пейлоади E2M1 зі шкалами E4M3)
Джерело: Ключові факти — Кількість шарів
Джерело: Ключові факти. Кількість шарів: 114 шарів. Кожне число скопійоване з історії.
- Кількість шарів114 шарів
Аналіз архітектури: поєднання GDN та Multi-Head Latent Attention
Репозиторій burner22/numbat містить еталонний код у файлах configuration_numbat.py та modeling_numbat.py, спроектований для завантаження 772 файлів safetensors сукупним розміром 7 720 640 941 879 байтів (~7.72 ТБ). Відповідно до специфікації, модель налічує 114 шарів гібридної конфігурації:
- Шари уваги: Чергування лінійних модулів Gated DeltaNet (GDN) та проєкцій Multi-head Latent Attention (MLA) для радикального скорочення пам'яті KV-кешу.
- Розріджена маршрутизація: Блок Mixture-of-Experts на 1224 експерти, який активує схему top-48 на кожен токен разом з 1 постійно активним спільним експертом.
- Спекулятивні виходи: Вбудований механізм Multi-Token Prediction (
NumbatForCausalLM.draft), що працює паралельно з основним стеком моделі (NumbatForCausalLM.forward).
Кодування тензорів та апаратні обмеження
Тензори розподілені на 6.83 трильйона параметрів uint8 для ваг у квантуванні NVFP4, тоді як 16.85 мільярда параметрів BF16 відповідають за нормалізацію та матриці ембедингів. Масштабування використовує блоковий формат E4M3 для декодування пейлоадів E2M1. Запуск цього чекпойнта вимагає приблизно 85 прискорювачів AWS Trainium2 лише для розміщення тензорів у пам'яті.
Спробуй за 2 хвилини
from safetensors import safe_open
# Inspect shard header metadata without downloading full multi-terabyte tensors
with safe_open('model-00001-of-00772.safetensors', framework='pt') as f:
print(f"Keys in shard 1: {len(f.keys())}")Коли використовувати
- Вивчайте modeling_numbat.py для проєктування власних шарів на PyTorch, що поєднують state-space рекурентність із механізмами уваги.
- Використовуйте схему метаданих як приклад при написанні завантажувачів для розподілених MoE-моделей.
Коли НЕ варто
- Не завантажуйте 7.72 ТБ ваг для локального інференсу чи файн-тюнінгу без наявності кластера корпоративного рівня.
- Не розгортайте неперевірені сторонні чекпойнти у комерційних системах чи корпоративній інфраструктурі.
Що зробити сьогодні
- Клонуйте modeling_numbat.py для вивчення реалізації прямого проходу шарів GDN та MLA у PyTorch.
- Дослідіть механізм розпакування блоків масштабування E4M3 для формату NVFP4 у safetensors.
Назви кроків узяті з блоку «Що зробити сьогодні».
Назви кроків узяті з блоку «Що зробити сьогодні». Клонуйте modeling_numbat.py для вивчення реалізації прямого проходу шарів GDN та MLA у PyTorch.. Дослідіть механізм розпакування блоків масштабування E4M3 для формату NVFP4 у safetensors.
- Клонуйте modeling_numbat.py для вивчення реалізації прямого проходу шарів GDN та MLA у PyTorch.
- Дослідіть механізм розпакування блоків масштабування E4M3 для формату NVFP4 у safetensors.
Що каже спільнота
Obviously fake. Come on. This isn’t like leaking llama… even if it were real you would need several racks of b200s to even run this at all coupled with nvlink.
A day will come when such a leak will happen - thats almost a certainty. But it's not today.