NVIDIA випустила модель Nemotron Labs 3 Puzzle 75B Latent Mixture of Experts
NVIDIA випустила Nemotron-Labs-3-Puzzle-75B-A9B-NVFP4, модель Latent Mixture of Experts на 75 мільярдів параметрів, квантовану за допомогою NVFP4, побудовану на базі Nemotron-3-Super-120B.
Чому це важливо
Цей реліз демонструє архітектуру Latent Mixture of Experts із застосуванням квантування NVFP4 для конкретних шарів моделі.
TL;DR
- 01Використовує архітектуру Latent Mixture of Experts.
- 02Впроваджує квантування NVFP4 для конкретних шарів проекцій.
- 03Підтримує 7 мов, включаючи японську та китайську.
Кастомна архітектура NemotronHPuzzle
Новий реліз від NVIDIA представляє NemotronHPuzzleForCausalLM під ліцензією openmdw-1.1. Модель є моделлю Latent Mixture of Experts (MoE) з підтримкою передбачення кількох токенів (mtp). Вона підтримує автоматичне завантаження конфігурацій через стандартні завантажувачі Hugging Face AutoConfig та AutoModelForCausalLM.
Квантування NVFP4
Ключовою особливістю моделі Puzzle-75B-A9B є конфігурація квантування NVFP4. Матриці ваг у різних шарах проекцій мікшера, включаючи in_proj, out_proj та спільні експерти MoE down_proj і up_proj, квантовані відповідно до визначених групових конфігурацій.
Багатомовна генерація тексту
Модель підтримує англійську, французьку, іспанську, італійську, німецьку, японську та китайську мови, і була навчена на корпусах даних nvidia/nemotron-post-training-v3 та nvidia/nemotron-pre-training-datasets.