Моделі й дослідження
2 хв хв · Hacker News
Передбачуваний чекпойнт Anthropic Numbat розкриває 14-трильйонну архітектуру GDN та MLA
Чекпойнт вагою 7.72 ТБ під кодовою назвою numbat з'явився на Hugging Face разом із реалізацією для PyTorch та 772 шардами safetensors. Попри значний скептицизм спільноти щодо автентичності ваг, код демонструє практичну реалізацію гібридної уваги Gated DeltaNet та Multi-head Latent Attention.
Чому це важливо. Ви можете дослідити еталонний код на PyTorch, щоб вивчити роботу шарів гібридної уваги та деквантування NVFP4, які застосовуються у моделях наступного покоління.