Apple випускає Mac Studio з M5 Ultra та 512 ГБ ОЗП для локальних LLM
Apple анонсувала оновлені Mac Studio та Mac mini з чіпами M5 Ultra та M6. З підтримкою до 512 ГБ об'єднаної пам'яті та пропускною здатністю 1,2 ТБ/с пристрої орієнтовані на розробників, які запускають великі моделі DeepSeek та Qwen через MLX.
Вплив: Середній
Чому це важливо
Ви можете запускати відкриті моделі понад 70B параметрів повністю локально на одному робочому місці без витрат на хмарні токени.
TL;DR
- 01Mac Studio з M5 Ultra пропонує до 512 ГБ об'єднаної пам'яті з пропускною здатністю 1,2 ТБ/с
- 02Мережа Thunderbolt 5 дозволяє об'єднувати Mac mini у кластери для розподіленого інференсу в MLX
- 03Великий обсяг VRAM дає змогу запускати моделі 70B+ локально без витрат на API-токени
Ключові факти
- Об'єднана пам'ять M5 Ultra
- До 512 ГБ
- Пропускна здатність пам'яті M5 Ultra
- 1,2 ТБ/с
- Базова ціна Mac Mini M6
- $899
- Базова ціна Mac Studio M5 Ultra
- $5,499
Характеристики процесорів для задач ІІ
Apple M5 Ultra об'єднує два кристали M5 Max на одному SoC, надаючи високу пропускну здатність об'єднаної пам'яті для локального інференсу LLM:
- Характеристики M5 Ultra: 36 ядер CPU, 80 ядер GPU, до 512 ГБ об'єднаної пам'яті
- Пропускна здатність пам'яті: до 1,2 ТБ/с
- Характеристики чіпа M6: 12 ядер CPU (2 суперядра, 4 продуктивних, 6 ефективних), 12 ядер GPU, пропускна здатність 160 ГБ/с, до 32 ГБ ОЗП
- Швидкість накопичувачів та зв'язку: до 15 ГБ/с для SSD, 2.5Gb Ethernet (опція 10Gb), Wi-Fi 7
Розподілений інференс через Thunderbolt 5 та MLX
Завдяки мережевому з'єднанню Thunderbolt 5 у macOS розробники можуть об'єднувати декілька Mac mini або Mac Studio у кластери для розподіленого інференсу відкритих моделей через фреймворк Apple MLX.
Ціни та доступність
- Mac mini (M6, 16GB): від $899
- Mac Studio (M5 Ultra): від $5,499 (версія з 512 ГБ поставляється наприкінці жовтня)
Спробуй за 2 хвилини
pip install mlx-lmbash
✓ Коли використовувати
- Побудова локальних станцій розробки для уникнення постійних витрат на LLM API
- Запуск приватного коду або моделей від 70B параметрів на фреймворку MLX
✕ Коли НЕ варто
- Стандартна легка розробка, де достатньо хмарних тарифів або звичайного ноутбука
- Задачі, що розраховані виключно на NVIDIA CUDA без підтримки Metal/MLX
Що зробити сьогодні
- Оцініть конфігурацію MLX для декількох вузлів у разі хостингу відкритих моделей локально
- Налаштуйте високошвидкісні канали Thunderbolt 5 між вузлами Mac для тензорного паралелізму
Джерела