Локальні LLMВплив: Середній
Apple випускає Mac Studio з M5 Ultra та 512 ГБ ОЗП для локальних LLM
Apple анонсувала оновлені Mac Studio та Mac mini з чіпами M5 Ultra та M6. З підтримкою до 512 ГБ об'єднаної пам'яті та пропускною здатністю 1,2 ТБ/с пристрої орієнтовані на розробників, які запускають великі моделі DeepSeek та Qwen через MLX.
Чому це важливо
Ви можете запускати відкриті моделі понад 70B параметрів повністю локально на одному робочому місці без витрат на хмарні токени.
TL;DR
- 01Mac Studio з M5 Ultra пропонує до 512 ГБ об'єднаної пам'яті з пропускною здатністю 1,2 ТБ/с
- 02Мережа Thunderbolt 5 дозволяє об'єднувати Mac mini у кластери для розподіленого інференсу в MLX
- 03Великий обсяг VRAM дає змогу запускати моделі 70B+ локально без витрат на API-токени
Ключові факти
- Об'єднана пам'ять M5 Ultra
- До 512 ГБ
- Пропускна здатність пам'яті M5 Ultra
- 1,2 ТБ/с
- Базова ціна Mac Mini M6
- $899
- Базова ціна Mac Studio M5 Ultra
- $5,499
Характеристики процесорів для задач ІІ
Apple M5 Ultra об'єднує два кристали M5 Max на одному SoC, надаючи високу пропускну здатність об'єднаної пам'яті для локального інференсу LLM:
- Характеристики M5 Ultra: 36 ядер CPU, 80 ядер GPU, до 512 ГБ об'єднаної пам'яті
- Пропускна здатність пам'яті: до 1,2 ТБ/с
- Характеристики чіпа M6: 12 ядер CPU (2 суперядра, 4 продуктивних, 6 ефективних), 12 ядер GPU, пропускна здатність 160 ГБ/с, до 32 ГБ ОЗП
- Швидкість накопичувачів та зв'язку: до 15 ГБ/с для SSD, 2.5Gb Ethernet (опція 10Gb), Wi-Fi 7
Розподілений інференс через Thunderbolt 5 та MLX
Завдяки мережевому з'єднанню Thunderbolt 5 у macOS розробники можуть об'єднувати декілька Mac mini або Mac Studio у кластери для розподіленого інференсу відкритих моделей через фреймворк Apple MLX.
Ціни та доступність
- Mac mini (M6, 16GB): від $899
- Mac Studio (M5 Ultra): від $5,499 (версія з 512 ГБ поставляється наприкінці жовтня)
Спробуй за 2 хвилини
pip install mlx-lmbash
✓ Коли використовувати
- Побудова локальних станцій розробки для уникнення постійних витрат на LLM API
- Запуск приватного коду або моделей від 70B параметрів на фреймворку MLX
✕ Коли НЕ варто
- Стандартна легка розробка, де достатньо хмарних тарифів або звичайного ноутбука
- Задачі, що розраховані виключно на NVIDIA CUDA без підтримки Metal/MLX
Що зробити сьогодні
- Оцініть конфігурацію MLX для декількох вузлів у разі хостингу відкритих моделей локально
- Налаштуйте високошвидкісні канали Thunderbolt 5 між вузлами Mac для тензорного паралелізму
#Apple Mac Studio#Apple Mac mini#MLX#DeepSeek#Qwen