Модуль NixOS забезпечує відтворюваність ШІ-навантажень на NVIDIA DGX Spark
Новий модуль NixOS та колекція USB-образів спрощують розгортання середовищ для ШІ на NVIDIA DGX Spark та Asus Ascent GX10. Він містить попередньо налаштовані devshells для тонкого налаштування, vLLM та телеметрії без ручного встановлення CUDA.
Вплив: Середній
Чому це важливо
Тепер ви можете запускати повністю відтворювані конвеєри глибокого навчання та інференсу без контейнерів на апаратному забезпеченні NVIDIA за допомогою Nix.
TL;DR
- 01Забезпечує відтворювану локальну розробку моделей без фрагментації традиційних віртуальних середовищ або важких образів Docker.
- 02Надає попередньо зібрані пакети CUDA через бінарний кеш Flox, значно скорочуючи час розгортання.
- 03Оптимізує конфігурацію ядра на 82% порівняно з універсальними збірками для стабільності заліза.
Ключові факти
- Порт DGX Dashboard
- 11000
- Варіант ядра NixOS
- Спеціалізоване ядро NVIDIA (дефолт) або стандартне 6.17
- Підтримуване залізо
- NVIDIA DGX Spark, Asus Ascent GX10
- Зменшення розміру конфігурації ядра
- 82%
Швидке встановлення та конфігурація
Щоб розгорнути цю конфігурацію на системі NVIDIA DGX Spark, ви можете ініціалізувати шаблон за допомогою flakes. Це створить повну структуру, включаючи файли flake.nix та configuration.nix.
nix flake init -t github:graham33/nixos-dgx-spark#dgx-sparkКастомне ядро NVIDIA
Модуль за замовчуванням використовує спеціалізоване ядро, оптимізоване для NVIDIA. Воно згенероване на основі анотацій Debian від NVIDIA, що мінімізує різницю у конфігурації:
hardware.dgx-spark.enable = true;
# useNvidiaKernel = true; (за замовчуванням)Якщо у вас виникають проблеми з мережею на стандартних ядрах, використання цієї оптимізованої версії гарантує коректну роботу Ethernet та повну підтримку GPU. Модуль також активує fwupd для оновлення прошивки напряму через Linux Vendor Firmware Service (LVFS).
Запуск навантажень без контейнерів
Репозиторій надає devshells, налаштовані для тонкого налаштування PyTorch, сервера інференсу vLLM (з моделями на кшталт Qwen2.5-Math-1.5B-Instruct) та квантування TensorRT FP4 без накладних витрат контейнерів Docker. Для систем без NixOS (наприклад, стандартної DGX OS на базі Ubuntu) ви можете встановити Nix і використовувати офіційний бінарний кеш, щоб уникнути компіляції залежностей CUDA:
extra-substituters = https://cache.flox.devСпробуй за 2 хвилини
nix run github:nix-community/nixos-anywhere -- --flake github:graham33/nixos-dgx-spark#dgx-spark root@<ip>bash
✓ Коли використовувати
- Розгортання NixOS або декларативних середовищ Nix на обладнанні NVIDIA DGX Spark або Asus Ascent GX10.
- Запуск відтворюваних локальних конвеєрів глибокого навчання без накладних витрат важких Docker-контейнерів.
✕ Коли НЕ варто
- Якщо у вас немає спеціалізованого обладнання DGX Spark або Asus Ascent GX10.
- Якщо ви повністю покладаєтеся на хмарні serverless-інференс API.
Що зробити сьогодні
- Клонуйте репозиторій nixos-dgx-spark або імпортуйте його як flake у ваші конфігурації NixOS.
- Налаштуйте бінарний кеш Flox у вашому файлі nix.conf, щоб уникнути компіляції важких бібліотек CUDA.
Що каже спільнота
“Been running this on a few Asus GX10 machines with k3s on top, it’s been great. I’m running the new deepseek. Thank you for your work!”
“This has been amazingly helpful for managing my DGX Spark! Thank you for all your time and effort into this project!”
Джерела