Oleksandr Kuzmenko, РедакторОпубліковано 5 хв читанняЗа участі AI · перевірено редактором
TL;DR
- Конфіденційні обчислення на NVIDIA B200 зберігають 96.1–98.2% базової пропускної здатності токенів.
- TensorRT-LLM уникає блокувань у буферах за рахунок заміни закріпленої пам'яті на сторінкову всередині CVM.
- Автотюнінг ядер у конфіденційному режимі потребує використання таймера %globaltimer замість CUDA events.
Ключові факти
- Збережена пропускна здатність
- 96.1–98.2% від базового рівня
- Накладні витрати затримки (TPOT)
- Зростання на 1.2–4.3%
- Тестове обладнання
- 1x NVIDIA DGX B200 (8x GPU B200)
- Версія ПЗ
- TensorRT-LLM 1.3.0rc22
Усунення вузьких місць у захищених анклавах
Конфіденційні обчислення на вузлах NVIDIA DGX B200 ізолюють ваги моделей та промпти за допомогою апаратно зашифрованих віртуальних машин (CVM) та шифрування каналів NVLink. Проте апаратна ізоляція змінює звичні патерни роботи з пам'яттю. TensorRT-LLM впроваджує точкові оптимізації для зменшення накладних витрат:
- Сторінкова пам'ять хоста: Оскільки захищена пам'ять CVM блокує прямий доступ GPU, передача даних з хоста на пристрій використовує зашифровані проміжні буфери. Закріплена пам'ять перестає бути асинхронною й блокує потоки, тому runtime динамічно перемикається на звичайну сторінкову пам'ять.
- Асинхронне вивантаження токенів: Зчитування згенерованих токенів блокує основний цикл декодування. TensorRT-LLM виносить ці копіювання в окремий асинхронний потік (PR #11573).
- Автотюнінг за апаратним таймером: Події CUDA демонструють нестабільний час виконання всередині CVM, що призводить до вибору неоптимальних ядер. Згідно з PR #11657, вимірювання тактик тепер використовує регістр
%globaltimer.
Показники пропускної здатності та затримки
Під час тестів на довгих контекстах і низькому рівні паралелізму кластер з 8 GPU NVIDIA B200 під керуванням TensorRT-LLM 1.3.0rc22 продемонстрував збереження 96.1–98.2% пропускної здатності порівняно з незахищеним середовищем. Затримка на генерацію токена (TPOT) зросла лише на 1.2–4.3%.
Інженерам інфраструктури слід враховувати, що мультикаст NVLink SHARP (NVLS) недоступний у конфіденційному режимі B200, тому алгоритми NCCL мають обиратися без розрахунку на апаратний мультикаст.
Спробуй за 2 хвилини
docker pull nvcr.io/nvidia/tensorrt-llm/release:1.3.0rc22Коли використовувати
- Розгортання пропрієтарних ваг моделей або конфіденційних промптів у медичних чи фінансових хмарах.
- Запуск DeepSeek-R1 та моделей міркування в умовах нульової довіри (zero-trust) на сторонній інфраструктурі.
Коли НЕ варто
- Для локальної розробки без вимог регуляторної ізоляції даних та мультиарендності.
- Якщо ваша архітектура жорстко спирається на апаратний мультикаст NVLink SHARP.
Що зробити сьогодні
- Оновіть робочі контейнери інференсу до версії TensorRT-LLM 1.3.0rc22 або новішої під час роботи у CVM.
- Вимкніть використання колективних шляхів NVLink SHARP у налаштуваннях NCCL для конфіденційних середовищ.
- Протестуйте метрику Time Per Output Token при паралелізмі від 1 до 16, щоб зафіксувати накладні витрати шифрування.
Назви кроків узяті з блоку «Що зробити сьогодні».
Назви кроків узяті з блоку «Що зробити сьогодні». Оновіть робочі контейнери інференсу до версії TensorRT-LLM 1.3.0rc22 або новішої під час роботи у CVM.. Вимкніть використання колективних шляхів NVLink SHARP у налаштуваннях NCCL для конфіденційних середовищ.. Протестуйте метрику Time Per Output Token при паралелізмі від 1 до 16, щоб зафіксувати накладні витрати шифрування.
- Оновіть робочі контейнери інференсу до версії TensorRT-LLM 1.3.0rc22 або новішої під час роботи у CVM.
- Вимкніть використання колективних шляхів NVLink SHARP у налаштуваннях NCCL для конфіденційних середовищ.
- Протестуйте метрику Time Per Output Token при паралелізмі від 1 до 16, щоб зафіксувати накладні витрати шифрування.