NVIDIA Nonuniform Tensor Parallelism захищає навчання великих мовних моделей від збоїв GPU

Вирішення проблеми вразливості масштабування

Оскільки навчальні кластери зростають для підтримки гігантських моделей, домени масштабування об'єднують до 72 GPU через високошвидкісний NVLink (що забезпечує до 1800 ГБ/с на системах NVIDIA Blackwell та Blackwell Ultra). Проте таке жорстке зчеплення означає, що поодинока помилка одного графічного процесора може зупинити тисячі пов'язаних карт. NTP змінює цю парадигму, переходячи від статичного розподілу до еластичного та відмовостійкого виконання.

Динамічне масштабування тензорів та розгін живлення

При виявленні збою GPU, технологія NTP динамічно реконфігурує ступінь тензорного паралелізму для постраждалої групи:

• Еластичні ступені TP: Стандартна конфігурація TP=8 може безперешкодно масштабуватися до TP=7 без перезапуску всього процесу.
• Цільовий розгін частоти: Щоб сповільнена копія не гальмувала глобальні репліки паралелізму даних (DP), які мають синхронізувати градієнти, інші графічні процесори у стійці тимчасово розганяються за допомогою динамічного підвищення лімітів живлення.
• Перекриття решейрингу: Решейринг тензорів планується так, щоб відбуватися паралельно зі зворотним поширенням помилки (backward pass) та синхронізацією параметрів. Це обмежує втрати продуктивності рівнем менше 1%.

Корисна продуктивність (Goodput) проти сирої пропускної здатності

Замість того, щоб фокусуватися виключно на сирій пропускній здатності заліза, NTP пріоритезує "Goodput" — обсяг фактично виконаної корисної роботи, що веде до збіжності моделі. Завдяки усуненню повних циклів перезапуску з чекпойнтів та простою гарячого резерву, тривалі процеси навчання зберігають свій графік навіть за умов частих збоїв обладнання.