Запуск локальних великих мовних моделей на багатопроцесорних кластерах для безпечної розробки документів
Шаблон архітектури показує, як об'єднати 12 серверних відеокарт V100 у кластер для запуску масштабних локальних моделей для конфіденційної роботи з документами.
Чому це важливо
Ви можете використовувати старе серверне обладнання для локального запуску гігантських моделей, уникаючи проблем із конфіденційністю у хмарі та щомісячної оплати API.
TL;DR
- 01Об'єднуйте старі серверні відеокарти через NVLink для отримання гігантського пулу відеопам'яті
- 02Розгортайте vLLM з увімкненим тензорним паралелізмом для розподілу ваг моделі між картами
- 03Запускайте конфіденційну обробку документів локально без надсилання даних у хмару
Ключові факти
- Модель GPU
- V100 SXM2 32GB
- Загальний об'єм VRAM
- 384GB
Оптимізація кластерів для старішого заліза
Сучасні мовні моделі зазвичай вимагають графічних процесорів останнього покоління. Проте, цей патерн розгортання ілюструє, що об'єднання дванадцяти застарілих корпоративних GPU V100 32GB SXM2 дозволяє отримати потужний пул на 384 ГБ відеопам'яті (VRAM). Ця конфігурація дозволяє запускати масивні моделі з відкритим кодом (наприклад, Llama-3-70B) локально, уникаючи затримок публічних хмар та ризиків витоку даних.
Тензорний паралелізм та внутрішня безпека
Завдяки використанню спеціалізованих середовищ на кшталт TensorRT-LLM або vLLM через швидкісні з'єднання NVLink, розробники можуть розподіляти ваги моделі між картами за допомогою тензорного паралелізму. Це дозволяє приватним організаціям завантажувати великі юридичні документи чи об'ємні репозиторії коду безпосередньо у контекстне вікно моделі, гарантуючи конфіденційність без купівлі дефіцитних карт сімейства Hopper H100.
✓ Коли використовувати
- Коли ви маєте застарілі корпоративні графічні процесори та потребуєте абсолютної конфіденційності даних.
- Для локального запуску моделей на 70B+ параметрів на власному залізі.
✕ Коли НЕ варто
- Коли у вас немає швидкісних фізичних мостів на кшталт NVLink.
- Коли звичайного споживчого комп'ютера на зразок Mac Studio достатньо для ваших завдань.