Google відкриває код TorchTPU для відв'язки PyTorch від графічних процесорів Nvidia
Google опублікував відкритий репозиторій TorchTPU, що дозволяє запускати наявні моделі PyTorch на процесорах Tensor Processing Unit без переписування коду. Amazon паралельно представив TorchNeuron для чипів Trainium.
Чому це важливо
Тепер можна переносити задачі навчання та інференсу PyTorch з дефіцитних GPU Nvidia на хмарні TPU від Google Cloud шляхом базової зміни конфігурації.
TL;DR
- 01TorchTPU дозволяє запускати стандартний код PyTorch на чипах TPU без необхідності переписування логіки.
- 02Підтримка vLLM та SGLang гарантує сумісність із сучасними сервісними рушіями високопродуктивного виведення.
- 03Amazon і Google активно передають патчі в upstream PyTorch для усунення прив'язки до конкретних постачальників GPU.
Ключові факти
- Частка ринку PyTorch
- ~85% застосунків у сфері ШІ
- Підтримувані прискорювачі
- Google TPU та Amazon Trainium
- Сумісні екосистеми
- vLLM, SGLang, Hugging Face
Відв'язка PyTorch від CUDA
Оскільки розвиток PyTorch відбувався в період домінування рішень від Nvidia, значна частина екосистеми залишалася прив'язаною до інструкцій CUDA. Реліз відкритого фреймворку TorchTPU від Google дає змогу запускати обчислення на чипах Tensor Processing Unit практично без модифікації кодової бази.
Сумісність з екосистемою та інструментарій
Google забезпечив сумісність із ключовими інструментами інференсу та розгортання моделей:
- Сервери інференсу: Перевірена робота з Inferact (розробники vLLM) та RadixArk (автори SGLang).
- Хаби моделей: Нативна взаємодія з бібліотеками Hugging Face та напрацюваннями Meta.
- Асистенти міграції: До складу увійшов пакет TPU agent suite, призначений для автоматичного пошуку та усунення помилок перенесення.
- Edge-пристрої: Оновлено LiteRT для покращеної трансляції моделей на мобільні та вбудовані системи.
Конкуренція хмарних платформ
Одночасно Amazon представив TorchNeuron для своїх процесорів Trainium, передаючи патчі в основну гілку PyTorch для ізоляції специфічних для GPU компонентів. Хоча зміна заліза все ще потребує верифікації чисельної точності, відкриття цих інструментів прибирає штучні програмні бар'єри.
✓ Коли використовувати
- Масштабування систем інференсу PyTorch у хмарі, де оренда GPU стає фінансовим або ресурсним блокером.
- Перенесення рішень на базі vLLM або SGLang на альтернативні чіпи для диверсифікації інфраструктури.
✕ Коли НЕ варто
- Застосунки, що залежать від вузькоспеціалізованих рукописних CUDA C++ ядер без шарів Triton або XLA.
- Локальна розробка на робочих станціях без доступу до тестових середовищ Google Cloud або AWS.
Що зробити сьогодні
- Протестуйте сумісність TorchTPU на хмарних інстансах Google Cloud TPU v5e або v5p для робочих навантажень інференсу.
- Скористайтеся TPU agent suite для перевірки наявних пайплайнів на наявність специфічних CUDA-кернелів.
- Зіставте вартість генерації токенів на TPU та відеокартах Nvidia H100/A100 для пакетної обробки даних.