Microsoft Foundry Managed Compute тепер розгортає моделі Hugging Face
Microsoft Foundry тепер дозволяє розгортати вибрані моделі з Hugging Face одним кліком на керованій GPU-інфраструктурі. Платформа надає готове до корпоративного використання середовище для моделей з відкритими вагами з автоматичним оновленням рантаймів, перевіркою безпеки та комплаєнсом.
Вплив: Високий
Чому це важливо
Розгортайте промислові моделі з відкритим кодом без операційних витрат на ручне керування рантаймами, патчами безпеки чи масштабуванням GPU.
TL;DR
- 01Розгортайте професійні відкриті моделі без ручного керування рантаймом
- 02Забезпечуйте безпеку ваг у межах приватної інфраструктури Azure
- 03Використовуйте єдині API для різних архітектур моделей
Функції розгортання
- Кураторська колекція: Моделі з Hugging Face, що оновлюються щотижня та перевірені на безпеку для корпоративного використання.
- Оптимізовані рантайми: Автоматичний вибір vLLM, SGLang, NIM, TEI або llama.cpp залежно від архітектури моделі.
- Мережева ізоляція: Ваги зберігаються в Azure під керуванням Microsoft; для продуктивних середовищ не потрібен вихідний доступ до інтернету.
Корпоративна інтеграція
Foundry забезпечує наскрізне трасування, моніторинг та інтеграцію політик. Варіанти розгортання включають оплату за токен, забезпечену пропускну здатність та Managed Compute, що гарантує гнучкість витрат для стабільних або чутливих до затримки робочих навантажень.
✓ Коли використовувати
- Для масштабованого промислового розгортання моделей з відкритим кодом
- Коли для виведення моделей потрібні комплаєнс та мережева ізоляція
Що зробити сьогодні
- Перегляньте колекцію Hugging Face у каталозі моделей Foundry
- Протестуйте екземпляри моделей з низькою затримкою за допомогою Managed Compute
Джерела