Intel оцінює агентні ферми штучного інтелекту через щільність vCPU та латентність
Intel опублікувала дослідження оркестрації агентних ферм штучного інтелекту за допомогою розширеного Terminal-Bench. Звіт аналізує щільність агентів на vCPU та P95-латентність.
Чому це важливо
Розраховуйте інфраструктуру агентів на основі щільності агентів на vCPU та відстежуйте затримку P95 замість середньої загрузки CPU.
TL;DR
- 01Проблеми агентних систем часто спричинені перенавантаженням інфраструктури, а не лише інференсом.
- 02Використовуйте затримку P95 як головний тригер моніторингу замість середньої загрузки CPU.
- 03Обирайте горизонтальне масштабування (scale-out) за замовчуванням для агентних ферм.
Ключові факти
- Основна метрика
- Щільність агентів на vCPU
- Індикатор тривоги
- Затримка P95 (Task Latency)
- Фреймворк тестування
- Terminal-Bench з Record-Replay
Метрики для агентних систем
Традиційні бенчмарки оцінюють швидкість генерації токенів, проте агентні ферми вимагають системних метрик:
- Щільність агентів: Вимірюється як
agents / vCPU. Основний показник для розрахунку серверних потужностей. - Затримка P95 (P95 Task Latency): Головний сигнал для виявлення черг під час сплесків обчислень.
- Профілювання Record-Replay: Модифікація Terminal-Bench, яка фіксує відповіді LLM для детермінованого оцінювання навантаження.
Правила архітектури та масштабування
1. Нормалізація через vCPU: Навантаження 10 агентів на 8 vCPU еквівалентне 20 агентам на 16 vCPU. 2. Горизонтальне масштабування за замовчуванням: Scale-out краще підходить для напівнезалежних агентів із короткими сплесками. 3. Вертикальне масштабування: Використовуйте scale-up лише для завдань із спільною пам'яттю чи високим паралелізмом.
✓ Коли використовувати
- При проектуванні інфраструктури для мультиагентних систем або фонових робочих ферм.
- При налаштуванні дашбордів Prometheus чи Grafana для агентних платформ.
Що зробити сьогодні
- Переведіть сповіщення моніторингу агентів із середнього CPU на затримку виконання завдань P95.
- Розрахуйте цільову щільність агентів на vCPU перед деплоєм автономних агентних ферм.
Джерела