Система TRACE автоматизує навчання агентів через адаптери можливостей на основі помилок
Дослідники Стенфорда представили TRACE — систему, яка ідентифікує повторювані помилки агентів і створює цільові середовища навчання. Вона використовує композицію MoE з маршрутизацією на рівні токенів, підвищуючи продуктивність до 15 пунктів на бенчмарках типу SWE-bench.
Чому це важливо
Впроваджуйте цільові адаптери LoRA для агентних воркфлоу, щоб вирішувати повторювані логічні помилки без перенавчання всієї базової моделі.
TL;DR
- 01Використовуйте контрастний аналіз помилок, щоб знайти конкретні прогалини в роботі агентів.
- 02Композиція MoE з адаптерами LoRA перевершує промпт-інжиніринг однієї моделі.
- 03Цільові середовища навчання потребують значно менше даних, ніж повне SFT.
Архітектура конвеєра
TRACE використовує чотириетапний автоматизований конвеєр: 1. Аналіз: Маркує траєкторії як PRESENT (присутні) або LACKING (відсутні) на основі контрастних розривів між успіхом та невдачею. 2. Генерація: Створює ізольовані синтетичні середовища для кожної можливості. 3. Навчання: Використовує GRPO (Group Relative Policy Optimization) для тренування адаптерів LoRA. 4. Композиція: Маршрутизує токени за схемою top-1 до спеціалізованих експертів.
Вимоги до розгортання
Для роботи з vLLM переконайтеся, що ваше середовище підтримує динамічну заміну LoRA:
export VLLM_ALLOW_RUNTIME_LORA_UPDATING=True
vllm serve "$MODEL" --enable-lora --max-loras 2Адаптери додають ~1.6 млрд параметрів (~5.3% від бекбону) на кожну навичку.
Спробуй за 2 хвилини
vllm serve "Qwen/Qwen3-30B-A3B-Instruct-2507" --enable-lora --max-loras 2 --max-lora-rank 32bash
✓ Коли використовувати
- Коли продуктивність агента досягає плато після оптимізації промптів.
- При роботі з чіткими повторюваними помилками, наприклад, точністю викликів інструментів.
Що зробити сьогодні
- Проаналізуйте невдалі траєкторії у логах агентів для виявлення прогалин у навичках.
- Налаштуйте vLLM сервер з параметром --enable-lora для тестування модульної маршрутизації експертів.
Джерела