IBM ALTK-Evolve скорочує витрати на контекст агентів до 85% порівняно з ACE
IBM Research представила ALTK-Evolve — відкриту бібліотеку пам'яті агентів, що замінює повну ін'єкцію інструкцій вибірковим вилученням правил. На бенчмарку AppWorld вона досягає або перевищує точність ACE при 14–40% витрат токенів.
Вплив: Високий
Чому це важливо
Розробники багатокрокових AI-агентів можуть суттєво знизити витрати на API, запитуючи лише релевантні правила замість завантаження всієї історії в кожен крок.
TL;DR
- 01Уникайте ін'єкції монолітних плейбуків інструкцій у кожен промпт багатокрокових агентів.
- 02Зберігайте окремі операційні правила з лічильниками підтримки для відстеження довіри без втрати деталей.
- 03Використовуйте вибіркове вилучення правил за задачею, щоб зменшити витрати на контекст на 60–85%.
Ключові факти
- Вартість інференсу (сильна модель)
- ~40% від ACE
- Вартість інференсу (слабка модель)
- ~14% від ACE (1/7)
- Вибірка бенчмарку
- AppWorld test_normal (168 завдань)
- Оцінювані моделі
- DeepSeek-V3.2, gpt-oss-120b
Передача контексту проти ін'єкції плейбука
І ACE, і ALTK-Evolve погоджуються, що набутий досвід агента не слід стискати у стислі резюме, оскільки це призводить до втрати деталей. Проте ACE передає свій повний плейбук на кожному кроці. ALTK-Evolve регулює подачу контексту динамічно: передає лише невелике ядро правил із високою підтримкою та релевантні правила під задачу.
Результати на бенчмарку AppWorld
На вибірці test_normal бенчмарку AppWorld з базовою моделлю DeepSeek-V3.2, ALTK-Evolve випередив ACE за точністю виконання завдань на легких, складних та загальних тестах при лише 40% витрат на інференс. На gpt-oss-120b ALTK-Evolve показав таку ж точність (56.0 проти 54.8 TGC), скоротивши витрати до 1/7 (~14%).
Спробуй за 2 хвилини
from altk_evolve import MemoryStore, Retriever
store = MemoryStore.from_trajectories(trajectories)
retriever = Retriever(store, max_guidelines=5)
guidelines = retriever.get_guidelines(task=task_description)python
✓ Коли використовувати
- Багатокрокові ReAct або інфраструктурні агенти, які регулярно взаємодіють із зовнішніми API.
- Парки агентів з суворими лімітами контексту або високими витратами на API.
✕ Коли НЕ варто
- Одноразові чат-помічники або задачі без багатокрокових залежностей від інструментів.
- Сценарії без збереження стану, де минула історія не містить корисного досвіду.
Що зробити сьогодні
- Проведіть аудит промптів агентів, щоб відокремити статичні інструкції від динамічних правил.
- Протестуйте бібліотеку ALTK-Evolve Python для витягування та пошуку правил з логів виконання агентів.
Джерела