Edgee Compressor V2 оптимізує витрати агентів на токени завдяки тришаровому стисненню
Edgee випустила Compressor V2 — шар AI-шлюзу, який використовує три ортогональні стратегії для зменшення роздування контексту без порушення кешування промптів. Це оновлення вирішує проблему лавиноподібного зростання витрат під час тривальних сесій розробки на зразок SWE-bench.
Вплив: Середній
Чому це важливо
Оскільки ШІ-агенти виконують складні багатокрокові завдання з програмування, контекстні вікна швидко заповнюються, що призводить до різкого зростання витрат на API. Оптимізація використання контексту без втрати кешування префіксів є ключем до життєздатної економіки ШІ-агентів.
TL;DR
- 01Edgee Compressor V2 використовує три стратегії (лаконічність, скорочення площі інструментів та обрізання результатів) для зниження витрат токенів.
- 02Цей підхід не змінює статичний префікс, що гарантує сумісність із кешуванням префіксів Anthropic.
- 03Оцінка на SWE-bench Lite демонструє статистично значуще збереження токенів із низькою варіативністю в межах завдань.
Ключові факти
- Економія у версії V1
- ~10%
- Бенчмарк оцінювання
- SWE-bench Lite
- Типова кількість ходів
- 30-100 API-запитів
- Типова кількість токенів на завдання
- від 1 млн до 10 млн токенів
Три ортогональні шари стиснення
Edgee Compressor V2 розподіляє оптимізацію токенів на три незалежні рівні, створені для боротьби з різними джерелами роздування контексту агентів:
- Лаконічність (Brevity): Стискає вихідні токени моделі. Це безпосередньо цілить у найдорожчий клас токенів (вихідні) без зміни префікса.
- Скорочення площі інструментів (TSR): Оптимізує вхідний префікс шляхом спрощення каталогів та схем інструментів Model Context Protocol (MCP), які часто містять багато повторів.
- Обрізання результатів (Tool Result Trimming): Натхненний проектом RTK, цей шар видаляє багатослівні та надлишкові виводи терміналу й інструментів, накопичені за 30-100 ходів діалогу.
Збереження кешування префіксів
Ключовою архітектуртурною вимогою для агентів програмування є сумісність із кешем префіксів Anthropic. Оскільки цей кеш зав'язаний на вміст, будь-який змінений байт анулює кеш нижче за потоком. Edgee уникає цього, фокусуючи лаконічність та обрізання результатів виключно на вихідних токенах та кінці історії розмови. Статичний префікс (системний промпт та активні інструменти) залишається незмінним, що дозволяє розробникам зберігати 90% знижку на кешовані вхідні токени.
Перевірено на SWE-bench Lite
Щоб довести ефективність, Edgee запустила автономних агентів на завданнях SWE-bench Lite у кілька рандомізованих повторень для запобігання впливу холодного кешу. Вони застосували критерій знаків для парних вибірок за середніми значеннями завдань, щоб ізолювати дисперсію складності завдань (яка варіюється від 100 тис. до 12 млн токенів). У всіх випробуваннях коефіцієнт варіації в межах завдань залишався значно нижчим за поріг надійності у 20%, що підтверджує надійне та статистично значуще зниження витрат токенів.