Oleksandr Kuzmenko, РедакторОпубліковано 5 хв читанняЗа участі AI · перевірено редактором
TL;DR
- Метрика Pass^k вимірює надійність на кожному запуску, розкриваючи збої, які маскує Mean@k.
- Пологі розподіли токенів спричиняють збої навіть при temperature 0.0 через апаратний шум хостингу.
- ALTK-Evolve створює цільові правила стабільності через black-box ресемплінг і вдвічі скорочує розрив повторюваності.
Ключові факти
- Початковий Mean@5 (GPT-4.1 AppWorld)
- 77.4%
- Початковий Pass^5 (GPT-4.1 AppWorld)
- 53.0%
- Розрив повторюваності
- 24.4 в.п.
- Pass^5 після оптимізації
- 69.0%
- Розрив після оптимізації
- 12.0 в.п.
Джерело: Ключові факти — Початковий Mean@5 (GPT-4.1 AppWorld), Початковий Pass^5 (GPT-4.1 AppWorld), Pass^5 після оптимізації
Джерело: Ключові факти. Початковий Mean@5 (GPT-4.1 AppWorld): 77.4%. Початковий Pass^5 (GPT-4.1 AppWorld): 53.0%. Pass^5 після оптимізації: 69.0%. Графік порівнює лише значення з однаковою одиницею. Кожне число скопійоване з історії.
Міні-графік метрик
- 77.4%Початковий Mean@5 (GPT-4.1 AppWorld)
- 53.0%Початковий Pass^5 (GPT-4.1 AppWorld)
- 69.0%Pass^5 після оптимізації
- Початковий Mean@5 (GPT-4.1 AppWorld)77.4%
- Початковий Pass^5 (GPT-4.1 AppWorld)53.0%
- Pass^5 після оптимізації69.0%
Джерело: Ключові факти — Розрив повторюваності, Розрив після оптимізації
Джерело: Ключові факти. Розрив повторюваності: 24.4 в.п.. Розрив після оптимізації: 12.0 в.п.. Графік порівнює лише значення з однаковою одиницею. Кожне число скопійоване з історії.
- 24.4 в.п.Розрив повторюваності
- 12.0 в.п.Розрив після оптимізації
Прихований розрив повторюваності в ШІ-агентах
Традиційні лідерборди спираються на Mean@k, але реальним робочим процесам потрібна метрика Pass^k — гарантія успіху на кожному повторенні. ReAct-агент на базі GPT-4.1 у бенчмарку AppWorld test_normal показав середню точність Mean@5 на рівні 77.4%, проте Pass^5 склав лише 53.0%. Це утворює 24.4 відсоткових пунктів розриву, коли агент непередбачувано падає на тих самих задачах.
Чому жадібне декодування не гарантує детермінізму
Навіть при temperature 0.0 поведінка моделі коливається через апаратний батчинг та неасоціативність обчислень із плаваючою комою на GPU. Якщо розподіл ймовірностей наступного токена є пологим, найменший числовий шум змінює вибір аргументу функції.
Офлайн-діагностика на базі єдиного трейсу
Consistency Analyzer у складі ALTK-Evolve виявляє нестабільні місця без розміченого датасету: 1. Відтворює кожен крок прийняття рішень через один запит на k=5 паралельних генерацій. 2. Розраховує показник узгодженості на основі варіативності відповідей без доступу до внутрішніх логітів, фіксуючи кроки з ризиком зміни поведінки. 3. Генерує цільові правила стабілізації (наприклад, вимогу перевіряти множинні результати пошуку).
Додавання таких правил у контекст скоротило розрив повторюваності на AppWorld з 24.4 до 12.0 в.п., підвищивши Pass^5 до 69.0%.
Коли використовувати
- Критично важливі агентні робочі процеси на зразок звірки фінансів або аудиту договорів, де кожен запуск має бути успішним.
Коли НЕ варто
- Прості однокрокові завдання без розгалужень та ланцюжків виклику інструментів.
Що зробити сьогодні
- Проведіть аудит наявних ReAct-агентів за метрикою Pass^k щонайменше на 5 повторних запусках.
- Впровадьте black-box ресемплінг на k генерацій для виявлення нестабільних кроків у трейсах.
Назви кроків узяті з блоку «Що зробити сьогодні».
Назви кроків узяті з блоку «Що зробити сьогодні». Проведіть аудит наявних ReAct-агентів за метрикою Pass^k щонайменше на 5 повторних запусках.. Впровадьте black-box ресемплінг на k генерацій для виявлення нестабільних кроків у трейсах.
- Проведіть аудит наявних ReAct-агентів за метрикою Pass^k щонайменше на 5 повторних запусках.
- Впровадьте black-box ресемплінг на k генерацій для виявлення нестабільних кроків у трейсах.