Tracelint замінює LLM-суддів детермінованими перевірками трейсів OpenInference у CI
Tracelint — це відкритий інструмент для перевірки трейсів виконання агентів OpenInference без звернення до LLM-суддів. Він виявляє порушення схем, виклики відсутніх інструментів і дії з побічними ефектами після помилок, повертаючи стандартні коди виходу для CI/CD.
Чому це важливо
Ви можете ловити регресії агентів та некоректні виклики інструментів у GitHub Actions без витрат на запити до сторонніх моделей і без ризику хибних вердиктів.
TL;DR
- 01Використовуйте детерміновані перевірки замість дорогих LLM-суддів для валідації структурних дій агентів.
- 02Позначайте інструменти з побічними ефектами та вказуйте маркери помилок, щоб повертати код 2 у CI.
- 03Евристики на кшталт повторних викликів виносяться окремо, щоб не перевантажувати білд хибними спрацьовуваннями.
Ключові факти
- Підтримуваний стандарт телеметрії
- OpenInference (сумісний із Phoenix та LangGraph)
- Код виходу за критичної помилки
- Exit code 2
- Механізм перевірки
- Детермінований статичний аналіз без виклику сторонніх LLM
Усунення ненадійних LLM-суддів у CI
Оцінювання роботи агентів часто страждає від нестабільності та додаткових витрат на токени, коли перевірку довіряють іншій мовній моделі. Tracelint виконує статичний аналіз спанів виконання стандарту OpenInference. Якщо трейс показує, що збірка повернула статус UNSTABLE або FAILURE, але агент усе одно передає ідентифікатор у наступну дію з побічним ефектом (наприклад, команду деплою), tracelint миттєво фіксує помилку.
Детерміновані правила проти кандидатів на рев'ю
Інструмент ділить виявлені проблеми на три категорії:
- Hard defects: Доведені дефекти, такі як порушення JSON-схеми аргументів, виклик неіснуючих інструментів або передача статусу з помилкою в інструменти з прапорцем
"side_effecting": true. CLI повертає код виходу2і зупиняє пайплайн. - Candidates: Потенційні аномалії, які можуть бути валідними повторними спробами (retry) або опитуванням статусу. Вони показуються розробнику, але не ламають білд.
- Not checked: Дії, для яких не вказано предикат
failure_when, щоб уникнути хибнопозитивних підтверджень успіху.
Початковий конфіг правил можна згенерувати автоматично з наявного трейсу командою tracelint init spans.json --format openinference -o tools.json.
Спробуй за 2 хвилини
tracelint check spans.json --format openinference --tools tools.jsonbash
✓ Коли використовувати
- Контроль безпеки перед виконанням агентом операцій із побічними ефектами (запис у базу, релізи).
- Швидкі регресійні тести дій агентів без грошових витрат на виклики API у CI.
✕ Коли НЕ варто
- Оцінювання семантичної якості відповідей або стилю тексту, де необхідне контекстне розуміння мови.
- Проєкти без структурованої телеметрії стандарту OpenInference або схем інструментів.
Що зробити сьогодні
- Налаштуйте експорт трейсів агента у форматі OpenInference у ваших тестах.
- Згенеруйте базовий конфіг інструментів командою tracelint init.
- Додайте запуск tracelint check spans.json у кроки вашого CI-пайплайну.