Oleksandr Kuzmenko, РедакторОпубліковано 6 хв читанняЗа участі AI · перевірено редактором
Чому це важливо
Перевірте власні мультидокументні RAG-пайплайни на виявлення прихованих залежностей перед запуском автономних агентів у бізнес-процесах.
TL;DR
- 01Найкращі сучасні моделі показали результат лише 10,8% у реалістичних мультидокументних сценаріях.
- 02Агенти коректно рахують надані цифри, але не помічають прихованих часових рамок та правових обмежень.
- 03Робота з різнорідними файлами (Excel, скани квитанцій, листи) спричиняє критичні помилки контексту.
Ключові факти
- Успішність Claude Sonnet 5.5
- 10,8% (за даними Surge AI)
- Успішність Claude Fable 5.1
- 9,6% (за даними Surge AI)
- Успішність Claude Opus 5.5
- 9,2% (за даними Surge AI)
- Кількість файлів у бенчмарку
- 1 789 файлів у 50 сценаріях
- Поріг зарахування результату
- 95% відповідності критеріям
Відхід від синтетичних тестів
Більшість існуючих бенчмарків перевіряють роботу LLM на ізольованих юридичних запитаннях із повним контекстом у промпті. Бенчмарк DAYJOB: Tax від Surge AI тестує реальні робочі процеси, де первинний запит користувача може бути неповним або хибним. Агентам доручається підготувати повний пакет звітності, розрахункові таблиці та консультаційні висновки для 50 реалістичних сценаріїв.
Масштаб середовища та неструктуровані дані
Тестовий набір містить 1 789 файлів. Медіанне навантаження складає 30 документів на задачу, а в найскладніших — до 123 файлів. До складу робочих просторів входять:
- Формати: 1 487 PDF-файлів, 117 таблиць Excel, 38 документів Word, а також логи, CSV, листування та зображення.
- Складні артефакти: Фотографії рукописних квитанцій, які необхідно розпізнати та співставити з витратами в обліковій системі.
- Приховані колізії: Журнали виїздів ремонтних бригад у п'яти різних штатах, що спростовують слова клієнта про діяльність лише в одному регіоні.
Результати тестування та обмеження моделей
Оцінка проводилася за метрикою pass@1 із порогом відповідності критеріям 95% (точність розрахунків, робота з доказами, виявлення непрямих ризиків):
- Claude Sonnet 5.5: 10,8% успішних спроб (найвищий результат).
- Claude Fable 5.1: 9,6% успішних спроб.
- Claude Opus 5.5: 9,2% успішних спроб.
Моделі систематично ігнорували критичні терміни закінчення пільг і спиралися на неперевірені вхідні дані, якщо їм не давали прямої вказівки провести перевірку. Це підтверджує необхідність обов'язкового контролю інженером при автоматизації критичних бізнес-задач.
✓ Коли використовувати
- Тестування автономних агентів, що працюють із архівами неструктурованих документів та фінансовими звітами.
- Стрес-тестування здатності моделі виявляти приховані фактори без прямої підказки від користувача.
✕ Коли НЕ варто
- Оцінка простого дописування коду або генерації синтаксичних конструкцій у zero-shot режимі.
- Сценарії, де вхідні дані проходять сувору валідацію за схемою та не містять неоднозначностей.
Що зробити сьогодні
- Додайте неструктуровані мультифайлові архіви до тестових наборів ваших агентів замість ідеально очищеного контексту.
- Впровадьте в системні промпти обов'язковий етап валідації припущень перед виконанням фінальних дій.
Що каже спільнота
“In the U.S, in the eyes of the IRS, you are liable for your return. But you can sue the accountant in civil court, and you likely won't have to if you can prove to them an error was made.”
“I prepare my own tax returns... and have for the past few years, fed my draft return along with all the supporting paperwork into Claude. It has: 1. found errors... 2. found items which would appear to be errors except for context”