Oleksandr Kuzmenko, РедакторОпубліковано 6 хв читанняЗа участі AI · перевірено редактором
TL;DR
- StateBench визначає чотири рівні алгебраїчної складності для перевірки відстеження стану сутностей у довгому контексті.
- Провідні моделі (Claude Opus 5.5, Gemini 3.8 Flash) втрачають точність до <=13% на довгих послідовностях взаємозалежних змін.
- Архітектури Gated DeltaNet та гібридні моделі екстраполюють надійність до 250 разів від тренувальної довжини контексту.
- Класичні трансформери повністю втрачають здатність вирішувати задачі рівня General Finite на довгих ланцюжках.
Ключові факти
- Точність топових моделей
- Падає до 13% і менше на задачах general finite
- Максимальна тестова довжина
- 64 000 операцій (у 250 разів більше за навчальну)
- Протестовані комерційні моделі
- Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol і Luna
- Бенчмарк
- StateBench (Allen AI)
Чотири рівні складності StateBench
Бенчмарк оцінює надійність пам'яті моделей за чотирма типами операцій: 1. R-trivial: Незмінне присвоєння (let x = 4), що вимагає лише знаходження первинного значення. 2. Aperiodic: Присвоєння нового фіксованого значення (x = 4, згодом x = 2), де важливо знайти останній запис. 3. Soluble: Накопичувальні зміни (x = x + 5), де кожен крок залежить від попереднього. 4. General Finite: Присвоєння за посиланням (x = y або взаємна перестановка), що відповідає задачі перестановок $S_5$.
Падіння точності топових моделей до 13%
На тестах із довгим контекстом комерційні моделі (Claude Opus 5.5, Gemini 3.8 Flash, GPT-6 Sol і Luna) демонструють стабільні результати на перших двох рівнях. Проте на рівнях Soluble та General finite їхня точність падає до 13% і менше через накопичення помилок у довгих ланцюжках залежностей.
Трансформери проти гібридних архітектур
Щоб відокремити архітектурні ліміти від впливу навчальних даних, дослідники натренували моделі розміром 275M параметрів на послідовностях до 256 операцій, а протестували на 64 000 операцій (у 250 разів більше). Архітектури Gated DeltaNet та гібридні моделі зберегли високу точність на десятках тисяч кроків, тоді як класичні трансформери повністю втратили працездатність на рівні General finite.
Коли використовувати
- При оцінці моделей для аналізу коду, інтерпретації багатокрокових дій або відстеження сутностей у книгах і документах.
- При виборі між чистими трансформерами та гібридними архітектурами для роботи з наддовгим контекстом.
Коли НЕ варто
- Для простих статичних завдань пошуку (RAG), де значення сутностей не змінюються в часі.
- У коротких контекстах (до кількох сотень токенів), де класичні трансформери не зазнають деградації.
Що зробити сьогодні
- Протестуйте пайплайни аналізу довгих документів на стійкість до накопичення помилок у ланцюжках залежностей за методологією StateBench.
- Зверніть увагу на гібридні або рекурентні архітектури для задач, що вимагають багаторазового оновлення стану сутностей.
Назви кроків узяті з блоку «Що зробити сьогодні».
Назви кроків узяті з блоку «Що зробити сьогодні». Протестуйте пайплайни аналізу довгих документів на стійкість до накопичення помилок у ланцюжках залежностей за методологією StateBench.. Зверніть увагу на гібридні або рекурентні архітектури для задач, що вимагають багаторазового оновлення стану сутностей.
- Протестуйте пайплайни аналізу довгих документів на стійкість до накопичення помилок у ланцюжках залежностей за методологією StateBench.
- Зверніть увагу на гібридні або рекурентні архітектури для задач, що вимагають багаторазового оновлення стану сутностей.