CrucibleBench оцінює AI-агентів за допомогою MUD та викриває хиби LLM-суддів

Персистентне середовище для бенчмаркінгу агентів

CrucibleBench тестує моделі у текстовому підземеллі з 12 кімнатами, 14 предметами та 4 NPC із показниками довіри й підозри від 0 до 100. Оскільки підняті речі залишаються вилученими, а дії обмежені суворим парсером команд, кроки з галюцинованими API або некоректними переходами фіксуються алгоритмічно.

Нестабільність оцінювання за допомогою LLM-суддів

Дослідження виявило, що включення LLM-класифікатора в пайплайн оцінювання змінює рейтинги моделей до шести позицій. Узгодженість між LLM-суддею та незалежним арбітром коливалася від 21,7% до 84,8%, хоча загальний коефіцієнт Каппа показував оманливе значення 0,04.

Алгоритмічні збої у провідних моделях

Телеметрія автоматів станів виявила три ключові типи збоїв під час 50 запусків на модель:

• Зациклення діалогу: Спостерігалося у 14–66% запусків флагманських моделей, коли агент повторював команду talk без зміни стратегії.
• Взаємодія з чужою кімнатою: Grok 4 у 12% випадків звертався до неіснуючих об'єктів у порожніх кімнатах.
• Параліч дослідження: Моделі багаторазово виконували команду look або не виходили за межі 2 кімнат протягом 20+ ходів.