Artificial Analysis запускає бенчмарк AA-3D для генерації інтерактивного WebGL
Artificial Analysis представила AA-3D — бенчмарк для оцінки моделей під час створення інтерактивних 3D-сцен за допомогою Three.js та Blender. Claude Sonnet 5.5 та Claude Opus 5.5 очолили рейтинг за результатами 10 000 сліпих оцінок.
Чому це важливо
Використовуйте стек пісочниці AA-3D (Blender, фізика Rapier та headless-браузер) як перевірену архітектуру для вайб-кодингу інтерактивних 3D-застосунків.
TL;DR
- 01Claude Sonnet 5.5 та Opus 5.5 очолюють рейтинг створення інтерактивного 3D, розділяючи першість із GPT-6 Astra.
- 02Відкриті моделі наразі відстають від провідних комерційних рішень на понад 200 пунктів Elo у 3D-завданнях.
- 03Ефективна пісочниця для 3D-агентів вимагає трьох компонентів: зворотного зв'язку через headless-браузер, скриптів Blender та фізичного рушія (наприклад, Rapier).
Ключові факти
- Кількість протестованих моделей
- 21 модель
- Найкращий бал Elo (Claude Sonnet 5.5)
- 1194 Elo
- Друге місце (Claude Opus 5.5)
- 1190 Elo
- Найкраща відкрита модель (Kimi K3)
- 982 Elo
- Вартість генерації сцени
- Від $0.20 до $32.08
- Ліміт кроків агента
- 250 кроків, 3 години
Методологія тестування AA-3D
Бенчмарк AA-3D перевіряє здатність LLM створювати комплексні фронтенд 3D-застосунки. Кожна модель працює як автономний агент в ізольованій пісочниці, що містить:
- Роботу з геометрією: Blender і Python для параметричної обробки 3D-об'єктів, а також бібліотеку CC0-моделей і матеріалів.
- Фізику реального часу: Рушій Rapier для симуляції твердих тіл і колізій у браузері.
- Цикл самоперевірки: Headless-браузер, через який агент робить скріншоти та перевіряє помилки рендерингу впродовж до 250 кроків.
- Обмеження: До трьох годин обчислень на сцену в 55 стандартизованих завданнях.
Результати рейтингу та відставання відкритих моделей
Більше 1 000 учасників оцінили сцени у сліпому порівнянні, зробивши понад 10 000 голосувань. Верхівку таблиці зайняли провідні комерційні моделі:
1. Claude Sonnet 5.5: 1194 Elo 2. Claude Opus 5.5: 1190 Elo 3. GPT-6 Astra: 1165 Elo 4. Claude Fable 5.1: 1131 Elo
Моделі з відкритими вагами суттєво відстали: Kimi K3 зайняла 11-те місце з 982 Elo, а MiMo-V2.6-Pro — 12-те з 977 Elo. Кореляція між індексом інтелекту та балами AA-3D склала 0.92 (приблизно 18 пунктів Elo за кожен бал інтелекту).
Витрати на генерацію для розробників
Вартість токенів на створення однієї сцени варіюється від $0.20 до $32.08. Восьме місце посіла модель GPT-6 Luna, яка виявилася найдешевшою серед лідерів.
Спробуй за 2 хвилини
{
"agent_environment": {
"runtime": "node-22",
"headless_browser": "playwright-chromium",
"libraries": ["three", "@dimforge/rapier3d-compat"],
"tools": ["blender_headless_cli", "python3_script_runner"],
"max_turns": 250
}
}json
✓ Коли використовувати
- Вайб-кодинг інтерактивних веб-прототипів, браузерних ігор та візуалізацій на Three.js.
- Побудова пісочниць для автономних агентів, які потребують самоперевірки коду через скріншоти.
✕ Коли НЕ варто
- Генерація статичних 2D-зображень, де потрібні дифузійні моделі замість коду 3D-сцени.
- Розробка звичайних бекенд REST API, які не потребують візуалізації в браузері чи обробки WebGL.
Що зробити сьогодні
- Додайте headless-браузер Chromium у пісочницю агентів для візуальної перевірки коду WebGL та Three.js перед рендерингом.
- Підключайте документацію рушіїв на зразок Rapier у системні промпти при запиті інтерактивної фізики на канвасі.
- Обирайте Claude Sonnet 5.5 або бюджетніші моделі для балансу ціни та якості при прототипуванні 3D-інтерфейсів.