Оцінка дванадцяти провідних моделей у багатторазовому змаганні з кодингу застосунків
У межах масштабного тестування 12 провідних моделей отримали по 5 спроб на створення 4 складних візуальних застосунків. Результати показали перевагу моделей GPT у 3D-графіці, тоді як Claude Fable 5 лідирує в естетиці та дизайні. Звіт надає реальні дані про нестабільність генерації, вартість та відсоток помилок.
Вплив: Середній
Чому це важливо
Ви можете переглянути згенерований код і аналіз витрат, щоб вибрати найбільш надійну модель для конкретних завдань вайб-кодингу, як-от 3D-фізика чи стилізовані інтерфейси.
TL;DR
- 01Багаторазове тестування виявило високу варіативність генерації коду; ніколи не довіряйте одному запиту для складних візуальних застосунків.
- 02Claude Fable 5 залишається найкращою моделлю для складних інтерфейсів та стабільного CSS-стилювання.
- 03GPT-5.6 Sol найкраще підходить для складної алгоритмічної логіки та тривимірних обчислень, таких як рейкастинг.
- 04Маршрутизація простих шаблонних завдань на Qwen 3.7 Plus дозволяє скоротити витрати на токени до 95%.
Ключові факти
- Вартість рейкастера на Sol
- $1.35 (5 спроб)
- Результат Fable 5 з кубиком
- 5/5 чистих збирань
Проблема варіативності від запуску до запуску
Бенчмарки з однією спробою часто приховують, наскільки нестабільними можуть бути результати генерації коду. У цьому дослідженні кожна модель намагалася побудувати один і той самий застосунок 5 разів. Результати свідчать, що покладатися на один промт у розробці небезпечно. Навіть найдорожчі моделі іноді видавали зламані артефакти. Наприклад, GPT-5.6 Sol в одній із спроб видав повністю чорний кубик Рубика, а Muse Spark 1.1 завалив три спроби з п'яти для рейкастера, хоча дві інші були видатними.
Продуктивність та аналіз вартості
Тестування показало чітку спеціалізацію моделей:
- Псевдотривимірний рейкастер: GPT-5.6 Sol досяг ідеальних 5/5 за іграбельністю, витративши $1.35 за п'ять спроб із середнім часом 120 секунд. Grok 4.5 також показав 5/5 за значно менші гроші ($0.27).
- 3D кубик Рубика: Claude Fable 5 став єдиною моделлю з результатом 5/5 для бездоганного збирання з ідеальною анімацією, що коштувало $2.03. Навпаки, GPT-5.6 Luna не видав жодного чистого результату (0/5), оскільки анімація перемішування ламала візуальний стан.
- Калькулятор: Claude Fable 5 та Opus 4.8 набрали 5/5. GPT-5.6 Sol спробував створити надто складний стиль, через що на деяких запусках зсувалися елементи.
Використання відкритих моделей для простих інтерфейсів
Для відомих завдань, як-от гра «Життя», відкриті моделі Qwen 3.7 Plus та GLM-5.2 впоралися ідеально за мізерну ціну. Qwen 3.7 Plus виконав завдання з калькулятором всього за $0.04 за п'ять спроб за 12 секунд. Це доводить, що перенаправлення простих завдань інтерфейсу на локальні або відкриті моделі дозволяє кардинально оптимізувати витрати розробника.
✓ Коли використовувати
- При виборі провідної моделі для автономної розробки інтерфейсів та швидкого прототипування.
- При розрахунку бюджету витрат на токени для агентних робочих процесів, що будують інтерфейси.
✕ Коли НЕ варто
- Не підходить як остаточне наукове оцінювання архітектури моделей.
- Не застосовується для оцінки бекенд-систем, які не мають користувацького інтерфейсу.
Що зробити сьогодні
- Запускайте генерацію складного візуального коду принаймні тричі, щоб оцінити стабільність макета та стану.
- Використовуйте Grok 4.5 як дешевшу альтернативу для коду з 3D-фізикою, якщо GPT-5.6 занадто дорогий для ітеративного тестування.
Що каже спільнота
“One-shot benchmarks are great for me as a solo creator, since they slightly correlate to whether the better frontier models (Opus and Fable for me) make better decisions about things I didn't spec”
“I gave up on Grok. It constantly ignores explicit instructions (e.g. do NOT remove existing comments) and it's not nearly as intuitive in knowing the right questions to ask”
“I imagine one could one-shot a basic app and then feed feature requests one by one, sounds like an obvious way to benchmark architecture/maintainability”
Джерела