Аналіз 9050 скриптів показав як мультисуддівські конвеєри знижують витрати на 90 відсотків

Виявлення кліше проти адаптації голосу

У бенчмарку 9050 згенерованих скриптів, оцінених за детальними рубриками після 400 годин ручного калібрування, Towards AI виявила суттєву різницю між відсутністю шаблонів і точним відтворенням стилю. Хоча GPT-6 Astra показала найвищий бал проти кліше (94.9), її відповідність голосу склала лише 82 бали (62-ге місце). Моделі лінійки Claude посіли перші 11 місць, а Opus 5.5 набрав 90.8 на максимальних міркуваннях. При цьому перехід на рівень xhigh зменшив витрати з $2.75 до $0.69 за генерацію при мінімальній зміні оцінки до 90.0.

Арбітраж генерації на відкритих моделях

Відкрита модель GLM-5.3 Flash досягла оцінки 88.2 за ціною 1.5 цента за скрипт — це у 190 разів дешевше за Opus 5.5 на максимумі. Дані доводять: запуск 10 паралельних генерацій у GLM з наступною оцінкою зовнішнім суддею дає результат на рівні Opus 5.5 за значно нижчою вартістю. Бюджети на токени ефективніше витрачати на селекцію та об'єднання секцій, а не на первинний драфтинг.

Системні упередження LLM-суддів

Дослідження виявило вимірні упередження при автоматичній оцінці: суддя на базі GPT стабільно завищував оцінку моделям OpenAI на 2.75 бала та знижував драфтам Anthropic на 2.14 бала. Суддя DeepSeek додавав близько 1 бала моделям DeepSeek та Kimi. Це підтверджує правило: для надійної фільтрації та ранжування чернеток слід застосовувати панель моделей із різних лабораторій.