Oleksandr Kuzmenko, РедакторОпубліковано 5 хв читанняЗа участі AI · перевірено редактором
TL;DR
- Моделі рішень працюють до 90 разів дешевше ($0.05-$0.10 за 1 тис. записів) і в 10 разів швидше (0.15 с) за флагмани.
- Калібрування помилок важливіше за абсолютну точність при побудові каскадів маршрутизації.
- Гібридна схема з фільтрацією через Jev та ескалацією до Claude Opus знижує витрати на API у понад 4 рази без втрати точності.
Ключові факти
- Вартість моделі рішень
- $0.05 - $0.10 за 1 000 ідентифікаторів
- Затримка моделі рішень
- 0.15 - 0.17 секунди
- Точність Jev
- 95.7% (при порозі 60%)
- Точність GPT-6 Luna
- 97.3% (при порозі 70%)
- Економія гібридної схеми
- >4x порівняно з чистим Opus
Економіка спеціалізованих моделей рішень
Автоматизація перевірки якості даних, таких як дедуплікація та резолюція профілів клієнтів (IDR), вимагає перевірки, чи належать об'єднані записи одній реальній людині. Флагманські моделі на кшталт Claude Opus демонструють найвищу точність у складних сценаріях, але ціна токенів та затримка роблять аудит 100 000 записів повільним та витратним.
Моделі рішень Jev та GPT-6 Luna є окремим класом інференсу, що повертає нормалізований бал впевненості (від 0 до 1) замість текстового виводу. Вони обробляють запит за 0.15–0.17 с за ціною $0.05–$0.10 на 1 000 записів, що до 90 разів дешевше за флагманські LLM.
Калібрування впевненості для гібридного інференсу
Хоча Luna показала 97.3% базової точності проти 95.7% у Jev, модель Jev виявилася значно краще відкаліброваною для каскадної архітектури. Помилки Jev супроводжувалися низьким рівнем впевненості, тоді як помилки Luna мали високий бал, що ламало логіку порогових перевірок.
Використовуючи Jev як первинний фільтр із порогом 60% і направляючи невпевнені кейси в Claude Opus, інженери Hightouch зберегли еталонну точність на бенчмарках, знизивши загальні витрати на інференс у понад чотири рази.
Спробуй за 2 хвилини
async def evaluate_identity(records, confidence_cutoff=0.60):
# Fast decision pass
decision = await jev.evaluate(records=records)
if decision.confidence >= confidence_cutoff:
return decision.is_valid
# Fallback to frontier model for ambiguous cases
return await claude_opus.evaluate(records=records)Коли використовувати
- Масове оцінювання (>10 000) результатів екстракції чи класифікації, коли флагманські LLM виходять за межі бюджету.
- Запуск безперервних CI/CD пайплайнів оцінювання результатів роботи агентів у продакшені.
- Задачі, де помилки моделі чітко корелюють із низьким рівнем впевненості.
Що зробити сьогодні
- Проведіть аудит поточних задач оцінювання та класифікації на можливість переведення їх у скалярний формат рішень.
- Побудуйте криву калібрування впевненості на вибірці крайових випадків перед вибором легкої моделі класифікатора.
- Налаштуйте шар маршрутизації за порогом впевненості, щоб розвантажити дорогі флагманські моделі від очевидних запитів.
Назви кроків узяті з блоку «Що зробити сьогодні».
Назви кроків узяті з блоку «Що зробити сьогодні». Проведіть аудит поточних задач оцінювання та класифікації на можливість переведення їх у скалярний формат рішень.. Побудуйте криву калібрування впевненості на вибірці крайових випадків перед вибором легкої моделі класифікатора.. Налаштуйте шар маршрутизації за порогом впевненості, щоб розвантажити дорогі флагманські моделі від очевидних запитів.
- Проведіть аудит поточних задач оцінювання та класифікації на можливість переведення їх у скалярний формат рішень.
- Побудуйте криву калібрування впевненості на вибірці крайових випадків перед вибором легкої моделі класифікатора.
- Налаштуйте шар маршрутизації за порогом впевненості, щоб розвантажити дорогі флагманські моделі від очевидних запитів.
Що каже спільнота
It could make sense to use a cheap model to decide if you need to run a long, high effort or otherwise costly effort. Then you can take many decisions at low cost, but think hard when it’s time.