TypeSafe випускає модель Jev для неавторегресійної програмної логіки
Стартап TypeSafe, заснований співвинахідником ChatGPT Діогу Алмейдою, представив Jev для виконання структурованих рішень безпосередньо в коді без генерації тексту. Архітектура паралельного семплювання повертає типобезпечні значення за 70–500 мс із ціною 4,2 цента за мільйон вхідних токенів.
Вплив: Високий
Чому це важливо
Ви можете замінити повільні й дорогі виклики чат-моделей у циклах агентів на детермінований роутинг із субсекундною затримкою без галюцинацій.
TL;DR
- 01Jev замінює авторегресійний текст паралельним семплюванням для типобезпечних рішень за 70–500 мс.
- 02Ціна становить $0,042 за мільйон вхідних токенів, тоді як вихідні токени повністю безкоштовні.
- 03Тренування RLCD калібрує ймовірності моделі безпосередньо під точність логічного виконання.
Ключові факти
- Ціна вхідних токенів
- $0,042 за 1M токенів
- Ціна вихідних токенів
- $0 (без тарифікації)
- Затримка відповіді
- 70–500 мс (внутрішній тест)
- Прискорення виконання
- До 193,6x швидше за frontier-моделі (дані розробника)
- Максимум опцій вибору
- До 255 дискретних варіантів
Відмова від генерації тексту на користь програмних рішень
Бекенд-пайплайни часто звертаються до чат-моделей лише для вибору дії чи енума. Компанія TypeSafe AI на чолі зі співвинахідником ChatGPT Діогу Алмейдою випустила модель Jev — спеціалізовану System One систему, створену для усунення текстових рядків із циклу прийняття рішень. Замість авторегресійного передбачення токенів Jev приймає неструктурований стан програми та видає типізовані структуровані значення за один паралельний запит.
Паралельний семплер і калібрування через RLCD
Замість звичного RLHF модель тренується за допомогою Reinforcement Learning for Calibrated Decisions (RLCD). Це гарантує, що показники впевненості безпосередньо корелюють із точністю виконання коду. Апаратний паралельний семплер оцінює до 255 дискретних варіантів за двоетапною схемою підрахунку скорингу, строго обмежуючи вивід заданою схемою без потреби у валідаторах.
Затримка, тарифікація та реальні сценарії
Внутрішні тести демонструють затримку відповіді на рівні 70–500 мілісекунд проти 3–329 секунд у традиційних чат-моделей. На фіксованих обчислювальних графах швидкість виконання рішень зросла до 193,6 раза.
Вартість обробки вхідних даних становить $0,042 за мільйон токенів (проти $0,20–$10 у конкурентів). Оскільки паралельне семплювання не потребує авторегресійних проходів, плата за вихідні токени взагалі відсутня. Під час тестування ігрового бота Doom на 10 запитах на секунду витрати склали близько $7 на годину. Доступ для розробників уже відкрито через список очікування.
Спробуй за 2 хвилини
curl -X POST https://api.typesafe.ai/v1/decide -H 'Authorization: Bearer $TYPESAFE_API_KEY' -H 'Content-Type: application/json' -d '{"state": "queue_depth=420 latency_p99=850ms error_rate=0.04", "options": ["scale_up", "throttle_inbound", "maintain", "failover"]}'bash
✓ Коли використовувати
- Заміна повільних викликів чат-моделей у роутингу агентів, витяганні ознак і логічних розгалуженнях.
- Високонавантажена класифікація подій, де обов'язкові типобезпечність та повна відсутність галюцинацій.
- Чутливі до бюджету пайплайни з великим обсягом вхідного контексту, що потребують субсекундних відповідей.
✕ Коли НЕ варто
- Генерація відкритих діалогів, написання текстів або користувацькі чати.
- Синтез коду, що вимагає покрокового авторегресійного міркування та створення багаторядкових скриптів.
- Задачі, результати яких вимагають неструктурованого виводу у довільному текстовому форматі.
Що зробити сьогодні
- Подати заявку до списку очікування TypeSafe для тестування Jev у навантажених пайплайнах рішень.
- Провести аудит агентів і знайти місця, де чат-моделі використовуються лише для вибору з переліку значень.
- Порівняти затримку поточних графів маршрутизації із показниками Jev у 70–500 мс.
Джерела