Кастомний чип OpenAI Jalapeño пройшов бенчмарки: 1400 токенів за секунду на відкритих моделях
Спеціалізований чип OpenAI Jalapeño для інференсу продемонстрував понад 700 токенів/с на DeepSeek R1 та 1400 токенів/с на GPT-OSS під час лабораторних бенчмарків. Завдяки пам'яті HBM4 він перевершує Nvidia Blackwell за виходом токенів на мегават.
Чому це важливо
Спільна оптимізація апаратного та програмного забезпечення стрімко знижує затримку інференсу моделей міркування, забезпечуючи надшвидку роботу агентів у реальному часі.
TL;DR
- 01Чип OpenAI Jalapeño досягає від 700 до 1400 токенів/сек на відкритих моделях міркування в лабораторних тестах.
- 02Використання пам'яті HBM4 забезпечує максимум пропускної здатності на мегават енергії в умовах дефіциту потужностей дата-центрів.
- 03Поточні результати отримані на короткому контексті 8k; тестування тривалого контексту в реальних агентах ще триває.
Ключові факти
- Архітектура
- Кастомний ASIC для інференсу з пам'яттю HBM4
- Пропускна здатність DeepSeek R1
- >700 токенів/сек на користувача (Concurrency 1, за даними розробника)
- Пропускна здатність GPT-OSS / Kimi K2.5
- ~1400 токенів/сек на користувача (за даними розробника)
- Цикл розробки
- 16 місяців від збору команди до передачі на фабрику (tape-out)
- Набір бенчмарків
- InferenceX v3 (одноходова оцінка 8k1k)
Архітектура апаратного забезпечення та терміни
OpenAI у співпраці з Broadcom розпочала розробку Jalapeño у середині 2024 року, пройшовши шлях від концепту до передачі на фабрику (tape-out) приблизно за 16 місяців. Чип створено спеціально для інференсу великих мовних моделей із використанням пам'яті HBM4 для ефективної роботи з вагою моделей та KV-кешем.
Показники продуктивності інференсу
Під час лабораторних випробувань у наборі оцінок InferenceX чип Jalapeño продемонстрував наступну швидкість генерації одиночних токенів без спекулятивного декодування:
- DeepSeek R1: понад
700 токенів/сек на користувачапри одночасному запиті (concurrency 1). - GPT-OSS та Kimi-K2.5: близько
1400 токенів/сек на користувача. - Тести GSM8k: точність відповідей відповідає еталонним показникам на чипах Nvidia.
Енергоефективність та застереження
Сучасні дата-центри обмежені споживанням електроенергії, тому вихід токенів на мегават (МВт) є критичним фактором. Показники Jalapeño на МВт перевищують результати Nvidia Blackwell (GB200). Проте варто враховувати, що тести проводилися на короткому контексті (8k вхід / 1k вихід), а реальні агентські навантаження з довгим контекстом (AgentX) вимагають додаткової перевірки.
✓ Коли використовувати
- Оцінка очікуваної затримки та вартості хостингу моделей наступного покоління.
- Проектування високочастотних агентських циклів, які потребують швидкості генерації понад 1000 токенів/сек.
Що зробити сьогодні
- Стежити за майбутніми незалежними тестами AgentX для оцінки затримок при роботі з довгим контекстом на нових чипах.
- Перевірити парсери потокового виводу в додатках на здатність обробляти потік понад 1000 токенів/сек без блокування інтерфейсу.
Що каже спільнота
“... better than Blackwell in this specific case; which can also lead to OpenAI creating models that will only work on their own chips; vendor lock-in.”
“Well, with proper compaction algorithm (like in Codex), it could indeed be useful for majority of tasks even in the future.”