Оптимізація токенів
Anthropic відкрила GPU-ядра від Claude, що прискорюють інференс у 4 рази
Anthropic виклала у відкритий доступ код оптимізації для понад 30 open-source біологічних моделей, досягнувши 4-кратного прискорення інференсу. Оптимізації згенеровані автономно моделлю Claude через написання кастомних GPU-ядер.
18 вересня 2026 р. 3 хв читання
Куратор Oleksandr Kuzmenko, AI Product EngineerОновлено 18 вересня 2026 р.Джерела вказані в кожному матеріалі
За участі AI · перевірено редакторомЯк ми використовуємо AI
Вплив: Середній
Чому це важливо
Ви можете вивчити та використати патерни генерації GPU-ядер від Claude для скорочення затримок і витрат на хмарні обчислення у власних пайплайнах.
TL;DR
- 01Claude автономно спроєктувала та скомпілювала кастомні GPU-ядра для понад 30 моделей.
- 02Досягнуто 4-кратного середнього прискорення інференсу для спеціалізованих архітектур.
- 03Усі згенеровані оптимізації та код ядер опубліковано у відкритому репозиторії.
Ключові факти
- Середній приріст швидкості
- 4x (за даними вендора)
- Кількість оптимізованих моделей
- 30+ open-source моделей
- Автор коду
- Claude (автономна генерація ядер)
- Доступність
- Відкритий код
Автономна генерація низькорівневого GPU-коду Спеціалізовані нестандартні архітектури часто стикаються з падінням швидкодії на сучасному залізі через відсутність злиття операторів (kernel fusion) та використання неоптимальних стандартних бібліотек. Anthropic використала Claude для профілювання затримок, оптимізації роботи з пам'яттю та написання низькорівневих GPU-ядер. Згенеровані рішення забезпечили середнє 4-кратне прискорення для 30+ відкритих моделей. ### Відкритий шаблон для інженерів оптимізації Anthropic виклала у відкритий доступ весь репозиторій оптимізованих ядер і тестових бенчмарків. Окрім біоінформатики, ці матеріали демонструють практичний патерн: як використовувати агентів на кшталт Claude Code для розробки високоефективних ядер Triton або CUDA під специфічні нейромережеві оператори.
Спробуй за 2 хвилини
git clone https://github.com/anthropics/anthropic-science-opt && cd anthropic-science-opt && pip install -r requirements.txtbash
✓ Коли використовувати
- Розробка кастомних оптимізованих ядер для нестандартних архітектур.
- Порівняння автоматично згенерованого коду ядер із рукописним кодом на CUDA.
- Зменшення затримок у пакетній обробці на базі спеціалізованих моделей.
Що зробити сьогодні
- Склонуйте репозиторій оптимізацій Anthropic та дослідіть структуру згенерованих ядер.
- Знайдіть найповільніші кастомні оператори у власних пайплайнах PyTorch або Triton.
- Використайте Claude Code із сигнатурами ваших функцій для створення злитих CUDA/Triton ядер.
#Claude#CUDA#Triton
Джерела