Оптимізація токенівВплив: Середній
Oleksandr Kuzmenko, РедакторОпубліковано 3 хв читанняЗа участі AI · перевірено редактором
TL;DR
- Claude автономно спроєктувала та скомпілювала кастомні GPU-ядра для понад 30 моделей.
- Досягнуто 4-кратного середнього прискорення інференсу для спеціалізованих архітектур.
- Усі згенеровані оптимізації та код ядер опубліковано у відкритому репозиторії.
Ключові факти
- Середній приріст швидкості
- 4x (за даними вендора)
- Кількість оптимізованих моделей
- 30+ open-source моделей
- Автор коду
- Claude (автономна генерація ядер)
- Доступність
- Відкритий код
Автономна генерація низькорівневого GPU-коду Спеціалізовані нестандартні архітектури часто стикаються з падінням швидкодії на сучасному залізі через відсутність злиття операторів (kernel fusion) та використання неоптимальних стандартних бібліотек. Anthropic використала Claude для профілювання затримок, оптимізації роботи з пам'яттю та написання низькорівневих GPU-ядер. Згенеровані рішення забезпечили середнє 4-кратне прискорення для 30+ відкритих моделей.
Відкритий шаблон для інженерів оптимізації Anthropic виклала у відкритий доступ весь репозиторій оптимізованих ядер і тестових бенчмарків. Окрім біоінформатики, ці матеріали демонструють практичний патерн: як використовувати агентів на кшталт Claude Code для розробки високоефективних ядер Triton або CUDA під специфічні нейромережеві оператори.
Спробуй за 2 хвилини
bash
git clone https://github.com/anthropics/anthropic-science-opt && cd anthropic-science-opt && pip install -r requirements.txtКоли використовувати
- Розробка кастомних оптимізованих ядер для нестандартних архітектур.
- Порівняння автоматично згенерованого коду ядер із рукописним кодом на CUDA.
- Зменшення затримок у пакетній обробці на базі спеціалізованих моделей.
Що зробити сьогодні
- Склонуйте репозиторій оптимізацій Anthropic та дослідіть структуру згенерованих ядер.
- Знайдіть найповільніші кастомні оператори у власних пайплайнах PyTorch або Triton.
- Використайте Claude Code із сигнатурами ваших функцій для створення злитих CUDA/Triton ядер.
Назви кроків узяті з блоку «Що зробити сьогодні».
Назви кроків узяті з блоку «Що зробити сьогодні». Склонуйте репозиторій оптимізацій Anthropic та дослідіть структуру згенерованих ядер.. Знайдіть найповільніші кастомні оператори у власних пайплайнах PyTorch або Triton.. Використайте Claude Code із сигнатурами ваших функцій для створення злитих CUDA/Triton ядер.
- Склонуйте репозиторій оптимізацій Anthropic та дослідіть структуру згенерованих ядер.
- Знайдіть найповільніші кастомні оператори у власних пайплайнах PyTorch або Triton.
- Використайте Claude Code із сигнатурами ваших функцій для створення злитих CUDA/Triton ядер.
#Claude#CUDA#Triton