Llmspeed симулює швидкість генерації локальних LLM перед купівлею заліза
Llmspeed — це симулятор продуктивності, який візуалізує швидкість префілу та генерації токенів на споживчих GPU, чипах з уніфікованою пам'яттю та квантованих моделях. Проєкт спирається на емпіричні вимірювання спільноти, захищаючи від помилкових витрат на залізо.
Чому це важливо
Ви можете заздалегідь перевірити, чи працюватиме обрана квантована модель в інтерактивному режимі, перш ніж витрачати кошти на нові відеокарти або ноутбуки з уніфікованою пам'яттю.
TL;DR
- 01Затримка префілу (prefill) на великих контекстах є головним вузьким місцем локальних агентів, знижуючись до 100–200 tps на вузьких шинах пам'яті.
- 02Стабільна генерація на рівні ~20 tps досяжна навіть на застарілому залізі за умови прогрітого KV-кешу.
- 03Попередня симуляція заліза захищає від придбання конфігурацій із недостатньою пропускною здатністю пам'яті.
Ключові факти
- Джерела даних
- Бенчмарки спільнот r/LocalLLaMA та localscore.ai
- Профільована платформа
- AMD Ryzen AI Max+ 395 128GB (Strix Halo)
- Холодний парсинг
- 100–200 tps на базових відеокартах
- Швидкість генерації
- ~20 tps за умови прогрітого KV-кешу
Прогнозування реальної швидкості локального інференсу
Розгортання локальних моделей часто розчаровує через невідповідність між швидкістю генерації токенів і затримкою обробки вхідного контексту. Сервіс Llmspeed вирішує цю проблему, агрегуючи практичні дані спільнот r/LocalLLaMA та localscore.ai разом із розрахунками пропускної здатності шини пам'яті.
Проблема холодного старту в агентних пайплайнах
При використанні локальних інструментів на кшталт OpenCode чи LM Studio інженери стикаються з двома типами навантаження. Якщо генерація вихідного коду може видавати стабільні 20 токенів на секунду навіть на застарілих картах з 8 ГБ VRAM, то первинне читання промпту (prefill) на великих файлах просідає до 100–200 tps. Llmspeed допомагає оцінити ці затримки для систем від бюджетних GPU до чипів рівня AMD Ryzen AI Max+ 395 (128 ГБ Strix Halo).
Спробуй за 2 хвилини
curl http://localhost:1234/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{"model": "local-model", "messages": [{"role": "user", "content": "ping"}], "stream": false}' \
-w "\nTotal Time: %{time_total}s | TTFT: %{time_starttransfer}s\n"bash
✓ Коли використовувати
- Перед купівлею комп'ютерів з уніфікованою пам'яттю (Strix Halo, Mac Studio) або споживчих GPU для локальної розробки.
- Під час вибору формату квантизації GGUF для забезпечення комфортної швидкості автономного кодингу.
✕ Коли НЕ варто
- Якщо ви використовуєте виключно хмарні API (Claude 3.5 Sonnet чи GPT-4o), де робота заліза повністю прихована вендором.
- Коли потрібен детальний розрахунок розподіленого спекулятивного декодування для кластерів із кількома GPU.
Що зробити сьогодні
- Перевірте заплановану апаратну конфігурацію на llmspeed.dev для оцінки швидкості обробки промпту та генерації.
- Протестуйте поточне локальне середовище за допомогою curl до локального OpenAI-сумісного сервера для вимірювання TTFT.
- Знизьте рівень квантизації моделі, щоб контекст агента повністю поміщався у VRAM без скидання у повільну системну пам'ять.
Що каже спільнота
“20 tps generation is okay and letting it chug away on my local kubernetes cluster to troubleshoot is pretty nice. First start is pretty slow though, parsing is around 100-200 tps.”
“At least it was quite amazing to see the difference between CPU-based and even this crappy GPU-based inference when trying out some tiny models in jan.ai.”