Oleksandr Kuzmenko, РедакторОпубліковано 5 хв читанняЗа участі AI · перевірено редактором
TL;DR
- llama.cpp та ggml офіційно перейшли на SemVer; ламаючі зміни публічного C API в ./include гарантовано підніматимуть мажорну версію.
- Апаратні бекенди можна компілювати як окремі динамічні бібліотеки та завантажувати run-time.
- Двигун підтримує понад 150 архітектур моделей і вбудовані методи спекулятивного декодування.
Ключові факти
- Підтримувані архітектури
- Понад 150 варіантів
- Період розробки
- 3,5 роки
- Межа стабільності API
- ./include (публічний C API)
- Підтримуване залізо
- NVIDIA, AMD, Qualcomm, Arm, IBM, Intel
Джерело: Ключові факти — Період розробки
Джерело: Ключові факти. Період розробки: 3,5 роки. Кожне число скопійоване з історії.
- Період розробки3,5 роки
Суворий SemVer для стабільності залежностей
Після трьох з половиною років активної розробки команда ggml-org представила версії llama.cpp v1.0.0 та ggml v1.0.0. Оскільки проєкт виріс із аматорських скриптів до основи комерційних десктопних систем та автономних агентів, стабільність API стала ключовою. Відтепер будь-які зміни в публічному C API у теці ./include, що порушують зворотну сумісність, супроводжуватимуться зміною мажорної версії, тоді як нові моделі та оптимізації виходитимуть у мінорних релізах.
Модульні динамічні бекенди для будь-якого заліза
Тензорний рушій ggml остаточно відокремив апаратні цілі у виділені бекенди, які можна збирати як незалежні динамічні бібліотеки та завантажувати за потреби під час виконання. Архітектура підтримує апаратне прискорення для чипів NVIDIA, AMD, Qualcomm, Arm, IBM та Intel. Додатково команда масштабувала систему безперервної інтеграції (CI) за допомогою Hugging Face Jobs і self-hosted раннерів для перевірки збірок під кожну цільову платформу.
Охоплення архітектур і спекулятивне декодування
Реліз 1.0.0 зберігає оптимізовану підтримку понад 150 архітектур нейромереж, включно з щільними трансформерами, моделями суміші експертів (MoE) та мультимодальними мережами. Також у ядрі стандартизовано передові алгоритми спекулятивного декодування, що дозволяє суттєво пришвидшувати генерацію токенів без потреби створювати власні форки.
Спробуй за 2 хвилини
git clone --branch v1.0.0 https://github.com/ggml-org/llama.cpp
cd llama.cpp && cmake -B build -DGGML_BACKEND_DL=ON
cmake --build build --config ReleaseКоли використовувати
- Вбудовування локального або конфіденційного інференсу в десктопний чи мобільний софт.
- Запуск квантованих мультимодальних моделей на власному залізі без залежності від Python.
- Розробка кросплатформних агентів, що потребують швидкого холодного старту та низького споживання пам'яті.
Що зробити сьогодні
- Зафіксуйте залежність свого проєкту від llama.cpp на тегу v1.0.0 у git submodules або скриптах CMake.
- Перевірте власні C/C++ інтеграції на відповідність публічним заголовкам у теці ./include.
- Спробуйте компіляцію апаратних бекендів як динамічних бібліотек для зменшення розміру бінарників.
Назви кроків узяті з блоку «Що зробити сьогодні».
Назви кроків узяті з блоку «Що зробити сьогодні». Зафіксуйте залежність свого проєкту від llama.cpp на тегу v1.0.0 у git submodules або скриптах CMake.. Перевірте власні C/C++ інтеграції на відповідність публічним заголовкам у теці ./include.. Спробуйте компіляцію апаратних бекендів як динамічних бібліотек для зменшення розміру бінарників.
- Зафіксуйте залежність свого проєкту від llama.cpp на тегу v1.0.0 у git submodules або скриптах CMake.
- Перевірте власні C/C++ інтеграції на відповідність публічним заголовкам у теці ./include.
- Спробуйте компіляцію апаратних бекендів як динамічних бібліотек для зменшення розміру бінарників.
Що каже спільнота
Let's go!!
THIS
