Оптимізація токенів
2 хв хв · Lobsters
dasllama використовує макроси AST для прискорення розпізнавання мови на CPU у 5 разів
dasllama адаптує мову ігрових скриптів daslang від Gaijin Entertainment у рушій інференсу, що виконує розпізнавання мови на CPU у 5 разів швидше за whisper.cpp. Замінюючи ручні асемблерні ядра макросами AST та автотюнінгом, рушій досягає пікової продуктивності без C++ чи сторонніх шейдерів.
Чому це важливо. Ви можете запускати локальне розпізнавання мови та інференс LLM з низькою затримкою на CPU паралельно з важким рендерингом завдяки автотюнінгу.