dasllama використовує макроси AST для прискорення розпізнавання мови на CPU у 5 разів

01Боротьба з комбінаторним вибухом ядер через макроси AST

Традиційні рушії локального інференсу, такі як llama.cpp, спираються на тисячі рядків ручного асемблерного коду під різні набори інструкцій. Під час розробки внутрішньоігрового голосового перекладу розробники зіткнулися з тим, що GPU зайнятий графікою, а інференс має виконуватися виключно на залишках ресурсів CPU. Портування моделі Whisper на daslang дозволило перевірити швидкість мови без важких залежностей.

Замість ручного написання ядер під кожну комбінацію квантування та векторних інструкцій, dasllama застосовує макроси часу компіляції:

[tune_perm(dot = "vpdpbusd", width = 512, mr = 16, requires = "avx512vnni,avx512bw")]
[tune_perm(dot = "amx_bf16", width = 512, mr = 16, nrsplit = 2, requires = "amx-bf16,avx512bf16,avx512vnni")]
[tune(gen = "dasllama_gemm_gen::k4_tile", fallback = "dot_vpdpbusd_width512_mr16")]
def k4q8_tile_gen(var yp : float?; kqg : uint8 const?; ksg : uint8 const?;
                 xqp : int8 const?; xsp : float const?; xbsp : int const?) {
    kq_tile_ref(4, yp, kqg, ksg, xqp, xsp, xbsp, n, d, g, t0);
}

02Продуктивність та конфігураційні профілі заліза

Під час першого запуску JIT-компілятор тестує різні розміри розгортання циклів і векторні інструкції на конкретному процесорі, записуючи переможця в JSON-файл. Це забезпечує відчутний приріст у реальних сценаріях:

• Розпізнавання Whisper: робота у 5 разів швидше за базовий whisper.cpp на Apple M1.
• Prefill у Qwen3.6-35B-A3B: прискорення у 2.3 рази на AMD EPYC та у 2.8 рази на AWS Graviton.
• Єдина архітектура: планувальник черг, генератор шейдерів SPIR-V для Vulkan та сумісний з OpenAI API сервер реалізовані мовою daslang без прошарків FFI.