Oleksandr Kuzmenko, РедакторОпубліковано 5 хв читанняЗа участі AI · перевірено редактором
TL;DR
- Набирає 44,0 на BFCL v4 та 51,5 на τ-bench, випереджаючи моделі класу 1,2B та моделі в 2,5 раза більші за розміром.
- Зменшує частоту зациклень міркувань із 22,9% до 1,4%, заощаджуючи ресурси процесора.
- Розповсюджується під ліцензією Apache 2.0 у квантизованих форматах GGUF (bf16, Q8, Q4) для llama.cpp.
Ключові факти
- Кількість параметрів
- 0,8 млрд (0.8B)
- Ліцензія
- Apache 2.0
- Базова модель
- Qwen3.5-0.8B
- Результат BFCL v4
- 44,0 (проти 23,4 у базової)
- Частота зациклення міркувань
- 1,4% (знизилася з 22,9%)
Джерело: Ключові факти — Кількість параметрів
Джерело: Ключові факти. Кількість параметрів: 0,8 млрд (0.8B). Кожне число скопійоване з історії.
- Кількість параметрів0,8 млрд (0.8B)
Продуктивність та бенчмарки
BotPsy-0.8B від Tether суттєво покращує точність виклику інструментів порівняно з базовою моделлю Qwen3.5-0.8B-Think:
- BFCL v4: Зростання з 23,4 до 44,0 загалом, та стрибок із 7,5 до 46,1 у багатокрокових сценаріях.
- ACEBench: Зростання з 30,1 до 58,7 (і 51,3 бала в тестах із неповними або некоректними параметрами).
- τ-bench: Середній результат 51,5 у секціях ритейлу, телекому та банкінгу (82,5 у сценаріях телекому).
- Безпека: Частота небезпечних відповідей знизилася з 36% до 21%, а вразливість до prompt-ін'єкцій — з 46% до 31%.
Ефективність міркувань та квантизація
Модель генерує суттєво менше зайвих токенів міркувань: приблизно в 3 рази менше на GPQA Diamond (3 690 проти 11 563) і в 2,7 раза менше на MMLU-Pro. Частка випадків досягнення стелі контексту в 32k токенів зменшилася з 28,3% до 0,2%.
Ваги доступні за ліцензією Apache 2.0 у форматах Hugging Face safetensors і квантизованих GGUF (bf16, Q8, Q4) для запуску через llama.cpp або QVAC SDK.
Спробуй за 2 хвилини
llama-cli -hf qvac/botpsy -m botpsy-0.8b-q8_0.gguf -p "<|im_start|>system\nYou are a helpful assistant with tool calling abilities.<|im_end|>"Коли використовувати
- Локальні персональні асистенти для вбудованих систем, портативних ПК та смартфонів.
- Чутливі до приватності системи маршрутизації інструментів без передавання даних у хмару.
Коли НЕ варто
- Критичні завдання з масштабного рефакторингу коду або складної аналітики без права на помилку.
- Сценарії з перевантаженими довгими системними промптами, де контекстні обмеження 0.8B моделей знижують точність.
Що зробити сьогодні
- Завантажити файли BotPsy GGUF у версіях Q4 або Q8 для тестування локального виклику функцій.
- Налаштувати валідацію інструментів, спираючись на високу точність відмови моделі від некоректних дій.
Назви кроків узяті з блоку «Що зробити сьогодні».
Назви кроків узяті з блоку «Що зробити сьогодні». Завантажити файли BotPsy GGUF у версіях Q4 або Q8 для тестування локального виклику функцій.. Налаштувати валідацію інструментів, спираючись на високу точність відмови моделі від некоректних дій.
- Завантажити файли BotPsy GGUF у версіях Q4 або Q8 для тестування локального виклику функцій.
- Налаштувати валідацію інструментів, спираючись на високу точність відмови моделі від некоректних дій.