Qwythos-9B: об'єднання Qwen від спільноти для творчого письма та рольових ігор
Qwythos-9B-Claude-Mythos-5 — це розроблена спільнотою модель, створена для перенесення експресивної прози у стилі Claude та генерації глибоких наративів на локальні машини. Побудована за допомогою рецепту об'єднання (passthrough merge), що розширює Qwen2.5-7B до 9 мільярдів параметрів, вона оптимізована для творчого письма та розмовних ігор.
Чому це важливо
Розробники можуть запускати експресивну наративну модель локально завдяки квантуванню GGUF, не покладаючись на хмарні API від Claude.
TL;DR
- 01Поєднує багатомовні можливості Qwen2.5-7B з настановами щодо стилю прози Claude.
- 02Використовує визначений у YAML рецепт passthrough-об'єднання на GitHub для масштабування параметрів без навчання з нуля.
- 03Квантування GGUF дозволяє запускати дуже експресивну модель локально на типовому споживчому залізі з 8 ГБ VRAM.
Ключові факти
- Базова модель
- Qwen2.5-7B-Instruct
- Параметри
- 9.02 млрд (через passthrough merge)
- Формати квантування
- FP16, GGUF (Q4_K_M, Q5_K_M, Q8_0)
- Основний кейс
- Творче письмо, розмовні рольові ігри
Архітектурне об'єднання та рецепт
Створення Qwythos-9B покладається на послідовне об'єднання шарів (так званий frankenmerge), налаштоване через YAML-конфігурацію та розміщене на GitHub. Замість використання нативної базової моделі 9B (оскільки офіційної бази Qwen 9B не існує), рецепт об'єднання зрізає та дублює певні проміжні шари архітектури Qwen2.5-7B-Instruct. Це математичне розширення збільшує глибину обробки контексту для стилістичних завдань, зокрема для керування темпом наративу.
Датасети та стилістичне тонке налаштування
Для досягнення характерної прози об'єднана база узгоджується зі спеціальними наборами даних у стилі Claude від Anthropic та популярними у спільноті моделями рольових ігор Mythos. Отримана модель демонструє вищу стійкість до великої довжини творчих текстів, описових прикметників та складного форматування діалогів порівняно зі звичайними інструктивними моделями, які зазвичай є надто лаконічними або аналітичними.
Локальний запуск та підтримка GGUF
Завдяки наданим спільнотою квантуванням GGUF, ви можете запускати Qwythos-9B локально. Квантовані варіанти, такі як Q4_K_M або Q5_K_M, балансують споживання пам'яті та когерентність виводу. Запуск цієї моделі 9B на llama.cpp або Ollama потребує приблизно від 6 до 8 ГБ відеопам'яті (VRAM), що робить її дуже доступною для стандартних графічних процесорів ноутбуків.
Спробуй за 2 хвилини
# Download the GGUF model using huggingface-cli\nhuggingface-cli download mradermacher/Qwythos-9B-Claude-Mythos-5-GGUF Qwythos-9B-Claude-Mythos-5.Q4_K_M.gguf --local-dir .\n\n# Run using llama.cpp\n./llama-cli -m Qwythos-9B-Claude-Mythos-5.Q4_K_M.gguf -p "Write a descriptive sci-fi narrative about an autonomous mining probe:" -n 256bash
✓ Коли використовувати
- Коли вам потрібне глибоке, художнє творче письмо та наративний стиль без оплати хмарних API.
- Для локального хостингу рольових або текстових агентів на споживчому залізі (8 ГБ VRAM).
✕ Коли НЕ варто
- Не рекомендується для точного написання коду, розв'язання математичних задач або строго структурованого виводу JSON.
- Коли потрібна висока пропускна здатність та стабільність хмарних API корпоративного рівня.
Що зробити сьогодні
- Клонуйте YAML-рецепт об'єднання з GitHub для аналізу конфігурації шарів.
- Завантажте ваги GGUF Q4_K_M з Hugging Face для збалансованого локального запуску.
- Завантажте модель у llama.cpp або Ollama та протестуйте з описовими промптами для творчого письма.