Деслопінг Qwen3-4B: очищення ШІ-прози за допомогою редагування нейронів та LoRA
Дослідник опублікував експериментальну версію Qwen3-4B, очищену від типових мовних кліше ШІ за допомогою інверсії ваг чотирьох нейронів MLP та LoRA rank-16. Модель займає лише 2.5 ГБ VRAM у квантуванні Q4_K_M.
Чому це важливо
Запустіть модель локально через Ollama для генерації природних текстів без виснажливих стилістичних штампів, псевдоглибоких висновків та шаблонних метафор.
TL;DR
- 01Інверсія знаку ваг чотирьох нейронів MLP у шарах 28, 32 та 33 пригнічує генерацію мовних кліше.
- 02Модель генерує короткі природні речення, проте іноді перевищує задані обмеження на кількість слів.
- 03Квантування Q4_K_M у форматі GGUF споживає лише 2.5 ГБ пам'яті на звичайних лептопах.
Ключові факти
- Базова модель
- Qwen3-4B-Instruct-2507 у форматі bf16
- Розмір квантування
- 2.5 ГБ (Q4_K_M GGUF)
- Параметри LoRA
- Rank-16 на проєкціях attention та MLP, 2 епохи
- Правка нейронів
- Інверсія 4 нейронів MLP у шарах 28, 32 та 33
Архітектура деслопінгу
Проєкт модифікує базову модель Qwen3-4B-Instruct-2507 (bf16) за допомогою комбінації двох методів, розроблених на M2 MacBook Air:
1. Редагування нейронів (175 байт): Зміна знаку ваг чотирьох нейронів MLP через інверсію стовпчиків у проєкціях down-projection: шар 28 (нейрон 1121), шар 32 (нейрони 4852 та 5418) і шар 33 (нейрон 348). 2. LoRA-адаптер (126 МБ): Адаптер rank-16 на всіх проєкціях attention та MLP, натренований за 2 епохи безпосередньо на чистих промптах користувача.
Локальний запуск через Ollama та llama.cpp
Квантована збірка займає лише 2.5 ГБ і готова до роботи через звичний CLI.
Спробуй за 2 хвилини
# Run the deslopped Qwen3-4B model locally in Ollama
ollama run hf.co/erikkannike/qwen3-4b-deslop-v4-GGUF:Q4_K_M
# Or run via llama-cli directly
llama-cli -hf erikkannike/qwen3-4b-deslop-v4-GGUF:Q4_K_Mbash
✓ Коли використовувати
- Використовуйте для написання постів, колонок та документації без типових штучних зворотів.
- Застосовуйте на пристроях з обмеженою пам'яттю, де потрібна швидка робота офлайн до 3 ГБ RAM.
✕ Коли НЕ варто
- Не використовуйте для генерації коду чи як автономного програміста.
- Не застосовуйте там, де критично необхідне суворе дотримання обмежень на кількість слів.
Що зробити сьогодні
- Завантажте квантований білд Q4_K_M через Ollama для генерації чернеток і документації без штампів.
- Перевірте якість генерації власними тестами стилю перед впровадженням у контентні пайплайни.
- Утримайтеся від використання цієї моделі для написання коду чи виклику інструментів MCP.
Що каже спільнота
“The most difficult thing in doing it yourself is knowing what to ask for. I can ask my model to talk like a caveman or like a Baltic pirate. But asking for something more nuanced... requires the correct lingo”
“The tell tell sign for me is that it's still incredibly hard to read. AI tend to write in a style that I'm unable to easily read... text simply doesn't register.”
“It's definitely a slight improvement, but it is still rather obvious that the output is AI-written :(”