Oleksandr Kuzmenko, РедакторОпубліковано 4 хв читанняЗа участі AI · перевірено редактором
TL;DR
- Відкриті моделі на 27B параметрів на звичайних ноутбуках здатні аналізувати ваги нейромереж без стороннього коду.
- Для обробки масивів ваг необхідні розширений контекст та збільшені таймаути на понад 40 000 токенів міркування.
- Здатність аналізувати ваги виникає завдяки глибокому ланцюгу міркувань і не є ексклюзивом хмарних гігантів.
Ключові факти
- Розмір моделі
- 17 ГБ (квантована Qwen 3.8 27B)
- Час аналізу Pac-Man
- 46 хв 12 с (43 506 токенів міркування)
- Час аналізу Pong
- 1 год 4 хв 54 с
- Час Kimi K3.1 Pro
- 9 хв 41 с (19 493 токени міркування)
Джерело: Ключові факти — Час аналізу Pong
Джерело: Ключові факти. Час аналізу Pong: 1 год 4 хв 54 с. Кожне число скопійоване з історії.
- Час аналізу Pong1 год 4 хв 54 с
Відтворення експерименту з вагами
Експеримент використовує тестові промпти з репозиторію RikiyaT/lm_understand-logs. Кожен файл містить тисячі чисел із рухомою комою, що представляють ваги шарів RL-політики, та інструкцію визначити назву гри без комп'ютерного коду чи калькулятора.
Результати тестування:
- Kimi K3.1 Pro (через OpenRouter): Розпізнав Breakout за 9 хвилин 41 секунду (19 493 токени міркування).
- Qwen 3.8 27B (локальний образ 17 ГБ): Визначив Pac-Man за 46 хвилин 12 секунд (43 506 токенів), а Pong — за 1 годину 4 хвилини 54 секунди.
Налаштування локального середовища в LM Studio
Для виконання таких завдань необхідно вручну розширити контекстне вікно моделі в LM Studio, оскільки стандартний ліміт у 8192 токени викликає помилку переповнення. Також потрібно збільшити таймаут підключення в CLI-клієнті через змінну оточення.
Спробуй за 2 хвилини
llm install llm-lmstudio
llm -m lmstudio/qwen-3.8-27b -f \
https://raw.githubusercontent.com/RikiyaT/lm_understand-logs/refs/heads/main/exp1_which_game/runs/pacman/prompt.txtКоли використовувати
- Використовуйте для офлайн реверс-інжинірингу невеликих ваг та контрольних точок.
- Використовуйте для інтерпретації поведінки та перевірки спеціалізованих компактних мереж.
Коли НЕ варто
- Не використовуйте для задач реального часу, які вимагають мілісекундної відповіді.
- Не запускайте на комп'ютерах з менш ніж 24 ГБ об'єднаної пам'яті або відеопам'яті.
Що зробити сьогодні
- Встановіть утиліту llm та плагін llm-lmstudio для взаємодії з локальними LLM.
- Завантажте квантовану версію Qwen 3.8 27B у LM Studio і налаштуйте контекст вище 32k.
- Збільшіть таймаути клієнта для тривалих сесій генерації міркувань.
Назви кроків узяті з блоку «Що зробити сьогодні».
Назви кроків узяті з блоку «Що зробити сьогодні». Встановіть утиліту llm та плагін llm-lmstudio для взаємодії з локальними LLM.. Завантажте квантовану версію Qwen 3.8 27B у LM Studio і налаштуйте контекст вище 32k.. Збільшіть таймаути клієнта для тривалих сесій генерації міркувань.
- Встановіть утиліту llm та плагін llm-lmstudio для взаємодії з локальними LLM.
- Завантажте квантовану версію Qwen 3.8 27B у LM Studio і налаштуйте контекст вище 32k.
- Збільшіть таймаути клієнта для тривалих сесій генерації міркувань.