Локальні LLM

Self-hosted інференс і privacy-first · 38 матеріалів

Self-hosted інференс, GGUF / llama.cpp, Ollama, апаратні збірки та privacy-first AI-стеки.

Локальні LLM29 серп. 2026 р. 2 хв читання

Кастомний форк llama.cpp додає потоковий KV-кеш для Qwen 3.8 27B на GPU з 16 ГБ VRAM

Спеціалізований форк llama.cpp представляє потокову передачу KV-кешу, що дозволяє запускати Qwen 3.8 27B з великим контекстом на споживчих відеокартах з 16 ГБ VRAM. Це зменшує накладні витрати пам'яті під час локального інференсу.

Чому це важливо

Тепер ви можете запускати більші локальні моделі, такі як Qwen 3.8 27B, з контекстом у тисячі токенів на стандартному обладнанні середнього рівня без вичерпання VRAM.

Відкрити повністю

Локальні LLM26 серп. 2026 р. 2 хв читання

Apple випускає Mac Studio з M5 Ultra та 512 ГБ ОЗП для локальних LLM

Apple анонсувала оновлені Mac Studio та Mac mini з чіпами M5 Ultra та M6. З підтримкою до 512 ГБ об'єднаної пам'яті та пропускною здатністю 1,2 ТБ/с пристрої орієнтовані на розробників, які запускають великі моделі DeepSeek та Qwen через MLX.

Чому це важливо

Ви можете запускати відкриті моделі понад 70B параметрів повністю локально на одному робочому місці без витрат на хмарні токени.

Відкрити повністю

Локальні LLM23 серп. 2026 р. 2 хв читання

Daimon: локальний проксі маскує конфіденційні дані перед відправкою до сторонніх LLM

Daimon — це відкритий локальний проксі-сервіс, який перехоплює запити до LLM і замінює конфіденційні дані плейсхолдерами. Після отримання відповіді сервіс автоматично відновлює оригінальний контекст на локальній машині.

Чому це важливо

Тепер можна використовувати хмарні моделі на зразок OpenAI Codex без ризику витоку API-ключів, паролів чи внутрішніх ідентифікаторів у зовнішні логи.

Відкрити повністю

Вільне місце

Один спонсор на випуск

Одне нативне, чесно позначене розміщення перед інженерами, які будують з AI, із прозорою статистикою.

Зайняти місце

Локальні LLM19 серп. 2026 р. 2 хв читання

Liquid AI випускає моделі LFM2.5 Q4_0 GGUF за допомогою Quantization-Aware Distillation

Liquid AI випустила 4-бітні контрольні точки Q4_0 GGUF для моделей серії LFM2.5, навчені за допомогою дистиляції з урахуванням квантування. Ці моделі відновлюють до 97% точності, втраченої при звичайному квантуванні.

Чому це важливо

Розробники тепер можуть запускати високоточні та легкі моделі LFM2.5 локально з мінімальним споживанням пам'яті та без втрати швидкості.

Відкрити повністю

Локальні LLM18 серп. 2026 р. 2 хв читання

Класифікація локальних поштових скриньок за допомогою Ollama та Open Interpreter

Практичний воркфлоу демонструє використання локальних LLM у Docker через Ollama для категоризації тисяч листів без хмарних API та ризиків витоку даних. Двопрохідний конвеєр на базі Open Interpreter та Python успішно обробив 8000 повідомлень Maildir на відеокарті Nvidia RTX 4070.

Чому це важливо

Інженери можуть автоматизувати сортування локальних файлів без передачі чутливих особистих або корпоративних даних до зовнішніх API.

Відкрити повністю

Локальні LLM18 серп. 2026 р. 2 хв читання

Qwen 3.8 27B зрівнялася за результатами з GPT-5.6 Luna в індексі Artificial Analysis

Модель Qwen 3.8 27B здобула 52 бали в індексі Artificial Analysis Intelligence Index, зрівнявшись із GPT-5.6 Luna (max) та відстаючи від моделей на 1.7T параметрів лише на один бал. Інженери отримують можливість використовувати компактну 27B модель для локального міркування рівні флагманів.

Чому це важливо

Інженери можуть запускати компактну модель 27B локально на одному GPU, отримуючи якість міркувань, зіставну з пропрієтарними хмарними API.

Відкрити повністю