Oleksandr Kuzmenko, РедакторОпубліковано 5 хв читанняЗа участі AI · перевірено редактором
Чому це важливо
Розробники можуть розгорнути повністю автономну RAG-систему для критичної документації без хмарних залежностей та ризику витоку даних.
TL;DR
- 01Survival LLM об'єднує локальний RAG-рушій із медичними, технічними довідниками та статтями Вікіпедії.
- 02Застосунок автоматично підбирає ваги від Granite 4.2 8B до Nemotron 3.5 Super під обсяг RAM.
- 03Споживання енергії на MacBook Pro становить близько 100 Вт, забезпечуючи 100–300 відповідей від батареї.
Ключові факти
- Розмір повної бази знань
- 9 ГБ (19 ГБ після інсталяції)
- Розмір мінімальної бази
- 1.3 ГБ (3 ГБ після інсталяції)
- Енергоспоживання під час інференсу
- ~100 Вт на MacBook Pro
- Автономність на акумуляторі Mac
- 100–300 відповідей на повному заряді
- Точність старших моделей
- 21/22 у сліпих тестах першої допомоги
Градація локальних моделей за обсягом RAM
Survival LLM автоматизує конфігурацію локального інференсу, підбираючи ваги під апаратні ресурси. Для машин із 16–31 ГБ пам'яті застосунок інсталює IBM Granite 4.2 8B (завантаження 6 ГБ, 14 з 22 правильних відповідей у сліпому тесті). ПК на Windows із 32 ГБ і більше запускають NVIDIA Nemotron 3.5 Lightning (25 ГБ, результат 19 з 22). Системи Apple Silicon завантажують Qwen3.8 27B (18 ГБ, 21 з 22 на 32–96 ГБ) або NVIDIA Nemotron 3.5 Super (80 ГБ, 21 з 22 для 128 ГБ+ RAM).
Автономна база знань та додавання документів
Повна база джерел важить 9 ГБ (19 ГБ після розпакування) і містить довідники MedlinePlus, настанови CDC, посібники з польової медицини, архіви Stack Exchange та 930 000 статей Вікіпедії. Доступна скорочена версія на 1.3 ГБ (3 ГБ на диску) без Вікіпедії та iFixit. Інженери можуть індексувати власні PDF, Word-документи та інструкції до обладнання локально без виходу в мережу.
Енергоефективність та польова експлуатація
Тестування на MacBook Pro показує споживання близько 100 Вт упродовж 5–40 секунд генерації відповіді. Повного заряду батареї вистачає орієнтовно на 100–300 запитів. Оскільки компактні моделі схильні до помилок, інтерфейс обов'язково відображає вихідні цитати з верифікованих джерел.
✓ Коли використовувати
- Підготовка автономних робочих станцій для польових умов без доступу до інтернету.
- Локальний RAG для чутливої технічної документації без жодної телеметрії.
- Дослідження логіки автоматичного підбору моделі під конфігурацію оперативної пам'яті.
✕ Коли НЕ варто
- Високонавантажені багатокористувацькі API-сервіси для продакшену.
- Пристрої з менш ніж 16 ГБ RAM або обмеженим вільним місцем (потрібен розмір моделі плюс 27 ГБ).
- Задачі, що потребують динамічного оновлення інформації в реальному часі через інтернет.
Що зробити сьогодні
- Перевірте ресурси системи: потрібно щонайменше 16 ГБ RAM та від 30 ГБ вільного місця.
- Завантажте інсталяційний архів із brangus.io для створення ізольованого вузла екстреної підтримки.
- Проіндексуйте власні регламенти аварійного відновлення та технічну документацію через локальний завантажувач.
Що каже спільнота
“This could be made a lot more practical (and safer) if made searchable via a simple vector search / embedding that can run on any ordinary computer.”
“Granite is not great at any size. Wonder why they picked that.”
“How on earth are you going to operate this if you have no electricity?”