ScreenMind: Конфіденційний локальний аналіз екрана на базі Gemma 4
ScreenMind — це open-source альтернатива хмарним інструментам, яка працює локально. Вона використовує Gemma 4 для аналізу вмісту екрана та створення пам’яті з пошуком без телеметрії або залежностей від хмари.
Чому це важливо
Користувачі, які дбають про конфіденційність, прагнуть отримати переваги ШІ для аналізу екрана без телеметрії та ризиків витоку даних, властивих хмарним рішенням. ScreenMind пропонує повністю локальну та безпечну альтернативу.
TL;DR
- 01Працює повністю локально на споживчому обладнанні, вимагаючи GPU з мінімум 4 ГБ VRAM (рекомендується 6 ГБ+ для прискорення у 3-5 разів).
- 02Використовує Gemma 4 як єдиний мультимодальний інструмент для аналізу зображень, міркувань та транскрибування аудіо без потреби у Whisper.
- 03Захищає дані за допомогою фільтра конфіденційної інформації та AES-шифрування для скриншотів (через Fernet та OS keyring).
Ключові факти
- Мінімум VRAM
- 4 ГБ
- Розмір моделі
- ~5 ГБ (Gemma 4 E2B GGUF)
- Шифрування
- AES для скриншотів
Локальна архітектура
ScreenMind працює повністю локально без мережевих запитів після завантаження. Система використовує багаторівневий конвеєр:
- Захоплення: Моніторинг змін екрана та дедуплікація.
- Аналіз: Gemma 4 вилучає метадані додатків та описує сцени.
- Пошук: Гібридний пошук через ембеддинги
MiniLMта індексаціюFTS5у локальній базі даних SQLite.
Масштабування обладнання
Система протестована на 4GB VRAM GTX 1650, де модель використовує системну оперативну пам'ять. Перехід на GPU з 6GB+ VRAM дозволяє моделі повністю розміститися у VRAM, що дає приріст продуктивності у 3-5 разів.
Конфіденційність даних
Виявлення чутливої інформації здійснюється через regex-фільтри, які маскують кредитні картки, номери соцстрахування, паролі та API-ключі перед записом в базу даних SQLite. Скриншоти захищені за допомогою шифрування AES (через Fernet та OS keyring).
✓ Коли використовувати
- Коли вам потрібна повністю приватна локальна альтернатива хмарним інструментам пам'яті екрана типу Microsoft Recall.
- Коли у вас є щонайменше 4 ГБ VRAM (в ідеалі 6 ГБ+) і ви хочете єдину модель для аналізу екрана, аудіонотаток та міркувань.
- Коли вам потрібен швидкий пошук за скриншотами без передачі даних третім сторонам або у хмару.
- Коли ви хочете створювати локальних агентів або використовувати MCP для розширення можливостей IDE локально за допомогою вашої історії екрана.
- Коли потрібно налаштувати виключення для чутливих додатків чи автоматично ставити на паузу трекінг під час завантаження ігор або ресурсомістких програм.
- Якщо ви прагнете отримати єдину компактну модель для звуку, тексту і зображень, щоб уникнути складних каскадних конвеєрів з Whisper та OCR-бібліотеками.
- Коли необхідна проста інтеграція з локальними середовами на кшталт Claude Desktop, Cursor чи VS Code за допомогою MCP-сервера.
- Коли вам потрібні гнучкі налаштування обробки (три режими швидкості: Fast, Balanced, Accurate) залежно від поточної завантаженості GPU.
- Якщо у вас немає дискретної відеокарти або обсяг її VRAM менше 4 ГБ.
- Якщо вам з коробки потрібне повністю зашифроване сховище для всієї бази даних SQLite.