Google випустила EmbeddingGemma 2: мультимодальні ембеддінги під Apache 2.0 для локального пошуку коду
DeepMind випустила EmbeddingGemma 2 — мультимодальну модель ембеддінгів на 740 млн параметрів під ліцензією Apache 2.0. Вона об'єднує код, текст, зображення, аудіо та відео в єдиному векторному просторі з контекстним вікном 8K токенів.
Чому це важливо
Ви можете індексувати та виконувати семантичний пошук у локальних кодових базах і медіафайлах повністю офлайн на власному залізі без API-витрат і передачі даних.
TL;DR
- 01Ліцензія Apache 2.0, 740 млн параметрів та контекстне вікно 8K токенів.
- 02Оцінка MTEB Code зросла до 78,68, що ідеально підходить для локального пошуку по коду.
- 03Технологія Matryoshka дозволяє скорочувати вектори з 768 до 128 розмірностей, заощаджуючи до 6 разів пам'яті.
Ключові факти
- Кількість параметрів
- 740M сумарно (270M текст, 170M зір, 300M аудіо)
- Контекстне вікно
- 8K токенів (у 4 рази більше за v1)
- Ліцензія
- Apache 2.0 (вільна комерційна)
- Оцінка MTEB Code
- 78,68 (проти 68,76 раніше)
- Споживання RAM
- ~191 МБ (квантований текст), ~567 МБ (повна мультимодальність)
Мультимодальні ембеддінги менше ніж на 1 млрд параметрів
EmbeddingGemma 2 реалізує уніфікований пошук за різними типами медіаданих при загальному обсязі 740 млн параметрів (або 270M суто для тексту). Модель має контекстне вікно 8K токенів (у 4 рази більше за першу версію), що дозволяє обробляти до 5,5 хвилин аудіо, 29 зображень або 58 відеокадрів локально. У бенчмарку MTEB Code точність зросла з 68,76 до 78,68 бала.
Стиснення Matryoshka та підтримка середовищ
- Гнучке обрізання вимірів: Matryoshka Representation Learning (MRL) дозволяє зменшувати розмірність векторів із 768 до 128 без перенавчання, заощаджуючи до 6 разів місця у сховищі.
- Низьке споживання пам'яті: Завдяки квантуванню активне споживання RAM становить близько ~191 МБ для тексту та ~567 МБ для повної мультимодальної моделі.
- Ліцензія Apache 2.0: Ваги відкрито опубліковані на Hugging Face та Kaggle для комерційного використання.
- Широка екосистема: Підтримка запуску в llama.cpp, Ollama, MLX, vLLM, sentence-transformers, LiteRT та збереження векторів у Qdrant.
Спробуй за 2 хвилини
ollama pull embeddinggemma-2
curl http://localhost:11434/api/embeddings -d '{
"model": "embeddinggemma-2",
"prompt": "def calculate_token_savings(cached_tokens, total_tokens):"
}'bash
✓ Коли використовувати
- Локальні та конфіденційні RAG-системи, які вимагають нульової передачі даних за межі пристрою.
- Пошук по кодовій базі з необхідністю одночасного індексування сирцевого коду, UI-макетів та аудіонотаток.
✕ Коли НЕ варто
- Хмарні архітектури, де вартість API не має значення і вже підключені пропрієтарні ембеддери на десятки мільярдів параметрів.
- Виключно текстові корпоративні сховища, де спеціалізовані великі моделі забезпечують вищу точність на специфічних мовах.
Що зробити сьогодні
- Завантажте ваги EmbeddingGemma 2 через Ollama або Hugging Face для тестування у власному локальному пайплайні RAG.
- Перевірте скорочення векторів за допомогою Matryoshka до 256 або 128 розмірностей у Qdrant для зменшення сховища.
- Замініть застарілі текстові ембеддери в індексаторах репозиторіїв на EmbeddingGemma 2 для якіснішого семантичного пошуку.