Google відкриває мультимодальні моделі MedGemma для локальної клінічної діагностики без інтернету
Google Research відкрила мультимодальні моделі MedGemma на 4B та 27B параметрів, здатні виконувати клінічні міркування локально без доступу до інтернету. У поєднанні з моделлю MedSigLIP розробники можуть розгортати автономні системи скринінгу з часом обробки до 45 секунд.
Чому це важливо
Ви можете розгортати спеціалізовані мультимодальні пайплайни діагностики на крайових пристроях без витрат на хмарний інференс і ризиків витоку конфіденційних даних.
TL;DR
- 01MedGemma пропонує відкриті ваги 4B та 27B для офлайн-міркувань над медичними даними.
- 02MedSigLIP зіставляє ембеддинги зображень із клінічним текстом для швидкого донавчання.
- 03Локальний інференс забезпечує первинний результат менш ніж за 45 секунд без підключення до мережі.
Ключові факти
- Конфігурації моделі
- 4B та 27B параметрів
- Час скринінгу
- <45 секунд
- Кількість завантажень
- >10 млн у світі (за даними вендора)
- Сертифікація
- CE MDR Клас IIb, ISO 13485
Від закритих бенчмарків до відкритих базових моделей
Підрозділи Google Research та Google for Health представили інструменти в межах ініціативи Health AI Developer Foundations (HAI-DEF). Замість використання закритих хмарних API розробники отримують відкриті ембеддинги рентгенівських знімків і модель MedSigLIP — компактну vision-language архітектуру, натреновану на узгодження радіографічних зображень із медичними описами. Це дозволяє створювати класифікатори та донавчати моделі на локальних вибірках без масивних обчислювальних кластерів.
Мультимодальні висновки на пристрої з MedGemma
Основу релізу складає сімейство відкритих мультимодальних моделей MedGemma з конфігураціями на 4B та 27B параметрів. Модель виходить за межі базової класифікації: вона синтезує дані рентгенографії з анамнезом пацієнта та відповідає на запитання лікаря природною мовою. Архітектура оптимізована для повністю автономного виконання на крайових пристроях без доступу до мережі, усуваючи ризики передачі персональних медичних даних.
Клінічна валідація та крайове впровадження
У співпраці з Nexus AI технологія отримала сертифікацію CE MDR Класу IIb відповідно до регламенту ЄС EU MDR 2017/745 та стандарт ISO 13485. Під час розгортання у 40 медичних установах і на глибині чотирьох кілометрів у золотій шахті Мпоненг у ПАР система продемонструвала час обробки знімка менше 45 секунд. Понад 90 клініцистів уже перевірили більше 25 000 радіограм, скоротивши процес первинного скринінгу та направлення на аналізи до одного візиту.
Спробуй за 2 хвилини
from transformers import AutoModelForImageTextToText, AutoProcessor
# Load open MedGemma weights for offline edge inference
model_id = "google/medgemma-4b"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForImageTextToText.from_pretrained(model_id, device_map="auto")python
✓ Коли використовувати
- Створення автономних мультимодальних систем скринінгу в середовищах із нестабільним зв'язком.
- Розробка медичних систем аналізу зображень із суворими вимогами до локального збереження даних.
✕ Коли НЕ варто
- Не використовуйте для остаточного автоматичного діагнозу без перевірки лікарем у медичній практиці.
- Не застосовуйте для універсального кодингу або чат-ботів загального призначення.
Що зробити сьогодні
- Протестуйте ембеддинги MedSigLIP для мультимодального пошуку на специфічних графічних датасетах.
- Оцініть квантовану версію MedGemma 4B для запуску на пристроях з обмеженим обсягом VRAM.
- Дослідіть референсні архітектури HAI-DEF для побудови zero-shot пайплайнів класифікації.