NeuroVFM: тривимірна медична модель, навчена на 5 мільйонах томограм мозку
Дослідники з Мічиганського університету представили NeuroVFM — базову модель нейровізуалізації, навчену на 5,24 млн клінічних знімків МРТ та КТ. Завдяки самокерованому навчанню Vol-JEPA вона працює безпосередньо у латентному просторі тривимірних зображень, випереджаючи GPT-5 у завданнях клінічного сортування.
Вплив: Високий
Чому це важливо
Більшість медичних ШІ-моделей покладаються на вузьку розмітку конкретних хвороб або неточні клінічні звіти, що обмежує їхнє застосування. NeuroVFM доводить, що самокерована архітектура (Vol-JEPA) може вивчати надійні представлення 3D-знімків мозку безпосередньо з сирих клінічних даних без ручної розмітки, забезпечуючи ефективну підтримку прийняття клінічних рішень із високою точністю.
TL;DR
- 01NeuroVFM — це об'ємна базова модель, навчена на 5,24 млн нерозмічених МРТ та КТ знімків за допомогою самокерованого методу Vol-JEPA.
- 02Передбачаючи представлення в латентному просторі, модель не потребує радіологічних звітів або попіксельної реконструкції.
- 03Модель досягла AUROC 92,68 для КТ та 92,49 для МРТ на 156 діагностичних завданнях, перевершивши альтернативні підходи.
- 04У проспективному клінічному тестуванні сортування пацієнтів NeuroVFM-LLaVA перевершила GPT-5 з точністю 92,6% проти 71,2%.
Ключові факти
- Датасет для попереднього навчання
- 5.24 млн МРТ та КТ об'ємів
- Діагностична точність AUROC (КТ)
- 92.68
- Діагностична точність AUROC (МРТ)
- 92.49
- Розмір базового енкодера
- 85.8 млн параметрів
- Точність клінічного сортування
- 92.6% (NeuroVFM-LLaVA) проти 71.2% (GPT-5)
- Ліцензія
- MIT (код) / CC-BY-NC-SA-4.0 (ваги)
Самокероване об'ємне навчання з Vol-JEPA
NeuroVFM уникає необхідності використання радіологічних звітів та складної розмітки хвороб завдяки архітектурі Vol-JEPA (Volume Joint Embedding Predictive Architecture). Модель розбиває 3D-об'єми КТ та МРТ на патчі розміром 4×16×16 вокселів, розділяє їх на видимий контекст і масковану ціль, та навчає студентську мережу прогнозувати латентні вектори прихованих зон. Вчительська мережа, яка є експоненційним ковзним середнім (EMA) студентської, генерує цільові вектори. Це мінімізує втрати L1 та фокусує енкодер на спільній анатомії мозку, ігноруючи фонові артефакти.
Видатні результати на тестах
На 156 клінічних діагностичних завданнях (74 для МРТ та 82 для КТ) NeuroVFM досягла AUROC 92,68 на КТ та 92,49 на МРТ. Модель стабільно перевершувала альтернативні підходи, такі як попіксельна реконструкція (NeuroMAE) та навчання під керівництвом звітів (HLIP). З точки зору навчання, Vol-JEPA вимагала менше 1 000 GPU-годин, тренувалася у 7 разів швидше за базовий 3DINO та дозволяла розміщувати у 16 разів більші пакети (batches) за аналогічного обсягу пам'яті.
Клінічне використання та обмеження
Під час тижневого клінічного випробування за участю 1 155 пацієнтів зв'язка NeuroVFM та Qwen3-14B показала точність сортування пацієнтів на рівні 92,6%, значно випередивши результат GPT-5 (71,2%). Однак чутливість при виявленні критичних станів склала 86,5% (було пропущено 21 зі 155 випадків). Через це розробники наголошують на використанні системи виключно як допоміжного засобу для лікарів, а не автопилота для діагностики.
Спробуй за 2 хвилини
from neurovfm import load_encoder, load_diagnostic_head, load_vlm, interpret_findings
encoder, preprocessor = load_encoder("mlinslab/neurovfm-encoder")
dx_head = load_diagnostic_head("mlinslab/neurovfm-dx-ct")
generator, gen_preproc = load_vlm("mlinslab/neurovfm-llm")
# Encode a study, then predict diagnoses
batch = preprocessor.load_study("/path/to/ct/study/", modality="ct")
embeddings = encoder.embed(batch) # [N_tokens, 768]
predictions = dx_head.predict(embeddings, batch) # [(label, prob, pred), ...]
# Generate preliminary findings, then optionally triage
vols = gen_preproc.load_study("/path/to/ct/study/", modality="ct")
findings = generator.generate(vols, clinical_context="LOC and nausea.")
triage = interpret_findings(findings, "LOC and nausea.", api_key="...")python
✓ Коли використовувати
- Для аналізу тривимірних МРТ та КТ знімків мозку.
- Для підтримки прийняття клінічних рішень та допомоги у сортуванні пацієнтів для першочергової обробки термінових випадків.
- При розробці мультимодальних медичних застосунків, таких як автоматична генерація звітів чи візуальні відповіді на запитання.
✕ Коли НЕ варто
- Не використовуйте як повністю автономний інструмент первинного скринінгу без нагляду лікаря.
- Уникайте, якщо для використання обов'язкове схвалення FDA.
- Уникайте, коли потрібне 100% виявлення критичних станів без участі лікаря (через 13.5% пропущених випадків).
Що зробити сьогодні
- Ознайомтеся з репозиторієм на GitHub для тестування енкодера діагностики об'ємних МРТ та КТ.
- Прочитайте статтю, щоб дізнатися, як Vol-JEPA перевершує моделі з текстовим або попіксельним наглядом.
Джерела