Десятирічна згорткова нейромережа Inception випередила провідні LLM у діагностиці раку шкіри
Доктор Магнус Лінч протестував архітектуру Inception v3 проти GPT-6 Astra та Claude Fable 5.1 на 200 підтверджених біопсією утвореннях шкіри. Класична згорткова мережа 2015 року досягла точності 62% проти 42% у провідних LLM, працюючи локально у браузері через WebGPU.
Чому це важливо
Припиніть перенаправляти завдання вузькопрофільного комп'ютерного зору до дорогих хмарних мультимодальних LLM, коли легкі донавчені згорткові мережі демонструють вищу точність із нульовою вартістю API.
TL;DR
- 01Inception v3 після 20 хвилин донавчання досягла 62% точності проти 42% у GPT-6 Astra та Claude Fable 5.1.
- 02Мультимодальні LLM демонструють критичні зміщення, хибно маркуючи до 46% меланом як базаліому.
- 03Спеціалізована CNN повністю функціонує на стороні клієнта у браузері через WebGPU без передавання медичних даних.
Ключові факти
- Точність діагностики Inception v3
- 62% (125/200 утворень)
- Точність діагностики Claude Fable 5.1
- 42.5% (85/200 утворень)
- Точність діагностики GPT-6 Astra
- 42% (84/200 утворень)
- Час та обладнання донавчання
- 20 хвилин на 1x GPU NVIDIA H100
- Обсяг навчального датасету
- 68 011 зображень з архіву ISIC
- Точність із другим вибором (CNN проти LLM)
- 173/200 (CNN) проти 138/200 (Claude) та 134/200 (GPT-6)
Методологія та результати бенчмарку
Доктор Магнус Лінч порівняв три архітектури на 200 підтверджених гістологією утвореннях шкіри з датасету MILK10k (2025). Вибірка містила 100 небезпечних патологій (30 меланом, 25 базальноклітинних карцином, 25 плоскоклітинних карцином, 20 актинічних кератозів) та 100 безпечних новоутворень (50 невусів, 50 себорейних кератозів).
Класична модель Google Inception v3 (2015) була повністю донавчена на 68 011 зображеннях з архіву ISIC на одному графічному процесорі NVIDIA H100 за 20 хвилин. Тестові випадки та зображення відповідних пацієнтів були повністю ізольовані від навчальної вибірки.
Точність першого вибору на 200 випадках:
- Донавчена Inception v3: 125 / 200 (62.5%)
- Claude Fable 5.1: 85 / 200 (42.5%)
- GPT-6 Astra: 84 / 200 (42.0%)
Точність з урахуванням другого вибору:
- Донавчена Inception v3: 173 / 200 (86.5%)
- Claude Fable 5.1: 138 / 200 (69.0%)
- GPT-6 Astra: 134 / 200 (67.0%)Систематичні зміщення мультимодальних LLM
Універсальні візуальні LLM продемонстрували сильне зміщення класифікації. GPT-6 Astra призначила діагноз базальноклітинної карциноми 75 зразкам за реальної наявності 25, сплутавши з нею 14 із 30 меланом. Claude Fable 5.1 визначила актинічний кератоз у 53 випадках за реальних 20.
На безпечних утвореннях CNN точно виявила 37 із 50 родимок і 26 із 50 себорейних кератозів, тоді як GPT-6 Astra — лише 16 і 13 відповідно.
Архітектура розгортання: Edge проти API
На відміну від мультимодальних LLM, які вимагають хмарних API та постійної оплати за токени, оптимізована згорткова мережа компілюється для клієнтського виконання у мобільному браузері через WebGPU. Для конвеєрів комп'ютерного зору з фіксованими категоріями донавчені компактні енкодери забезпечують вищу точність, зводячи затримки та витрати на інференс до нуля.
✓ Коли використовувати
- Використовуйте донавчені згорткові моделі для класифікації з фіксованим набором міток, де важливі затримка, конфіденційність та вартість інференсу.
- Розгортайте легкі візуальні енкодери, коли обчислення мають виконуватися на стороні клієнта у браузері через WebGPU.
✕ Коли НЕ варто
- Не використовуйте компактні CNN, якщо потрібні відкриті візуальні міркування, текстові звіти або вільний діалог природною мовою.
- Уникайте вузьких моделей класифікації, якщо немає розмічених датасетів і створити їх занадто дорого.
Що зробити сьогодні
- Проведіть аудит робочих процесів комп'ютерного зору та виявіть класифікаційні завдання, які необґрунтовано надсилаються в API LLM.
- Протестуйте трансферне навчання на легких архітектурах (MobileNet, Inception v3) перед купівлею токенів для мультимодальних моделей.
- Оцініть клієнтські середовища виконання через WebGPU для завдань інференсу зображень, де важливі приватність та низька затримка.
Що каже спільнота
“Training a model requires labels training data. Getting up and running with an LLM just requires a prompt. I agree that a good model will outperform an LLM, but the LLM is so much faster/easier to build.”
“Internet discovers If statements subnanosecond response times model fits on CPU”
“The tooling around LLMs is still nascent and, in my opinion, quite poor... an LLM plus tooling dedicated to the task plus a human in the loop will open up capabilities not available to an LLM in a chat.”