Мультимодальні енкодери NeoMME забезпечують візуальний пошук документів зі швидкістю 51 сторінка на секунду

Єдина мультимодальна архітектура

Традиційні адаптери для візуального пошуку поєднують окремий зоровий енкодер на зразок SigLIP з авторегресійним мовним декодером. NeoMME відмовляється від обох компонентів: вхідні токени тексту та сітка патчів 32×32 надходять безпосередньо в єдиний двонаправлений Transformer. Оскільки ранжування та класифікація не потребують авторегресійної генерації тексту, відсутність декодера усуває зайві обчислювальні витрати. Стек енкодера використовує grouped-query attention, нормалізацію query-key, gated attention, 2D RoPE, squared-ReLU MLP та чергування ковзного вікна уваги (sliding-window) з глобальною увагою на кожному шостому та фінальному шарах.

Навчання через масковану дифузію

NeoMME натреновано з нуля як дискретний маскований дифузійний денойзер тексту на 524 мільярдах упакованих токенів (з них 290 мільярдів суто текстових) за допомогою оптимізатора NorMuon. Якщо для тексту коефіцієнт маскування варіюється від 0 до 1, то в мультимодальних зразках він становить від 0.3 до 1 при повністю відкритих візуальних патчах. Високий рівень маскування змушує модель вилучати семантику безпосередньо з графічних даних документа замість використання текстових евристик.

Двоголовий пошук та стиснення індексу у 255 разів

NeoMME-Retriever містить дві одночасно натреновані голови: щільну (dense) для усередненого векторного пошуку через ANN та голову пізньої взаємодії (late-interaction), що проєктує токени у 128-вимірні вектори. На GPU NVIDIA L40S модель на 260M обробляє 51 сторінку за секунду з роздільністю 2048×2048 — удвічі швидше за ColModernVBERT. Для великих баз ієрархічний пулінг токенів та асиметричне квантування стискають обсяг індексу з ~1.5 МБ до 6 кБ на сторінку (у 255 разів менше) зі збереженням понад 95% вихідного показника nDCG@10.