DiScoFormer: Трансформер для оцінки щільності та скорингу за один прохід
DiScoFormer надає уніфіковану архітектуру трансформера для одночасної оцінки функції щільності ймовірності та функції скорингу. Вона перевершує ядерну оцінку щільності у багатовимірних завданнях без необхідності перенавчання для кожної проблеми.
Вплив: Середній
Чому це важливо
Замініть крихкі методи ядерної оцінки щільності на єдину багаторазову модель для генеративного моделювання, баєсового виведення та наукових обчислень.
TL;DR
- 01Замінює KDE навченою багатовимірною моделлю трансформера.
- 02Підвищує ефективність зіставлення скорів у багатовимірних просторах.
- 03Zero-shot адаптація через консистентну втрату під час інференсу.
Технічна перевага
DiScoFormer розглядає ядерну оцінку щільності (KDE) як окремий випадок свого механізму уваги. На відміну від KDE, що базується на фіксованій ширині ядра (bandwidth), DiScoFormer вивчає кілька масштабів одночасно, адаптуючи вплив точок даних залежно від специфічної форми розподілу.
Показники продуктивності
- Ефективність у 100D: зменшення помилки скорингу у 6,5 раза; зменшення помилки щільності у 37 разів порівняно з найкращими KDE.
- Узагальнення: точно моделює негауссові форми (Лапласа, Стьюдента) та суміші з більшою кількістю мод, ніж спостерігалося під час навчання.
- Архітектура: спільний бекбон з двома головами для оцінки щільності та скору.
✓ Коли використовувати
- Багатовимірні завдання оцінки щільності та скорингу
- Наукові обчислення та вибірка генеративних моделей
- Завдання баєсового виведення, що потребують точності для різних розподілів
Що зробити сьогодні
- Ознайомтеся з технічним звітом на arxiv.org/abs/2511.05924
- Протестуйте DiScoFormer на багатовимірних наборах даних моделювання
Джерела