Гайди й туторіалиВплив: Середній
Oleksandr Kuzmenko, РедакторОпубліковано 4 хв читанняЗа участі AI · перевірено редактором
TL;DR
- Трансформери потребують позиційних сигналів, оскільки операції матричного множення в механізмі уваги не залежать від порядку токенів.
- GPT-2 покладається на таблиці абсолютних навчених ембеддингів, які додаються до токенів перед першим блоком трансформера.
- Сучасні моделі на зразок MiniMax-M3 додають позиційну інформацію всередині шарів уваги за допомогою RoPE.
- Каузальні маски дають неявний порядок, але не розрізняють величину відстані між токенами, що робить явні методи необхідними.
Ключові факти
- Основне сучасне кодування
- Rotary Position Embedding (RoPE)
- Класична базова архітектура
- Навчені таблиці абсолютних позицій GPT-2
- Архітектура MiniMax-M3
- 60 шарів трансформера (перші 3 dense, 57 MoE)
- Типовий розмір словника
- Від 50 000 до 200 000 токенів
Абсолютні та відносні позиційні ембеддинги. Архітектура Transformer потребує позиційних сигналів, оскільки операції множення матриць у механізмі self-attention не враховують порядок елементів. Без позиційних даних речення з однаковим набором слів у різній послідовності дадуть ідентичні вихідні вектори. Абсолютні навчені ембеддинги (GPT-2): Фіксована таблиця навчається разом із моделлю і додається до ембеддингів токенів перед першим блоком трансформера. Rotary Position Embedding (RoPE): Застосовується всередині кожного блоку уваги до проекцій query та key.
Архітектурні рішення. Сучасні відкриті нейромережі по-різному комбінують ці підходи. У моделях на кшталт MiniMax-M3 перші 3 із 60 шарів feedforward є повнозв'язними (dense), а решта 57 — MoE, проте RoPE застосовується всередині блоків уваги. Щодо концепції NoPE (відсутність ембеддингів): хоча каузальна маска забезпечує неявну інформацію про порядок через обмеження доступу до попередніх токенів, вона не розрізняє різницю між відстанями в одну чи десять позицій, тому явні позиційні методи залишаються корисними або навіть необхідними.
#PyTorch#GPT-2#MiniMax-M3
