Гайди й туторіали
TokenTown візуалізує роботу Transformer та Key-Value кaшування у формі міста
27 липня 2026 р. 3 хв читання
Куратор Oleksandr Kuzmenko, AI Product EngineerОновлено 27 липня 2026 р.Джерела вказані в кожному матеріалі
За участі AI · перевірено редакторомЯк ми використовуємо AI
TokenTown — це інтерактивний браузерний візуалізатор, який відображає етапи роботи Transformer у вигляді міських районів, моделюючи увага, KV-кеш, фази prefill та decode.
Чому це важливо
Використовуйте TokenTown для побудови наочної ментальної моделі фаз prefill, decode та динаміки KV-кешу.
TL;DR
- 01TokenTown симулює архітектуру Transformer у браузерному ізометричному місті.
- 02Демонструє різницю між паралельним prefill та послідовним декодуванням токенів.
- 03Візуалізує зростання KV-кешу та механізм multi-head attention у реальному часі.
Ключові факти
- Розмірність моделі
- 12 вимірів, 2 голови, 2-12 шарів
- Управління
- Пробіл (пауза), S (крок), R (скидання), Швидкість (0.4x-8x)
Архітектура та параметри симуляції
Візуалізатор використовує зменшену модель для виконання обчислень прямо у браузері:
- Розмірність моделі: 12 вимірів, 2 голови уваги, від 2 до 12 шарів
- Словник: Кілька сотень слів
- Процеси: Токенізація, ембеддінги, позиційне кодування, LayerNorm, multi-head attention з KV-кешем, GELU та семплювання top-p.
Різниця між Prefill та Decode
Симуляція показує відмінності обчислювальних фаз:
- Фаза Prefill: Одночасно обробляє всі токени вхідного промпту через шари уваги.
- Фаза Decode: Послідовно генерує по одному токену, демонструючи необхідність збереження KV-кешу.
✓ Коли використовувати
- Під час пояснення архітектури LLM, витрат пам'яті на KV-кеш або різниці між prefill та decode.
- Для побудови наочної ментальної моделі проходження токенів через шари attention.
Що зробити сьогодні
- Перейдіть на laurentiugabriel.github.io/token-town та запустіть інтерактивний тур.
- Використовуйте Пробіл для паузи та клавішу S для покрокового аналізу шарів Transformer.
Що каже спільнота
“Looks like the PG world website we've seen on the frontpage. Did you get some inspiration from that project?”
#TokenTown#Transformer
Джерела