Gradium випустила Phonon: відкриту 31M модель синтезу мовлення для локальних пристроїв

01Архітектура Flow-Matching та латентні аудіо-токени

Phonon базується на підході flow-matching із сімейства Pocket TTS. Модель авторегресійно генерує латентні представлення аудіо, сприймаючи аудіокадри подібно до текстових токенів у LLM. Аудіотокенізатор у процесі інференсу працює виключно як декодер, а голос диктора передається у вигляді тензора попередньо розрахованих латентів, а не сирого звукового файлу.

02Розміри чекпоїнтів та ліцензування

Модель представлена у двох версіях:

• Phonon 31m (~65 МБ): Доступна під ліцензією Apache 2.0. Дозволяє вільне комерційне використання для англомовного синтезу.
• Phonon 40m (~75 МБ): Підтримує 5 мов (англійську, французьку, німецьку, іспанську та португальську) під ліцензією CC BY-NC. Комерційна ліцензія базується на кількості користувачів, а не на обсязі синтезованих хвилин.

У репозиторії gradium/phonon-voices доступно понад 100 готових голосів, а кастомні дикторські вектори можна створити через Gradium Studio.

03Стеки інференсу: ptts та Transformers

Розробники представили рушій ptts, оптимізований під миттєвий час до першого аудіокадру. Він підтримує WebAssembly та WebGPU у браузері, Apple Core ML та Snapdragon NPU на мобільних чипах, а також CUDA та Metal. Для серверного масштабування Phonon інтегровано у 🤗 Transformers v5.21 з підтримкою батчингу та оптимізації torch.compile.