Oleksandr Kuzmenko, РедакторОпубліковано 8 хв читанняЗа участі AI · перевірено редактором
TL;DR
- Буфер NetEQ у WebRTC примусово відкидає аудіопакети із запізненням понад 30 мс, спотворюючи початковий контекст для моделей розпізнавання мови.
- Потік Opus зі швидкістю 64 Кбіт/с важить лише 8 КБ/с, що дозволяє протоколу QUIC спокійно повторно надсилати дані під час розмови без затримок для ШІ.
- Синтез мови через WebRTC вимагає штучних пауз між пакетами, тоді як Media over QUIC буферизує кадри з точними часовими мітками безпосередньо в оперативній пам'яті.
Ключові факти
- Пропускна здатність Opus
- 8 КБ/с (64 Кбіт/с)
- Поріг скидання пакетів у WebRTC
- >30 мс затримки
- Частота аудіопакетів у WebRTC
- ~50 пакетів за секунду
- Еквівалент повторної передачі в QUIC
- ~6 пакетів за секунду
- Пам'ять клієнта на 2 хвилини звуку
- ~1 МБ
Обмеження джитер-буферів, орієнтованих на людину
Більшість браузерних реалізацій WebRTC спираються на libwebrtc — монолітну C++ бібліотеку, яку розвиває Google для потреб Google Meet. У голосових конференціях будь-яке запізнення пакетів створює ефект накладання реплік. Аудіорушій NetEQ адаптує швидкість відтворення до коливань мережі, проте безповоротно відкидає пакети із затримкою понад 30 мс. Повторна передача аудіопакетів у WebRTC можлива лише через нестандартний парсинг дескрипторів Session Description Protocol (SDP), але буфер NetEQ все одно не чекає на їхню доставку.
Коли мікрофон користувача стикається з короткочасною втратою зв'язку, WebRTC знищує аудіофрагменти. Модуль розпізнавання мови (STT) отримує неповний аудіопотік, через що мовна модель витрачає токени на некоректні галюцинації або перепитує користувача.
Чому бюджет затримок у ШІ відрізняється
Голосовим агентам не потрібне лінійне споживання звуку в режимі реального часу, поки людина говорить. Моделі необхідний повний контекст фрази для формування коректної відповіді.
- Мізерний обсяг даних: 1 секунда аудіо в кодеку Opus (64 Кбіт/с) важить лише 8 КБ у 50 пакетах.
- Швидке відновлення в QUIC: Усі втрачені кадри вміщуються у приблизно 6 пакетів транспортного протоколу QUIC.
- Відсутність штрафу до затримки: Поки користувач вимовляє кінець речення, мережевий стек має кілька секунд на фонове завантаження втрачених пакетів до старту інференсу.
Потоковий синтез мови через Media over QUIC
WebRTC програє звук відповідно до часу його фактичного надходження, майже ігноруючи вбудовані часові мітки. Через це серверні рушії синтезу мовлення (TTS), здатні генерувати голос швидше за реальний час, змушені штучно додавати затримки (sleep) між пакетами перед відправленням.
Протокол MoQ (Media over QUIC) вирішує цю проблему за допомогою буферизації в оперативній пам'яті клієнта. Оскільки 2 хвилини стисненого звуку займають лише близько 1 МБ пам'яті, сервер може передати всю відповідь на максимальній швидкості мережі, а клієнт плавно відтворить її за точними часовими мітками.
Коли використовувати
- Голосові ШІ-агенти реального часу, що передають двосторонній аудіопотік через нестабільні мобільні чи супутникові канали.
- Конвеєри обробки мови, в яких втрата перших звуків фрази спричиняє галюцинації моделі або змушує її перепитувати.
Коли НЕ варто
- Клієнтські вебзастосунки в корпоративних мережах, де протоколи WebTransport та QUIC блокуються фаєрволами.
- Класичні сервіси відеоконференцій між людьми, де затримка живого спілкування критичніша за втрату окремих складів.
Що зробити сьогодні
- Протестуйте протокол Media over QUIC або потокове передавання фрагментів через WebSocket, якщо ваш голосовий агент втрачає слова на мобільних мережах.
- Перевірте, чи використовує ваш конвеєр стандартний буфер NetEQ, чи забезпечує повне відновлення аудіокадрів за часовими мітками до запуску STT.
- Налаштуйте виділення пам'яті клієнта для буферизації згенерованого аудіо (близько 1 МБ на кожні дві хвилини потоку Opus).
Назви кроків узяті з блоку «Що зробити сьогодні».
Назви кроків узяті з блоку «Що зробити сьогодні». Протестуйте протокол Media over QUIC або потокове передавання фрагментів через WebSocket, якщо ваш голосовий агент втрачає слова на мобільних мережах.. Перевірте, чи використовує ваш конвеєр стандартний буфер NetEQ, чи забезпечує повне відновлення аудіокадрів за часовими мітками до запуску STT.. Налаштуйте виділення пам'яті клієнта для буферизації згенерованого аудіо (близько 1 МБ на кожні дві хвилини потоку Opus).
- Протестуйте протокол Media over QUIC або потокове передавання фрагментів через WebSocket, якщо ваш голосовий агент втрачає слова на мобільних мережах.
- Перевірте, чи використовує ваш конвеєр стандартний буфер NetEQ, чи забезпечує повне відновлення аудіокадрів за часовими мітками до запуску STT.
- Налаштуйте виділення пам'яті клієнта для буферизації згенерованого аудіо (близько 1 МБ на кожні дві хвилини потоку Opus).
Що каже спільнота
Size is the tough part. These models require 256GB+ of vram, but other then that I think it's possible!
This is for communicating with agents and inference, not just dictation.
Until then, anyone (including OpenAI) trying to use WebRTC for human<->bot communication may run into issues.
