Як працює статистичне маркування LLM і чому легкий парафраз його не видаляє
Інтерактивний аналіз показує, як моделі Claude та Gemini вбудовують статистичні водяні знаки через зміщення ймовірностей токенів за допомогою секретних ключів. Детекція спирається на k-gram вікна, тому лише повний семантичний перепис видаляє маркування.
Вплив: Середній
Чому це важливо
Зрозумійте принцип роботи водяних знаків при семплінгу моделей та чому детекція на основі вікон стійка до поверхневих редагувань.
TL;DR
- 01Водяні знаки вбудовуються під час семплінгу токенів без додавання метаданих чи зміни символів.
- 02Для перевірки статистичного зміщення детектору необхідний приватний ключ провайдера.
- 03Лише повний семантичний перепис руйнує суміжні n-gram вікна достатньо для скидання детекції.
Ключові факти
- Вцілілі вікна KGW
- 0.5% після повного перепису
- Поріг детекції
- ~1500 слів для слабкого зміщення
- Власність ключа
- Необхідний ключ провайдера
Семплінг токенів та секретні ключі
Під час генерації речень мовна модель вибирає наступні токени з короткаго списку кандидатів. Алгоритми маркування використовують секретний ключ на основі попередніх слів, щоб розділити кандидати на червоні та зелені, зміщуючи ймовірність на користь останніх.
Механіка детекції та пороги контексту
Детекція не спирається на стилістичні припущення, а перераховує кольори токенів за допомогою ключа:
- Короткі тексти та код: Не мають достатньої варіативності для надійного вбудовування маркування.
- Довгі тексти (>1500 слів): Забезпечують високу статистичну точність навіть при мінімальному зміщенні ймовірностей.
- Легкий парафраз: Не видаляє маркування, оскільки суміжні n-gram вікна залишаються недоторканими.
- Повний семантичний перепис: Видаляє маркер, руйнуючи понад 99.5% оригінальних послідовностей токенів.
✓ Коли використовувати
- Для оцінки того, чи видаляє поверхневе редагування слід маркування LLM
- При побудові систем аудиту та верифікації штучно згенерованої документації
✕ Коли НЕ варто
- При аналізі вихідного коду або детермінованих структур даних з нульовою варіативністю токенів
Що зробити сьогодні
- Проведіть аудит автоматизованих сценаріїв генерації контенту, якщо потрібне повне семантичне переформулювання.
Джерела