Зашифровані трейси міркувань в API LLM розкривають секретні дані
Дослідники виявили, що зашифровані блоки міркувань в API LLM можна повторно відтворити у зламаних менших моделях для витягування сирих думкових трейсів. Аналіз публічних траєкторій агентів виявив сотні відкритих API-ключів та паролів.
Вплив: Високий
Чому це важливо
Негайно проведіть аудит траєкторій агентів та очистіть промпти, щоб запобігти витоку конфіденційних даних через зашифровані блоки міркувань.
TL;DR
- 01Зашифровані блоки міркувань в API LLM можна декодувати шляхом відтворення у слабших моделях
- 02Аналіз траєкторій виявив 704 конфіденційні артефакти, зокрема 62 API-ключі та 33 паролі
- 03Очищуйте промпти та контекст коду перед відправкою даних у ланцюжки агентів
Ключові факти
- Проаналізовано траєкторій
- 6 708
- Відновлено блоків міркувань
- 315 320
- Знайдено приватних артефактів
- 704
- Викрито API-ключів
- 62
Витік трейсів міркувань через ін'єкцію блоків
API моделей повертають приховані міркування у зашифрованих блоках для збереження контексту між запитами. Проте ці блоки є портативними: передача signed-блока зламаній меншій моделі дозволяє повністю декодувати внутрішній текст міркувань.
Витягнуті ключі з публічних траєкторій
Аналіз 6 708 публічних траєкторій агентів виявив 315 320 блоків міркувань та 704 конфіденційні артефакти, серед яких 62 API-ключі, 33 паролі та 24 токени доступу. Розробники помилково вважають зашифровані блоки безпечними, але секрети з промптів потрапляють у приховані трейси моделей.
Спробуй за 2 хвилини
grep -RIn -E "AKIA[0-9A-Z]{16}|ghp_[a-zA-Z0-9]{36}|hf_[a-zA-Z0-9]{34}" ./agent_logs/bash
✓ Коли використовувати
- При аудиті безпеки та політик збереження логів для агентних застосунків
- При тестуванні LLM API на вразливості та перевірці меж токенів міркування
Що зробити сьогодні
- Проведіть аудит репозиторіїв GitHub та Hugging Face на наявність публічних логів траєкторій із зашифрованими блоками міркувань
- Впровадьте клієнтську очистку секретів, API-ключів та змінних середовища перед передачею промптів моделям
Що каже спільнота
“LLM does not work on encrypted tokens. It happens at the API gateway.”
“We have its actual reasoning traces, and we have these psudotraces, distribution / nativeness is testable now”
Джерела