Тестування вразливостей безпеки додатків за допомогою великих мовних моделей
Розробник витратив півтори тисячі доларів, перевіряючи, чи можуть LLM-агенти знаходити та експлуатувати вразливості додатків. Вони впоралися з базовими багами, але зазнали невдачі на складних логічних ланцюжках.
Чому це важливо
Ви можете використовувати агентні цикли для швидкого аудиту базових дірок у безпеці, але обов'язково встановлюйте жорсткі ліміти бюджету API, щоб уникнути великих рахунків.
TL;DR
- 01Встановлюйте жорсткий ліміт бюджету для агентних циклів безпеки, щоб запобігти безконтрольному зростанню витрат
- 02Повністю ізолюйте тестові бази даних і середовища перед дозволом агентним інструментам виконувати операції запису
- 03Проводьте аудит системних файлів і контролерів окремо, замість сканування всього коду в одному контекстному вікні
Параметри експерименту
Розробник провів 10 запусків для кожної моделі. Загальні витрати склали $1500. Моделі тестувалися на спеціальному додатку React Native/FastAPI з навмисною вразливістю доступу до Firebase.
Розбіжності в продуктивності
Результати значно відрізнялися між моделями. deepseek-v4-pro досяг 3/10 успішності. Дослідження показало, що хоча моделі ефективно виявляють загальні шаблони ін'єкцій, вони важко справляються з логічними помилками контролю доступу.
Вартість та запобіжники
Агентні цикли виявилися дуже неефективними. Моделі часто потрапляли в цикли повторюваних дій, спалюючи токени та не змінюючи стратегію.