Oleksandr Kuzmenko, РедакторОпубліковано 7 хв читанняЗа участі AI · перевірено редактором
TL;DR
- Luna виявила 75% від кількості багів Astra (69 проти 92 зі 143) за 3.6% загальної вартості.
- Рівень хибних зауважень у Luna склав 25.8% проти 4.2% в Astra.
- Luna пропустила більшість проблем безпеки, зафіксувавши лише 9 із 24 (проти 19 в Astra).
- Запуск обох моделей на кожному PR дозволив виявити 117 зі 143 багів (82%) за $5.86 сумарно.
Ключові факти
- Вартість GPT-5.6 Luna
- $0.20 вхід / $1.20 вихід за 1M токенів
- Вартість GPT-6 Astra
- $10 вхід / $50 вихід за 1M токенів
- Середня вартість рев'ю
- $0.0041 (Luna) проти $0.113 (Astra)
- Середня затримка рев'ю
- 23 с (Luna) проти 36 с (Astra)
- Виявлення багів безпеки
- 9/24 (Luna) проти 19/24 (Astra)
- Частка хибних спрацьовувань
- 24/93 (25.8%) для Luna проти 4/96 (4.2%) для Astra
Співвідношення ціни та затримки
GPT-5.6 Luna коштує $0.20 за 1M вхідних токенів і $1.20 за 1M вихідних токенів, тоді як GPT-6 Astra оцінюється в $10 на вході та $50 на виході. На 50 тестових PR із дефектами перевірка Luna коштувала сумарно $0.20 ($0.0041 за PR) проти $5.66 ($0.113 за PR) для Astra. Час аналізу Luna склав 23 секунди проти 36 секунд в Astra.
Рівень виявлення та сліпі зони безпеки
Luna знайшла 69 підтверджених багів (75% від результату Astra), тоді як Astra виявила 92 зі 143 загальних зафіксованих дефектів. Разом із тим Luna продукувала значно більше шуму: 24 із 93 її зауважень були відхилені верифікаторами порівняно з 4 помилками з 96 в Astra. Розподіл знайдених проблем за категоріями:
- Дані та логіка: Luna — 39; Astra — 47.
- Конкурентність: Luna — 10; Astra — 13.
- Безпека: Luna — 9 із 24; Astra — 19 із 24.
У тестах Keycloak, де зміни стосувалися авторизації, Luna виявила лише 6 валідних багів проти 14 у Astra, маючи 50% хибних спрацьовувань. Luna пропустила незаблоковані коди відновлення та помилку перекриття глобальних прав доступу.
Ефект від комбінування моделей
Примітно, що 25 валідних багів були помічені виключно Luna (наприклад, стан гонитви з робочими потоками в Sentry). Запуск обох моделей на кожному pull request дозволив би виявити 117 зі 143 підтверджених дефектів (82%) сумарно за $5.86 ($0.20 за Luna плюс $5.66 за Astra), додавши 25 унікальних знайдених помилок.
Коли використовувати
- Для масового та економного пошуку базових помилок логіки та обробки даних у повсякденних змінах коду.
Коли НЕ варто
- Під час рев'ю критичного коду авторизації, перевірки токенів або криптографічних функцій без додаткової перевірки.
Що зробити сьогодні
- Уникайте використання бюджетних моделей наодинці для коду автентифікації, прав доступу та безпеки.
- Розгляньте можливість паралельного запуску моделей для виявлення взаємодоповнюючих помилок у логіці та конкурентності.
Назви кроків узяті з блоку «Що зробити сьогодні».
Назви кроків узяті з блоку «Що зробити сьогодні». Уникайте використання бюджетних моделей наодинці для коду автентифікації, прав доступу та безпеки.. Розгляньте можливість паралельного запуску моделей для виявлення взаємодоповнюючих помилок у логіці та конкурентності.
- Уникайте використання бюджетних моделей наодинці для коду автентифікації, прав доступу та безпеки.
- Розгляньте можливість паралельного запуску моделей для виявлення взаємодоповнюючих помилок у логіці та конкурентності.