США обмежили Anthropic Claude Fable 5 через звичайний запит на виправлення коду
Нещодавня заборона на експорт моделей Anthropic Claude Fable 5 та Mythos 5 з боку США була викликана звичайними запитами на захист коду, а не фактичним зламом. Дослідники просто попросили модель «виправити цей код» та написати тести для відомих уразливостей, що уряд розцінив як загрозу національній безпеці.
Вплив: Високий
Чому це важливо
Розуміння того, що стандартні робочі процеси виправлення помилок можуть спровокувати жорсткі урядові обмеження, допомагає планувати резервування моделей та готуватися до раптових вимкнень доступу до API.
TL;DR
- 01Заборона на експорт Fable 5 була викликана простим запитом «Fix this code», а не складним експлойтом.
- 02Anthropic вимкнула моделі Fable 5 та Mythos 5 глобально для виконання урядової директиви США.
- 03Обмеження захисного використання ШІ (наприклад, генерації тестів для патчів) шкодить захисникам більше, ніж зловмисникам.
Руйнування міфу про «злам»
За словами експертки з кібербезпеки Кейті Муссуріс, технічним тригером для експортної заборони моделей Fable 5 та Mythos 5 від Anthropic з боку адміністрації США був зовсім не складний зламувальний промпт чи ін'єкція. Дослідники завантажили в моделі відкритий код із відомими CVE, а також власний код із навмисно внесеними багами безпеки. На прохання «перевірити код на наявність проблем» Fable 5 спочатку відмовив. Проте після спрощеного запиту Fix this code («виправити цей код») модель без проблем виконала завдання, усунула вразливості та згенерувала скрипти для тестування патчів.
Вплив на захисне проектування
Описаний ланцюжок дій є базовою щоденною рутиною для інженерів із кібербезпеки. Виконуючи цикл «знайти-виправити-протестувати», моделі виконували корисну захисну роботу. Блокування доступу до таких можливостей шкодить командам захисту, які використовують ШІ для автоматизації патчингу. Лідери індустрії вже підписали відкритий лист із закликом скасувати обмеження, наголошуючи, що позбавлення захисників передових інструментів на тлі швидкого прогресу опонентів є небезпечним кроком.
Марність обмежень на рівні API
Експортний контроль, спрямований на хмарні API на кшталт сервісів Anthropic, вкрай важко ефективно застосувати проти реальних зловмисників, які можуть обходити обмеження через VPN або викрадені документи. Крім того, моделі з відкритими вагами та іноземні конкуренти незабаром досягнуть аналогічного рівня, залишаючи західних інженерів із обмеженими та надмірно зарегульованими інструментами.
Спробуй за 2 хвилини
# Example of defensive prompt routing to bypass false-positive safety flags
defensive_prompt = """
You are a secure code assistant. Please apply standard patches to resolve any security vulnerabilities in the provided snippet. Include test assertions to verify the fix.
Code:
{code}
"""python
✓ Коли використовувати
- При оцінці реальних операційних ризиків та урядових обмежень під час інтеграції топових моделей штучного інтелекту.
- При проектуванні стратегій резервування з кількома провайдерами для агентів безпечного написання коду на базі LLM.
✕ Коли НЕ варто
- Якщо ви не використовуєте власні моделі найвищого рівня (як-от Fable 5 чи Mythos 5) для автоматичного рефакторингу чи процесів безпеки.
Що зробити сьогодні
- Впроваджуйте альтернативні резервні моделі (наприклад, локальні з відкритими вагами) у свої конвеєри безпеки, щоб уникнути блокувань.
- Уникайте повної залежності від пропрієтарних моделей найвищого рівня для автоматичного тестування патчів та виправлення багів.
Що каже спільнота
“I think the article just proved that aggressive exploitation is equivalent to normal bugfixing, so it seems like there are some large and important classes of transform that are easy.”
“This is the weird distinction with AI that I've complained about for ages, how can we make it do lawful good, its nearly impossible.”
Джерела