Аналіз критики Джорджа Хотца щодо вартості та ефективності агентів розробки ПЗ
Відомий розробник Джордж Хотц попереджає, що інтеграція автономних ШІ-агентів у процеси розробки є дорогою помилкою через роздуття контексту та нескінченні цикли. Оптимізуйте межі промптів.
Чому це важливо
Ви можете запобігти неконтрольованим витратам на роботу агентів, встановивши суворі ліміти ітерацій та розбиваючи масштабні завдання на простіші промпти.
TL;DR
- 01Встановлюйте жорсткий ліміт у 3-5 ітерацій для будь-го автономного циклу агента перед запитом підтвердження
- 02Не просіть агентів рефакторити великі бази коду без явного закріплення конкретних файлів у контексті
- 03Контролюйте споживання токенів у реальному часі за допомогою дашбордів кешування промптів
Вартість автономності
Джордж Хотц виділив критичний недолік у поточних архітектурах ШІ-агентів: експоненціальне зростання витрат. У середовищах із безперервними циклами кожна ітерація додає історичний контекст, включаючи структури файлів та журнали інструментів, що швидко споживає токени та збільшує витрати.
Уникнення пасток циклів
Агенти часто потрапляють у «цикли галюцинацій», де вони перекомпілюють один і той самий неробочий код. Рішення полягає у відмові від автономних агентних потоків із відкритим кінцем. Натомість визначте детерміновані умови виходу для кожного циклу виконання інструменту.
Архітектура 'Human-in-the-loop'
Ефективність досягається, якщо розглядати агентів як інструменти з визначеною областю дії, а не як автономних інженерів. Обмежуйте сферу діяльності агента невеликими ізольованими завданнями та вимагайте перевірки людиною між циклами компіляції. Такий підхід «людина як архітектор» запобігає неконтрольованому споживанню токенів, про що попереджають експерти.
✓ Коли використовувати
- Для невеликих рефакторингових завдань
- Коли є можливість нагляду людиною