Дослідження Google: активне опитування агентом перевершує звичайні запити до LLM за точністю
Google Research оцінила п'ять стратегій промптингу агентів Gemini Flash 2.0 на 13 917 учасниках для діагностичного опитування. Результати показали, що активне уточнення інформації агентом значно перевершує стандартні відповіді базової моделі за точністю.
Вплив: Середній
Чому це важливо
Розробникам штучного інтелекту варто впроваджувати багатокрокові сценарії уточнення, а не покладатися на одноразові генерації мовної моделі.
TL;DR
- 01Багатокрокове уточнення суттєво підвищує точність відповідей порівняно з одноразовими промптами.
- 02Динамічні уточнювальні запитання агента ефективніші за статичні переліки запитань.
- 03Агентне опитування дає найбільший приріст точності у складних випадках з низькою впевненістю.
Ключові факти
- Учасники дослідження
- 13 917
- Базова модель
- Gemini Flash 2.0
- Частка переваги лікарів
- >50%
Архітектура промптингу агентів
Google Research структурувала дослідження SymptomAI за п'ятьма стратегіями промптингу на базі Gemini Flash 2.0:
Dynamic LiveтаDynamic Final: повна автономія для довільних уточнювальних запитань.Fixed CanonicalтаFlexible Canonical: структуровані запитання за рамковими протоколами.Base: стандартний чат-бот без активного опитування.
Ключові метрики оцінки
- Участь 13 917 підтверджених респондентів.
- Лікарі віддали перевагу дифдіагнозам SymptomAI порівняно з діагнозами колег-лікарів у понад 50% випадків.
- Агентні стратегії опитування стабільно перевершували стандартний
Baseрежим за метриками точності top-5.
✓ Коли використовувати
- Проєктування розмовних AI-агентів, яким потрібно зібрати повний контекст користувача перед прийняттям рішень
- Побудова агентних сценаріїв, де початковий ввід користувача є неповним або неоднозначним
✕ Коли НЕ варто
- Побудова систем із низькою затримкою, де багатопотоковий діалог створює неприпустимі затримки
- Прості детерміновані інструменти, де вхідні параметри чітко визначені
Що зробити сьогодні
- Оновіть системні промпти агентів, додавши крок обов'язкового уточнення контексту перед відповіддю.
- Протестуйте точність ваших агентів після впровадження динамічних уточнювальних запитань.
Джерела