Oleksandr Kuzmenko, РедакторОпубліковано 3 хв читанняЗа участі AI · перевірено редактором
TL;DR
- Стандартні промпти асистента часто призводять до надмірної допомоги та передчасного виконання задач
- Явне визначення умов допомоги в системному промпті суттєво підвищує точність дій агента
- Використовуйте відкритий пайплайн TutorMoments для оцінки поведінки власного агента
Ключові факти
- Транскрипти датасету
- 462 текстові транскрипти
- Анотовані моменти
- Понад 1 500 точок прийняття рішень
- Оцінені LLM
- 7 мовних моделей
- Оцінка допомоги людей-тьюторів
- 0.458
- Оцінка вимогливості людей-тьюторів
- 0.182
Джерело: Ключові факти — Оцінені LLM
Джерело: Ключові факти. Оцінені LLM: 7 мовних моделей. Кожне число скопійоване з історії.
- Оцінені LLM7 мовних моделей
Джерело: Ключові факти — Оцінка допомоги людей-тьюторів, Оцінка вимогливості людей-тьюторів
Джерело: Ключові факти. Оцінка допомоги людей-тьюторів: 0.458. Оцінка вимогливості людей-тьюторів: 0.182. Графік порівнює лише значення з однаковою одиницею. Кожне число скопійоване з історії.
Міні-графік метрик
- 0.458Оцінка допомоги людей-тьюторів
- 0.182Оцінка вимогливості людей-тьюторів
- Оцінка допомоги людей-тьюторів0.458
- Оцінка вимогливості людей-тьюторів0.182
Баланс між допомогою та автономією
Інститут Аллена представив TutorMoments — відкритий бенчмарк оцінки того, як LLM балансують між допомогою користувачеві та підтримкою автономного рішення проблем. Створений на основі 462 транскриптів та 1 500+ анотованих точок прийняття рішень, фреймворк вимірює поведінку моделей у мульти-турнірних симуляціях.
Вплив структури промпту
Тестування семи провідних LLM показало, що стандартні промпти 'корисного асистента' демонструють низьку точність вибору моменту для допомоги. Проте використання спеціальних оціночних промптів суттєво підвищило показники всіх моделей:
- Базовий рівень людини: Допомога
0.458, Вимогливість0.182 - Ефект оціночного промпту: Покращення відповідності дій та точності прийняття рішень для всіх моделей
Коли використовувати
- Проектування системних промптів для інтерактивних AI-асистентів та тьюторів
- Бенчмаркінг інтерактивних LLM-агентів для запобігання передчасному вирішенню задач
Коли НЕ варто
- Оцінка детермінованих фонових конвеєрів обробки даних
- Прості завдання виконання дій без участі користувача
Що зробити сьогодні
- Клонуйте репозиторій TutorMoments у GitHub для тестування логіки оцінки агентів
- Оновіть системні промпти агентів чіткими правилами стосовно того, коли ставити уточнювальні запитання, а коли виконувати код
Назви кроків узяті з блоку «Що зробити сьогодні».
Назви кроків узяті з блоку «Що зробити сьогодні». Клонуйте репозиторій TutorMoments у GitHub для тестування логіки оцінки агентів. Оновіть системні промпти агентів чіткими правилами стосовно того, коли ставити уточнювальні запитання, а коли виконувати код
- Клонуйте репозиторій TutorMoments у GitHub для тестування логіки оцінки агентів
- Оновіть системні промпти агентів чіткими правилами стосовно того, коли ставити уточнювальні запитання, а коли виконувати код