Oleksandr Kuzmenko, РедакторОпубліковано 6 хв читанняЗа участі AI · перевірено редактором
TL;DR
- Формулювання явних меж винятків настільки ж важливе, як і визначення цільових категорій у промптах для VLM.
- Активний пошук межових випадків за допомогою мультимодальних моделей виявляє слабкі місця швидше за випадкові тестові вибірки.
- Рішення щодо спірних кейсів можна автоматично передавати в цикл рефайменту системного промпту.
Ключові факти
- Сесії тестування
- 18 сесій із користувачами по 1,5 години кожна
- Тестові домени
- Оцінка здорової їжі та виявлення клікбейту Pay-to-Play
- Етапи архітектури
- Два етапи: Concept Scoping та Concept Iteration
- Ліцензія
- Код та алгоритми опубліковано у відкритому доступі на GitHub
Обмеження статичної розмітки у мультимодальних пайплайнах
Класичний підхід до машинного навчання сприймає людину як оракула з чіткими та незмінними критеріями. Проте в суб'єктивних задачах — таких як модерація вмісту, відповідність бренд-гайдам чи оцінка безпеки — межі понять змінюються залежно від контексту. Прості zero-shot промпти для мультимодальних моделей часто дають хибні результати, оскільки інженер не може передбачити всі граничні випадки на старті.
Двоетапна архітектура Agile Deliberation
Google Research розділила фреймворк Agile Deliberation на два послідовні етапи, що замінюють хаотичний підбір промптів:
- Структурування концепту (Concept Scoping): Загальна категорія декомпозується на позитивні підкатегорії та чіткі негативні обмеження. Наприклад, категорія здорової їжі розбивається на валідні класи (
Salads,Grain Bowls,Lean Proteins) та явні заборонені критерії (Processed Foods,Raw Unprepared Ingredients). - Ітерація через активний пошук меж (Concept Iteration): Замість випадкової вибірки пайплайн використовує VLM для цілеспрямованого виявлення семантично спірних зображень, які кидають виклик поточним правилам. Щойно людина вирішує долю межового прикладу (як-от фруктового смузі з цукром), вердикт автоматично потрапляє в цикл оптимізації системного промпту.
Результати практичного тестування
Google провела 18 сесій із користувачами тривалістю по 90 хвилин у двох суб'єктивних доменах: класифікація корисної їжі та виявлення клікбейту Pay-to-Play в ігровій індустрії. Порівняно з фіксованими zero-shot моделями та ручним редагуванням правил, розробники досягли суттєво вищої узгодженості розмітки та нижчої втоми, отримавши точніші класифікаційні промпти.
Спробуй за 2 хвилини
# Conceptual scoping schema for Agile Deliberation pipelines
policy_schema = {
"concept": "Healthy Food",
"in_scope": ["Salads", "Grain Bowls", "Lean Proteins"],
"out_of_scope_exclusions": ["Processed Foods", "Raw Unprepared Ingredients"],
"deliberation_strategy": "active_vlm_borderline_mining"
}Коли використовувати
- Розробка систем модерації зображень, фільтрації контенту чи оцінки візуальної естетики.
- Усунення неоднозначностей у продуктових правилах, які не описуються простими бінарними умовами.
- Калібрування промптів для мультимодальних моделей без ручного аналізу тисяч рядків у таблицях.
Що зробити сьогодні
- Переглянути відкритий репозиторій Agile Deliberation на GitHub від Google Research для пайплайнів комп'ютерного зору.
- Розділити суб'єктивні промпти на списки чітких позитивних підкатегорій та явних винятків.
- Впровадити етап активного тестування через VLM для пошуку крайових прикладів перед фіксацією промптів у продакшні.
Назви кроків узяті з блоку «Що зробити сьогодні».
Назви кроків узяті з блоку «Що зробити сьогодні». Переглянути відкритий репозиторій Agile Deliberation на GitHub від Google Research для пайплайнів комп'ютерного зору.. Розділити суб'єктивні промпти на списки чітких позитивних підкатегорій та явних винятків.. Впровадити етап активного тестування через VLM для пошуку крайових прикладів перед фіксацією промптів у продакшні.
- Переглянути відкритий репозиторій Agile Deliberation на GitHub від Google Research для пайплайнів комп'ютерного зору.
- Розділити суб'єктивні промпти на списки чітких позитивних підкатегорій та явних винятків.
- Впровадити етап активного тестування через VLM для пошуку крайових прикладів перед фіксацією промптів у продакшні.