Автоматизація вилучення еталонних даних за допомогою подвійного LLM-шлюзу та агентного арбітражу
Проєкт dnb-toc-ground-truth демонструє гібридний пайплайн, що об'єднує дві незалежні візуальні LLM із порогом узгодження 90% для структурованого вилучення даних. Розбіжності автоматично ескалюються до мультимодального агента на кшталт Claude для арбітражу, що дозволяє створювати якісні набори даних для файнтюнінгу легких моделей.
Чому це важливо
Ви можете суттєво скоротити витрати на структуроване вилучення даних, залишаючи дорогих передових LLM-агентів виключно для вирішення розбіжностей між меншими візуальними моделями.
TL;DR
- 01Використовуйте консенсус двох LLM для автоматичного фільтрування високоточних результатів.
- 02Ескалюйте сумнівні або розбіжні результати розпізнавання до мультимодальних агентів.
- 03Проводьте файнтюнінг менших моделей на кшталт NuExtract3 на еталонних даних від агентів.
Ключові факти
- Поріг узгодження авто-шлюзу
- 90%
- Обсяг вибірки оцінених книг
- 54 з 547
- Середня F1-оцінка Crossref
- 76%
- Середня точність Crossref
- 85%
- Середня повнота Crossref
- 77%
Шлюз узгодження двох моделей
Для масштабованої генерації еталонних даних пайплайн запускає дві окремі візуальні LLM — Qwen/Qwen3-Omni-30B-A3B-Instruct та mistralai/Mistral-Small-3.2-24B-Instruct-2506 — на однакових зображеннях сторінок змісту. Результати порівнюються за допомогою dnb_toc_ground_truth.matching.gate_books. Якщо рівень збігу елементів становить 90% або більше, об'єднаний JSON зберігається напряму (source: bulk_gate).
Агентний арбітраж та LoRA-дистиляція
Якщо початковий шлюз узгодження не спрацьовує або моделі розходяться, пайплайн викликає мультимодального AI-агента, такого як Claude (source: agent_arbitration). Агент аналізує оригінальні зображення та створює еталонну транскрипцію. Отримані дані потім використовуються для LoRA файнтюнінгу менших вузькоспеціалізованих моделей вилучення, таких як numind/NuExtract3.
Зовнішня верифікація через Crossref
Щоб перевірити якість вилучення незалежно від внутрішньої узгодженості LLM, скрипти cli/backfill_crossref.py та cli/evaluate_crossref.py порівнюють еталонні дані з поглавними метаданими Crossref. На початковій вибірці з 54 книг із повними метаданими досягнуто середньої точності (precision) 85%, повноти (recall) 77% та F1-оцінки 76%.
Спробуй за 2 хвилини
uv run python cli/evaluate_crossref.py --all-modelsbash
✓ Коли використовувати
- При створенні великомасштабних пайплайнів структурованого вилучення даних зі сканованих PDF або зображень.
- При підготовці наборів даних для файнтюнінгу малих спеціалізованих моделей із мінімальними витратами на API.
✕ Коли НЕ варто
- При обробці простих текстових документів, що не потребують мультимодального візуального зіставлення.
- Коли бюджет дозволяє запускати всі документи напряму через топові агентні моделі.
Що зробити сьогодні
- Запустіть uv run python cli/evaluate_crossref.py для тестування пайплайнів оцінки вилучення.
- Впровадьте поріг розбіжностей 90% між двома візуальними LLM перед викликом дорогого агента.