Oleksandr Kuzmenko, РедакторОпубліковано 4 хв читанняЗа участі AI · перевірено редактором
TL;DR
- Не покладайтеся на параметричну пам'ять для цитувань; інтегруйте зовнішні API
- Впроваджуйте пост-хок аудит для незалежного повторного запуску згенерованого коду
- Використовуйте LLM-суддів для зіставлення текстового опису з реальним вихідним кодом
Ключові факти
- Рівень галюцинацій цитувань базових систем
- до 21%
- Рівень галюцинацій цитувань Science One
- 0%
- Медалі на MLE-Bench
- 2 золоті, 2 срібні
Джерело: Ключові факти — Рівень галюцинацій цитувань Science One
Джерело: Ключові факти. Рівень галюцинацій цитувань Science One: 0%. Кожне число скопійоване з історії.
- Рівень галюцинацій цитувань Science One0%
Заземлення через зовнішні API
Science One не покладається на параметричну пам'ять для цитувань. Модуль Problem Investigator робить запити до Semantic Scholar API, аналізуючи до 100 повнотекстових PDF-документів. Це знизило рівень фантомних посилань з 21% у базових системах до 0%.
Ізольовані дослідження та верифікація тверджень
Двигун Discovery оцінює паралельні гілки розв'язання задач, зберігаючи результати у логах лише для читання. Перед формуванням фінального тексту модуль Claim Verifier додає інлайн-теги доказів, які зв'язують кожну метрику та опис методу з вихідним кодом.
Чотири етапи CoE Audit
Протокол пост-хок аудиту перевіряє цілісність артефактів: 1. Score Verification: Повторно запускає код для підтвердження метрик. 2. Specification Check: Перевіряє відсутність маніпуляцій з метриками оцінювання. 3. Reference Verification: Перевіряє цитування через наукові API. 4. Method-Code Alignment: Використовує LLM-суддів для зіставлення текстового опису з вихідним кодом.
Коли використовувати
- Розробка автономних агентів для досліджень та Data Science
- Автоматизація складних процесів генерації коду, що потребують аудиту
Коли НЕ варто
- Прості однокрокові промпти, де критична мінімальна затримка
- Сесії творчого брейнштормінгу без вимог суворої верифікації
Що зробити сьогодні
- Інтегруйте перевірку цитувань через API перед генерацією підсумкового markdown
- Додайте автоматичний повторний запуск коду в пайплайн агента для перевірки реальних метрик
Назви кроків узяті з блоку «Що зробити сьогодні».
Назви кроків узяті з блоку «Що зробити сьогодні». Інтегруйте перевірку цитувань через API перед генерацією підсумкового markdown. Додайте автоматичний повторний запуск коду в пайплайн агента для перевірки реальних метрик
- Інтегруйте перевірку цитувань через API перед генерацією підсумкового markdown
- Додайте автоматичний повторний запуск коду в пайплайн агента для перевірки реальних метрик