Агент Hermes інтегрує динамічний пошук інструментів для зниження витрат токенів у вікні контексту

У міру розширення можливостей ШІ-агентів виникає серйозне обмеження: роздування схем інструментів. Передача десятків детальних JSON-специфікацій у системному промпті погіршує роботу моделі та роздуває витрати. Команда Nous Research вирішила цю проблему для Hermes Agent, представивши динамічний пошук інструментів. Тепер агент може шукати й завантажувати лише ті описи інструментів, які необхідні для поточного кроку виконання.\n\nПід капотом, замість отримання всіх схем інструментів при ініціалізації, Hermes Agent використовує патерн семантичного пошуку. Коли завдання розбирається, агент звертається до локальної векторної бази даних описів доступних інструментів, знаходячи найбільш підходящі. Потім він завантажує лише ці конкретні схеми в активне вікно контексту. Такий підхід робить системний промпт лаконічним, різко знижуючи витрати на вхідні токени.\n\nЯкщо ви керуєте роботою агента, який взаємодіє з корпоративними сервісами, базами даних та зовнішніми API, це оновлення є критично важливим. Замість того, щоб змушувати модель розбирати п'ятдесят різних схем на кожному кроці, система автоматично відсікає зайве. Ця оптимізація знижує витрати на токени та запобігає вибору неправильних інструментів через засмічення контексту.\n\nОднак це додає затримку на етапі пошуку інструментів. Якщо локальний векторний пошук інструментів налаштований погано або працює повільно, це збільшить час виконання операції ще до виклику основної моделі. Розробники повинні переконатися, що їхні локальні моделі ембеддінгу оптимізовані.\n\nЦе великий крок до створення комерційних систем агентів, які залишаються економічно вигідними навіть за наявності великих бібліотек інструментів.