Агент Hermes інтегрує динамічний пошук інструментів для зниження витрат токенів у вікні контексту
Фреймворк Hermes Agent додав функцію динамічного пошуку інструментів для завантаження лише потрібних схем. Це зберігає контекст промптів мінімальним та знижує витрати.
Чому це важливо
Ви можете кардинально знизити витрати токенів у промптах, інтегруючи лише ті описи інструментів, які реально потрібні вашому агенту для поточної задачі.
TL;DR
- 01Зберігайте складні схеми інструментів у локальній векторній базі даних замість передачі їх у системних промптах.
- 02Впроваджуйте динамічний пошук інструментів для вибору потрібних дій перед кожним викликом LLM.
- 03Оптимізуйте конфігурацію моделі ембеддінгу, щоб операції пошуку інструментів додавали мінімальну затримку.
Оптимізація вікна контексту
Передача надмірних JSON-схем у системні промпти є відомим вузьким місцем. Hermes Agent вирішує це шляхом впровадження механізму селективного завантаження, де інструменти вибираються на основі поточних вимог завдання.