Чи можуть великі мовні моделі перевершити класичні алгоритми оптимізації гіперпараметрів?
Новий бенчмарк порівнює LLM з баєсівською оптимізацією та випадковим пошуком для налаштування моделей машинного навчання. Надиво, LLM використовують апріорні знання про типові структури наборів даних для швидшої збіжності до оптимальних конфігурацій.
Вплив: Середній
Чому це важливо
Тепер ви можете використовувати пошук на базі LLM для оптимізації коду, структури промптів та гіперпараметрів ML з меншою кількістю тестових запусків.
TL;DR
- 01LLM чудово підходять для холодного старту пошуку гіперпараметрів, оскільки вони розуміють семантичне значення змінних.
- 02Гібридні підходи, які використовують LLM для визначення початкових меж пошуку та Optuna для їхнього уточнення, забезпечують найкраще співвідношення вартості та ефективності.
- 03Накладні витрати на токени API та обмеження контекстного вікна залишаються головними вузькими місцями для суто LLM-оптимізації.
Обмеження чистого пошуку за допомогою LLM
У систематичному дослідженні на базі фреймворку autoresearch вчені порівняли класичні алгоритми оптимізації гіперпараметрів (HPO), такі як CMA-ES та TPE, із сучасними LLM, включаючи Claude Opus 4.6 та Gemini 3.1 Pro Preview. У межах фіксованого простору пошуку класичні методи стабільно перевершували чисті LLM-агенти, головним чином тому, що мовні моделі мають труднощі з відстеженням стану оптимізації між випробуваннями.
Представлення Centaur: гібридне рішення
Щоб подолати ці обмеження, автори представили «Centaur» — гібридний метод, який передає мовній моделі інтерпретований внутрішній стан алгоритму CMA-ES (зокрема, вектор середнього, розмір кроку та коваріаційну матрицю).
Висока ефективність малих моделей
На подив, крихітної LLM на 0,8 млрд параметрів у поєднанні з Centaur виявилося достатньо, щоб перевершити як чисті класичні методи HPO, так і чисті рішення на базі LLM. Водночас пряме неконтрольоване редагування коду залишається серйозним викликом і вимагає моделей флагманського рівня для конкуренції.
Що зробити сьогодні
- Впровадьте гібридний пайплайн оптимізації за допомогою LLM для генерації початкових параметрів промптів або конфігурацій ML.
- Порівняйте швидкість класичного пошуку Optuna з 5-кроковим алгоритмом під керівництвом LLM.