Чи можуть великі мовні моделі перевершити класичні алгоритми оптимізації гіперпараметрів?
Новий бенчмарк порівнює LLM з баєсівською оптимізацією та випадковим пошуком для налаштування моделей машинного навчання. Надиво, LLM використовують апріорні знання про типові структури наборів даних для швидшої збіжності до оптимальних конфігурацій.
Чому це важливо
Тепер ви можете використовувати пошук на базі LLM для оптимізації коду, структури промптів та гіперпараметрів ML з меншою кількістю тестових запусків.
TL;DR
- 01LLM чудово підходять для холодного старту пошуку гіперпараметрів, оскільки вони розуміють семантичне значення змінних.
- 02Гібридні підходи, які використовують LLM для визначення початкових меж пошуку та Optuna для їхнього уточнення, забезпечують найкраще співвідношення вартості та ефективності.
- 03Накладні витрати на токени API та обмеження контекстного вікна залишаються головними вузькими місцями для суто LLM-оптимізації.
Обмеження чистого пошуку за допомогою LLM
У систематичному дослідженні на базі фреймворку autoresearch вчені порівняли класичні алгоритми оптимізації гіперпараметрів (HPO), такі як CMA-ES та TPE, із сучасними LLM, включаючи Claude Opus 4.6 та Gemini 3.1 Pro Preview. У межах фіксованого простору пошуку класичні методи стабільно перевершували чисті LLM-агенти, головним чином тому, що мовні моделі мають труднощі з відстеженням стану оптимізації між випробуваннями.
Представлення Centaur: гібридне рішення
Щоб подолати ці обмеження, автори представили «Centaur» — гібридний метод, який передає мовній моделі інтерпретований внутрішній стан алгоритму CMA-ES (зокрема, вектор середнього, розмір кроку та коваріаційну матрицю).
Висока ефективність малих моделей
На подив, крихітної LLM на 0,8 млрд параметрів у поєднанні з Centaur виявилося достатньо, щоб перевершити як чисті класичні методи HPO, так і чисті рішення на базі LLM. Водночас пряме неконтрольоване редагування коду залишається серйозним викликом і вимагає моделей флагманського рівня для конкуренції.
Що зробити сьогодні
- Впровадьте гібридний пайплайн оптимізації за допомогою LLM для генерації початкових параметрів промптів або конфігурацій ML.
- Порівняйте швидкість класичного пошуку Optuna з 5-кроковим алгоритмом під керівництвом LLM.