Perplexity та NVIDIA представили JOLT: навчання моделей зі зниженням витрат у 6,5 раза
Perplexity та NVIDIA представили Joint On-Policy Learning and Teaching (JOLT) — підхід до оптимізації, в якому одна модель одночасно виступає і вчителем, і учнем. Ця архітектура скорочує витрати на пост-тренування в 6,5 раза порівняно зі звичайними схемами дистиляції. Вона дозволяє швидко оновлювати політики без дублювання моделей.
Чому це важливо
Суттєво скорочуйте бюджет на пост-тренування моделей, використовуючи об'єднані пайплайни он-полісі навчання без окремого вчителя.
TL;DR
- 01Тренуйте одну нейромережу як вчителя і учня для усунення накладних витрат на синхронізацію.
- 02Знижуйте обчислювальні витрати на пост-тренування та вирівнювання моделей у 6,5 раза.
- 03Позбудьтеся необхідності розгортати окремі великі інстанси вчителів під час он-полісі навчання.
Архітектура подвійної ролі знижує витрати на тренування
Фреймворк Joint On-Policy Learning and Teaching (JOLT), розроблений Perplexity та NVIDIA, тренує одну модель одночасно як вчителя та учня. Завдяки об'єднанню генерації навчальних сигналів та оптимізації політики в єдиному середовищі, метод забезпечує зниження витрат на тренувальні обчислення в 6,5 раза порівняно з класичними системами дистиляції.
✓ Коли використовувати
- Під час пост-тренування чи дистиляції моделей в умовах обмеженого бюджету на GPU-кластери.
- Для тренування моделей, що постійно вдосконалюються, без підтримки окремих інстансів вчителів.
✕ Коли НЕ варто
- Для звичайного тонкого налаштування (supervised fine-tuning) на невеликих статичних датасетах.
- Під час дистиляції гігантської закритої флагманської моделі у надкомпактну edge-модель.
Що зробити сьогодні
- Оцініть можливість консолідації існуючих схем дистиляції в он-полісі архітектури з єдиною моделлю.
- Відстежуйте динаміку функції втрат дистиляції для запобігання підтверджувальному упередженню під час самонавчання.