Apertus 1.5 отримав пiдтримку мультимодальностi, режим мiркування та контекст 262K
Консорцiум Swiss AI випустив Apertus 1.5 у конфiгурацiях 8B та 70B пiд лiцензiєю Apache 2.0, додавши нативну обробку зображень i звуку разом iз режимом покрокового мiркування. Оновлення розширює контекстне вiкно до 262 144 токенiв i вiдкриває повнi рецепти навчання, промiжнi чекпоїнти та стандартизованi звiти оцiнки.
Чому це важливо
Тепер ви можете розгортати повнiстю вiдкриту мультимодальну модель мiркування з контекстом 262k токенiв на власнiй iнфраструктурi без комерцiйних обмежень.
TL;DR
- 01Ваги моделей Apertus 1.5 8B та 70B, датасети й промiжнi чекпоїнти випущенi пiд лiцензiєю Apache 2.0.
- 02Раннє злиття токенiзує зображення 512x512 у 1024 токени, а аудiо — зi швидкiстю 40 токенiв/с.
- 03Контекстне вiкно збiльшено вчетверо до 262 144 токенiв iз додаванням опцiонального режиму мiркування.
Ключові факти
- Контекстне вiкно
- 262 144 токени
- Конфiгурацiї моделi
- 8B та 70B параметрiв
- Загальний обсяг тренування
- 19T токенiв (8B) / 17T токенiв (70B)
- Щiльнiсть токенiв зображень
- 1024 токени на роздiльнiсть 512x512
- Швидкiсть токенiзацiї аудiо
- 40 токенiв на секунду
- Лiцензiя
- Apache 2.0
Архiтектура раннього злиття
Apertus 1.5 вiдмовляється вiд окремих енкодерiв зображень на користь прямого перетворення мультимодальних потокiв у дискретнi токени базового словника. Токенiзатор Emu3.5 перетворює зображення 512x512 на 1024 токени, а аудiо потiк обробляється через WavTokenizer iз щiльнiстю 40 токенiв на секунду. Модель пiдтримує мультимодальне сприйняття, але генерує вiдповiдi виключно у виглядi тексту.
Подальше донавчання та розширення контексту
Модель пройшла етап тривалого донавчання: 4 трильйони додаткових токенiв для версiї 8B та 2 трильйони для 70B, досягнувши сумарного обсягу 19T та 17T токенiв. Навчальний пайплайн включав чотири фази: 1. Незалежнi послiдовностi тексту, аудiо та зображень 2. Зiставлення пар зображення-опис та аудiо-транскрипцiя 3. Фiнальний етап на високоякiсному кодi та математицi 4. Поступове збiльшення контекстного вiкна з 8192 до 262 144 токенiв
Верифiковане пост-тренування та робота з iнструментами
Етап SFT охопив 3,7 млн прикладiв iз траєкторiями виклику API, перевiреними на практицi. Фаза RLVR охопила 350 000 завдань для оцiнки коду й логiки. Iнженери можуть вмикати нативний режим мiркування, щоб модель генерувала ланцюжок думок перед вiдповiддю.
Спробуй за 2 хвилини
from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "swiss-ai/Apertus-1.5-8B-Instruct"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype="auto", device_map="auto")
messages = [{"role": "user", "content": "Analyze this architecture diagram."}]
prompt = tokenizer.apply_chat_template(messages, add_generation_prompt=True, tokenize=False)
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
outputs = model.generate(**inputs, max_new_tokens=512)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))python
✓ Коли використовувати
- Використовуйте, якщо потрiбнi повнiстю прозорi вiдкритi ваги та лiцензiя Apache 2.0.
- Застосовуйте для аналiзу великих документiв, що вимагають одночасної обробки зображень, аудiо та логiки.
✕ Коли НЕ варто
- Не використовуйте, якщо потрiбна пряма генерацiя зображень або синтез аудiо на виходi.
- Не намагайтеся запускати неквантовану модель 70B на системах iз VRAM менше 160 ГБ.
Що зробити сьогодні
- Перегляньте колекцiю моделей Apertus 1.5 на Hugging Face для завантаження ваг Apache 2.0.
- Протестуйте локальне розгортання чекпоїнта 8B для розбору документiв i задач мiркування.
- Перевiрте виклики зовнiшнiх iнструментiв за допомогою оприлюднених перевiрених датасетiв SFT.