Black Forest Labs випустила FLUX.3 Image Klein із керуванням макетом через Bounding Box
Black Forest Labs випустила FLUX.3 Image Klein із підтримкою в бібліотеці Hugging Face Diffusers з першого дня. Модель забезпечує точний контроль макета через нормалізовані bounding box, редагування за кількома референсами та роботу у FP8 і NVFP4.
Чому це важливо
Тепер можна задавати точну просторову композицію та координати об'єктів у згенерованих зображеннях через JSON прямо в промпті.
TL;DR
- 01Керування макетом реалізовано через нормалізовані JSON bounding box за шкалою 0–1000.
- 02Дистильований чекпоїнт створює кадр 1024x1024 приблизно за 2 секунди на NVIDIA H100.
- 03Формати FP8 та NVFP4 у single-file режимі знижують вимоги до VRAM на сучасних відеокартах.
Ключові факти
- Затримка дистильованої моделі
- ~2 с для 1024x1024 на H100
- Кількість кроків
- 16 (distilled), 50 (base)
- Квантування
- NVFP4, FP8 (fp8r), bfloat16
- Текстовий енкодер
- Qwen3-VL
- Шкала координат
- від 0 до 1000 (нормалізована)
Просторове керування через JSON Bounding Boxes
FLUX.3 Image Klein додає підтримку розміщення об'єктів безпосередньо в текстовому промпті. Розробники вказують у тексті токени на зразок <silhouette_1> і додають масив JSON з координатами та описом кожного регіону:
[{"id": "silhouette_1", "bbox": [150, 150, 850, 850], "desc": "A black silhouette of a person in motion."}]Координати використовують нормалізовану шкалу 0–1000 у форматі [y_min, x_min, y_max, x_max], завдяки чому макет не залежить від фінальної роздільної здатності. Для точкового редагування використовуються параметри src_bbox і tgt_bbox разом із посиланнями на референси на кшталт <ref_image_0>, що дає змогу зміщувати окремі елементи без спотворення тла.
Чекпоїнти та квантування в Diffusers
Модель доступна у версіях black-forest-labs/flux-3-image-klein (дистильована, 16 кроків за замовчуванням) та black-forest-labs/flux-3-image-klein-base (50 кроків, guidance_scale=5.0). Дистильований чекпоїнт генерує зображення 1024×1024 приблизно за 2 секунди на H100.
Споживання відеопам'яті можна оптимізувати через single-file ваги у форматах fp8r (rowwise FP8) або nvfp4 за допомогою Flux3Transformer2DModel.from_single_file і BFLQuantizationConfig. Формат NVFP4 розрахований на архітектури Ada, Hopper та Blackwell, деквантуючи ваги під час кожного кроку.
Спробуй за 2 хвилини
import torch
from diffusers import ModularPipeline
pipe = ModularPipeline.from_pretrained("black-forest-labs/flux-3-image-klein")
pipe.load_components(dtype=torch.bfloat16)
image = pipe(
prompt="a red fox",
generator=torch.Generator().manual_seed(0),
output="images",
)[0]
image.save("fox.png")python
✓ Коли використовувати
- Створення складних сцен, де об'єкти мають розташовуватися в чітких зонах кадру.
- Редагування зображень за референсами, коли потрібно змістити об'єкт без деформації оточення.
- Пайплайни генерації з вимогами до швидкості до 3 секунд на NVIDIA H100.
✕ Коли НЕ варто
- Розгортання на слабких edge-пристроях без апаратного прискорення FP8 або NVFP4.
- Звичайні мультимодальні діалоги, де достатньо стандартних LLM без генерації картинок.
Що зробити сьогодні
- Оновіть бібліотеки diffusers і transformers до версій із підтримкою ModularPipeline та Qwen3-VL.
- Протестуйте промпти з bounding box і параметрами src_bbox та tgt_bbox для фіксації фонових елементів.