Amazon Bedrock розділив ендпоінти GPT-6 Astra: вибір між кешуванням та аудитом
Amazon Bedrock запустив openai.gpt-6-astra через два окремих ендпоінти: bedrock-runtime та bedrock-mantle. Вибір ендпоінта змушує обирати між явним кешуванням промптів та аудитом запитів у логах.
Чому це важливо
Ви можете знизити витрати на промпти на 86% через явне кешування на Bedrock Mantle, але доведеться змиритися з відсутністю логів викликів та Guardrails.
TL;DR
- 01Bedrock Mantle підтримує кешування та серверні тули, але повністю виключає логування викликів для аудиту.
- 02Bedrock Runtime гарантує Guardrails та логи в CloudWatch, але позбавлений кешування промптів.
- 03Перевищення ліміту в 272 000 токенів подвоює вартість усього запиту, а не лише дельти.
- 04Вихідні токени витрачають ліміт швидкості TPM із коефіцієнтом 10x відносно вхідних.
Ключові факти
- Контекстне вікно
- 1 050 000 вхідних токенів / 128 000 вихідних токенів
- Глобальний тариф (<= 272K)
- $10.00/1M вхідних, $50.00/1M вихідних
- Глобальний тариф (> 272K)
- $20.00/1M вхідних, $75.00/1M вихідних
- Знижка на кеш промптів
- Запис 1.25x від базової ціни, читання 0.10x (86% економії)
- Витрата квоти
- 1 вихідний токен списує 10 одиниць TPM
Розподіл ендпоінтів: Runtime проти Mantle
Amazon Bedrock надає доступ до openai.gpt-6-astra через два різні ендпоінти. Для систем із жорстким аудитом bedrock-runtime забезпечує логування викликів у S3 і CloudWatch та підтримку Guardrails через Converse API, але не підтримує кешування промптів.
Перехід на bedrock-mantle відкриває сумісні маршрути /openai/v1/responses та /openai/v1/chat/completions. Тут доступне явне кешування промптів та виконання інструментів на стороні сервера, проте виклики взагалі не потрапляють у логи аудиту. Крім того, Mantle доступний лише в регіоні us-west-2.
Стрибок тарифу на 272K токенах і квота 10x
Тарифікація різко змінюється після перетину позначки у 272 000 вхідних токенів. Для global-профілю базовий тариф становить $10.00/1M вхідних і $50.00/1M вихідних токенів, але понад 272K ціна *всього* запиту стрибає до $20.00 і $75.00 відповідно. Оскільки метод CountTokens не підтримується на bedrock-runtime, підрахунок токенів слід реалізовувати на боці клієнта.
Квоти на швидкість споживаються асиметрично: 1 вихідний токен списує 10 одиниць TPM. Повна генерація на 128 000 токенів спалює 1 280 000 одиниць квоти.
Механіка явного кешування
Кешування налаштовується явно. Необхідно передавати prompt_cache_breakpoint: {"mode": "explicit"} із мінімальним префіксом 1024 токени (до 4 точок кешу). Запис коштує 1.25x від базової ціни вхідного токена, а читання — лише 10%. Зчитані з кешу токени не витрачають ліміт TPM.
Спробуй за 2 хвилини
{
"model": "openai.gpt-6-astra",
"prompt_cache_options": {
"mode": "explicit",
"ttl": "30m"
},
"prompt_cache_breakpoint": {
"mode": "explicit"
}
}json
✓ Коли використовувати
- Використовуйте bedrock-mantle для статичних системних промптів понад 1024 токени при частих викликах інструментів.
- Використовуйте bedrock-runtime, якщо необхідна інтеграція з Bedrock Guardrails або повна телеметрія через CloudWatch.
✕ Коли НЕ варто
- Не використовуйте bedrock-mantle, якщо політики безпеки вимагають обов'язкового логування викликів у S3 чи CloudWatch.
- Уникайте неконтрольованих запитів обсягом біля 272 000 токенів без перевірки на стороні клієнта.
Що зробити сьогодні
- Впровадьте клієнтський підрахунок токенів для запитів біля 272 000 токенів, щоб уникнути стрибка ціни вдвічі.
- Налаштуйте bedrock-mantle з явними breakpoint, якщо знижка на кешування важливіша за логи аудиту.
- Враховуйте коефіцієнт витрати квоти 10x на вихідні токени при плануванні пропускної здатності агентів.