Oleksandr Kuzmenko, РедакторОпубліковано 4 хв читанняЗа участі AI · перевірено редактором
TL;DR
- Відмовтеся від власних проксі для підрахунку токенів завдяки прив'язці витрат Bedrock до тегів IAM.
- Відстежуйте витрати окремих користувачів та агентів на інференс через CUR 2.0 і AWS Cost Explorer.
- Впроваджуйте автоматичні ліміти витрат і сповіщення безпосередньо через дії AWS Budgets.
Ключові факти
- Вимоги до коду застосунку
- Не потрібен для стандартних сценаріїв
- Механізм аудиту витрат
- CUR 2.0 та AWS Cost Explorer
- Рівень застосування лімітів
- Нативні дії AWS Budgets
Відмова від кастомної інфраструктури обліку витрат
Розподіл витрат на інференс моделей між розподіленими командами розробників в Amazon Bedrock зазвичай вимагає додаткових ресурсів підтримки. Замість адміністрування проксі-шлюзів для підрахунку токенів команди можуть використовувати нативні інструменти AWS для прив'язки ідентифікатора до білінгу.
Атрибуція на основі тегів у CUR 2.0 та Budgets
- Тегування суб'єктів IAM: Витрати на виклики моделей прив'язуються безпосередньо до користувачів, ролей або автоматизованих суб'єктів IAM за допомогою тегів.
- Аналітика через CUR 2.0: Детальні метрики споживання в розрізі ідентифікаторів аналізуються у Cost and Usage Report (CUR) 2.0 або відстежуються в AWS Cost Explorer.
- Автоматичні ліміти: Дії AWS Budgets активують обмеження витрат, коли суб'єкт перевищує встановлений бюджет, блокуючи неконтрольоване списання коштів без модифікації коду застосунку.
Коли використовувати
- Коли прямий доступ до API Amazon Bedrock надається декільком командам або автономним CLI-інструментам.
- Коли потрібно встановити жорсткі ліміти витрат на експериментальні агентські пайплайни для уникнення нескінченних циклів.
Коли НЕ варто
- Якщо інференс для багатьох користувачів виконується через єдину спільну роль IAM без розрізнення контексту ідентичності.
- Якщо використовуються self-hosted моделі на чистих EC2, де витрати прив'язані до часу роботи інстансу, а не викликів токенів.
Що зробити сьогодні
- Додайте теги власника та центру витрат до всіх ролей IAM, які викликають моделі Amazon Bedrock.
- Активуйте теги суб'єктів IAM як Cost Allocation Tags у консолі AWS Billing.
- Налаштуйте бюджет в AWS Budgets для Bedrock із фільтрацією за тегами IAM і додайте дію блокування.
Назви кроків узяті з блоку «Що зробити сьогодні».
Назви кроків узяті з блоку «Що зробити сьогодні». Додайте теги власника та центру витрат до всіх ролей IAM, які викликають моделі Amazon Bedrock.. Активуйте теги суб'єктів IAM як Cost Allocation Tags у консолі AWS Billing.. Налаштуйте бюджет в AWS Budgets для Bedrock із фільтрацією за тегами IAM і додайте дію блокування.
- Додайте теги власника та центру витрат до всіх ролей IAM, які викликають моделі Amazon Bedrock.
- Активуйте теги суб'єктів IAM як Cost Allocation Tags у консолі AWS Billing.
- Налаштуйте бюджет в AWS Budgets для Bedrock із фільтрацією за тегами IAM і додайте дію блокування.
