Mozilla AI випустила Otari: open-source панель керування для LLM
Otari — це open-source проксі-сервер, сумісний з OpenAI, який централізує керування API-ключами, бюджетами та моніторингом для 40+ провайдерів LLM. Він дозволяє розробникам обмежувати витрати до моменту виконання запиту.
Чому це важливо
Забезпечує єдиний шлюз для локального контролю витрат та маршрутизації запитів між різними LLM-провайдерами.
TL;DR
- 01Централізація ключів та бюджетів для 40+ LLM-провайдерів
- 02Контроль витрат до моменту виконання запиту до моделі
- 03Можливість self-host розгортання через Docker та Postgres
Розгортання та конфігурація
Otari можна запустити в автономному режимі через Docker для швидкого тестування без складних залежностей:
docker run --rm -p 8000:8000 \
-e OTARI_CONFIG_YAML='default_pricing: true' \
mozillaai/otari:latestБюджет та безпека
Під час запиту Otari перевіряє ліміти для кожного ключа до того, як запит буде надіслано провайдеру. gw- токени виступають як віртуальні ключі; їх можна створювати через API керування та миттєво відкликати без необхідності оновлювати основні секрети провайдерів (наприклад, ваш ключ OpenAI).
Вбудовані інструменти
Otari включає ізольоване середовище виконання Python (otari_code_execution) та сервіс веб-пошуку (otari_web_search). Їх можна використовувати через поле tools у ваших запитах. Для продакшн-використання рекомендується налаштувати зовнішню базу даних, наприклад Postgres, замість стандартної SQLite.
✓ Коли використовувати
- Централізація використання різних LLM-провайдерів
- Запобігання перевитратам у середовищах розробки
- Керування доступом для кількох внутрішніх команд
Що зробити сьогодні
- Запустіть Otari локально за допомогою Docker Quickstart
- Додайте основні ключі провайдерів у конфігураційний файл
- Згенеруйте ключ шлюзу для першого тестового клієнта
Джерела