Prompt Caching

API-фіча, яка дозволяє перевикористовувати довгий статичний префікс промпта в багатьох запитах за частку токен-вартості. Anthropic, OpenAI і Google пропонують її з трохи різними правилами.

Офіційний сайт ↗