Менший LLM-рахунок без втрати якості · 74 матеріалів
Prompt caching, керування context window, токен-бюджети, batching — все, що знижує LLM-рахунок.
Zhipu AI підтвердила, що анонімна модель Ox Alpha на OpenRouter — це GLM-5.3-Flash. Вона забезпечує продуктивність рівня флагманів за ціною $0.15 за 1M вхідних і $0.50 за 1M вихідних токенів під ліцензією MIT.
Чому це важливо
Ви можете замінити дорогі флагманські моделі у тривалих циклах агентів, зменшивши витрати на токени під час обробки репозиторіїв на понад 90%.
Відкрити повністюРозробники повідомляють, що використання моделі Sol з посиленим міркуванням на тарифному плані за $20 спалює понад половину 5-годинного ліміту за 11 хвилин роздумів. Таке швидке вичерпання лімітів робить безперервну розробку на базовому тарифі практично неможливою.
Чому це важливо
Перемикайте Codex з глибинного міркування на стандартні моделі для рутинних завдань, щоб зберегти 5-годинний ліміт.
Відкрити повністюМетод Quantization-Aware Healing (QAH) відновлює стиснуті 4-бітні моделі через дистиляцію безпосередньо з оригінального повнорозмірного вчителя. Застосований до GPT-OSS 120B, стиснутої до 60B в MXFP4, він перевершив власну 16-бітну версію bfloat16 у 7 з 9 бенчмарків.
Чому це важливо
Інженери можуть розгортати 4-бітні моделі половинного розміру, які перевершують за точністю та швидкістю свої 16-бітні чекпоїнти.
Відкрити повністюОдне нативне, чесно позначене розміщення перед інженерами, які будують з AI, із прозорою статистикою.
Зайняти місцеNVIDIA опублікувала дані тестування AgentX, які свідчать, що AI-агенти споживають у 15 разів більше токенів на запит, ніж звичайний чат. Тест відтворює сесії Claude Code для оцінки роботи з довгим контекстом та повторного використання KV-кешу.
Чому це важливо
Оцінка серверних платформ LLM вимагає динамічного відтворення сесій агентів замість статичних тестів для точного вимірювання навантаження на KV-кеш.
Відкрити повністюOpenAI знизила вартість API та кредитів для флагманської моделі GPT-5.6 Sol більш ніж на 20% в API та для планів ChatGPT Work. Знижені тарифи діятимуть щонайменше до 21 листопада 2026 року.
Чому це важливо
Перерахуйте бюджети на токени та автоматизовані процеси в Codex, щоб скористатися зниженою вартістю інференсу протягом наступних трьох місяців.
Відкрити повністюРозробники, які використовують нативний OpenAI Codex CLI через Amazon Bedrock Mantle для GPT-5.6 Sol, повідомляють про високі витрати через відсутність явних елементів керування кешем промптів. Телеметрія показує, що запис у кеш становить майже 85% усіх витрат.
Чому це важливо
Перевірте телеметрію AWS Bedrock CloudWatch, щоб переконатися, що сесії кодингу не перезаписують весь контекст промпта на кожному кроці.
Відкрити повністю