Оптимізація маршрутизації та ґардрейлів агентів за допомогою logprob першого токена

Архітектурний аналіз Jev від TypeSafe та механізму tool calling в OpenAI показує, як моделі працюють як неявні мікрокласифікатори на одному токені. Оцінюючи нормалізований розподіл logprob для обмеженої множини цільових токенів, модель може дати відповідь класифікаційного типу вже з першого токена замість генерації повного тексту.