Дослідження JetBrains: витрати токенів інженерами не відображають продуктивність розробки

01Розрив між витратами токенів і кількістю комітів

Аналіз п'яти тижнів витрат токенів серед 404 інженерів JetBrains продемонстрував, що обсяг токенів є ненадійною метрикою продуктивності. Серед тижнів із практично однаковою кількістю комітів 90-й перцентиль споживання токенів у 39–240 разів перевищував 10-й перцентиль. Крім того, для окремого інженера подвоєння споживання токенів асоціювалося лише з приблизно 10% збільшенням кількості комітів.

02Що зумовлює розбіжність у споживанні?

Традиційні робочі метрики пояснюють лише 38% варіативності витрат між різними інженерами та лише 13% тижневих коливань для окремого розробника. Співробітники з високими витратами залишалися такими протягом усіх п'яти тижнів незалежно від темпу комітів. Витрати токенів відображають лише те, наскільки активно інженери застосовують агентів для різноманітних завдань, а не кінцевий результат чи цінність роботи.

03Агенти поза кодингом: аналіз, дослідження та планування

Опитування 412 працівників пояснює причину: у майже 9 із 10 оцінок технічні фахівці повідомили про використання агентів для завдань поза написанням коду, зокрема для аналізу, досліджень та планування. Автори дослідження рекомендують використовувати метрику витрат токенів щонайбільше для фінансового обліку ресурсів, а результати роботи з агентами оцінювати за фактичними завданнями та результатами.