Dupehound: локальний детермінований детектор дублікатів коду для агентної розробки

Структурне та детерміноване порівняння на базі AST

На відміну від текстового пошуку, dupehound ігнорує коментарі, замінює ідентифікатори, рядки та числа на універсальні токени-маркери (sentinels) та аналізує структуру абстрактного синтаксичного дерева. Використовуючи k-грами з 10 токенів, рухомі хеші та алгоритм стійкого просіювання (winnowing), інструмент гарантовано виявляє будь-які спільні послідовності з 17 нормалізованих токенів. Подібність розраховується за допомогою індексу Жаккара, а кластери збігів будуються через структуру систем неперетинних множин.

Команди CLI та інтеграція

Dupehound пропонує три основні команди:

• dupehound scan [path] сканує директорію, сортує кластери дублікатів за кількістю зайвих рядків та виводить оцінку надлишковості (slop score).
• dupehound history зчитує об'єкти безпосередньо з бази даних Git без виконання checkout, показуючи, коли саме рівень дублювання почав зростати.
• dupehound check працює як перевірка в CI або pre-commit хук. Інструмент індексує базову ревізію Git і перевіряє лише додані або змінені функції, повертаючи код 1 у разі виявлення дублікатів.

Спрямування ШІ-агентів на повторне використання коду

Щоб запобігти написанню дублікатів агентами, розробники можуть передавати результати dupehound check прямо у контекст мовних моделей. Додавання звіту або відповідних правил до файлів CLAUDE.md чи AGENTS.md змушує агента дослідити наявну функцію та виконати рефакторинг замість створення нової копії логіки.