Oleksandr Kuzmenko, РедакторОпубліковано 5 хв читанняЗа участі AI · перевірено редактором
TL;DR
- Дозволяє автоматизувати GUI через дерево доступності без важких vision-моделей та знімків екрана.
- Містить вбудований MCP-сервер із 57 операційними командами для керування інтерфейсом.
- Працює у headless-режимі за замовчуванням на macOS 13+, Ubuntu 24.04+ та Windows.
Ключові факти
- Кількість команд
- 61 команда, 57 операційних
- Підтримувані ОС
- macOS 13+, Ubuntu 24.04+, Windows
- Режим виконання
- Headless за замовчуванням (без курсора)
- Підтримка протоколів
- Model Context Protocol через stdio
Архітектура без обробки пікселів
На відміну від систем комп'ютерного зору, agent-desktop звертається до системних інтерфейсів доступності: Cocoa Accessibility на macOS, UI Automation на Windows та AT-SPI на Linux. Він повертає структурований JSON зі знімком стану вікна, ролями компонентів, назвами та доступними діями.
Усі дії посилаються на тимчасовий ref_id (наприклад, @s8f3k2p9:e8). Завдяки взаємодії безпосередньо з системними дескрипторами утиліта працює у фоні, не захоплюючи курсор миші та не перериваючи роботу користувача.
Інтеграція з Model Context Protocol
Репозиторій надає вбудований MCP-сервер через команду agent-desktop mcp. Після реєстрації у конфігурації агента стають доступними 57 інструментів (desktop_snapshot, desktop_click, desktop_type, desktop_session_start).
{
"mcpServers": {
"agent-desktop": {
"command": "agent-desktop",
"args": ["mcp"]
}
}
}Набір команд та безпека
Інструмент підтримує 61 назву команд:
- Огляд:
snapshot,find,get,list-surfaces,list-windows - Дії:
click,double-click,type,set-value,scroll,toggle - Валідація: повертає
STALE_REFабоAMBIGUOUS_TARGET, якщо стан вікна змінився до виконання кліку. - Безпека даних: прапорець
--stdinдля командtypeтаset-valueдозволяє передавати секрети через потік вводу, щоб вони не потрапляли в аргументи процесів.
Спробуй за 2 хвилини
brew install agent-desktop
agent-desktop permissions --guide
agent-desktop snapshot --app Finder -iКоли використовувати
- Керування нативними програмами на кшталт Finder, Slack чи налаштувань ОС із консольних агентів.
- Створення настільних агентів без відправки регулярних скриншотів у дорогі мультимодальні API.
Коли НЕ варто
- Ігри та графічні програми на базі OpenGL/WebGL без розмічених елементів доступності.
- Автоматизація звичайних веб-сайтів у браузері, де ефективніше використовувати Playwright або Puppeteer.
Що зробити сьогодні
- Встановіть agent-desktop через Homebrew на macOS: `brew install agent-desktop`.
- Додайте сервер agent-desktop MCP до конфігурації Claude Code або Cursor.
- Виконайте `agent-desktop snapshot --app Finder -i`, щоб перевірити системні дозволи доступності.
Назви кроків узяті з блоку «Що зробити сьогодні».
Назви кроків узяті з блоку «Що зробити сьогодні». Встановіть agent-desktop через Homebrew на macOS: `brew install agent-desktop`.. Додайте сервер agent-desktop MCP до конфігурації Claude Code або Cursor.. Виконайте `agent-desktop snapshot --app Finder -i`, щоб перевірити системні дозволи доступності.
- Встановіть agent-desktop через Homebrew на macOS: `brew install agent-desktop`.
- Додайте сервер agent-desktop MCP до конфігурації Claude Code або Cursor.
- Виконайте `agent-desktop snapshot --app Finder -i`, щоб перевірити системні дозволи доступності.
