Запуск автономного керування інтерфейсом із Codex у Claude Code через Model Context Protocol
Рушій комп'ютерного керування Codex функціонує як локальний сервер Model Context Protocol на macOS. Claude Code може запускати його у фоні через термінал для виконання кліків і перетягувань без перехоплення курсора миші.
Чому це важливо
Тепер можна запускати автоматизацію робочого столу через Claude Code, не втрачаючи можливості одночасно працювати мишею та клавіатурою в інших програмах.
TL;DR
- 01Середовище computer use у Codex працює як звичайний локальний MCP-сервер у кеші macOS.
- 02Claude Code може викликати цей рушій у фоні через claude -p, виконуючи кліки та перетягування без перехоплення миші.
- 03Opus 5.5 досяг показника 6/8 виконаних завдань, уникнувши 4-кратних витрат токенів типових драйверів CUA.
Ключові факти
- Успішність Opus 5.5
- 6/8 завдань на рушії Codex
- Успішність нативного Codex
- 6/8 завдань
- Успішність драйвера CUA
- 3-4/8 завдань (із 4x витратою токенів)
- Стан курсора
- Фонове виконання без перехоплення курсора миші
Фонова автоматизація робочого столу без блокування курсора
Рушій автоматизації computer use у Codex поставляється як локальний сервер Model Context Protocol (MCP) у бандлі застосунка для macOS, а не як закритий інтерфейс. Оскільки він відкриває стандартні ендпоінти MCP, зовнішні термінальні агенти, зокрема Claude Code, можуть напряму керувати ним, у тому числі у headless-режимі через прапорець claude -p. На відміну від типових драйверів Computer Use Agent (CUA), які спираються виключно на macOS accessibility API, рушій Codex надсилає нативні кліки та перетягування безпосередньо у вікна застосунків без перехоплення системного вказівника миші.
Точність у тестах та налаштування
У порівняльному тестуванні на восьми завданнях автоматизації десктопа модель Claude Opus 5.5 через рушій Codex успішно виконала 6 із 8 завдань, повторивши результат нативного Codex (6/8). Для порівняння, звичайні драйвери CUA вирішили лише 3–4 завдання, витративши вчетверо більше токенів через збої обробки канвасів і перетягувань.
Для активації конфігурації виконайте такі кроки: 1. Знайдіть конфігурацію в ~/.codex/plugins/cache/openai-bundled/unified-computer-use/<version>/.mcp.json. 2. Витягніть команду, аргументи та змінні середовища для cua_repl. 3. Зареєструйте опис як користувацький MCP-сервер під назвою codex-cu.
Зважайте, що події наведення (hover) наразі не підтримуються, а саме рішення є неофіційним і може зламатися після наступного оновлення клієнта.
Спробуй за 2 хвилини
claude -p 'Set up Codex computer use as an MCP server for you on my Mac. Find the cua_repl entry in ~/.codex/plugins/cache/openai-bundled/unified-computer-use/*/.mcp.json and register it as a user MCP server called codex-cu with the same command, args and env. Then test it by using Calculator in the background to work out 12 * 12.'bash
✓ Коли використовувати
- Делегування дій у GUI агенту Claude Code під час активної роботи користувача за тим самим комп'ютером.
- Виконання багатокрокових операцій перетягування у вікнах, де звичайні драйвери Accessibility зазнають збоїв.
✕ Коли НЕ варто
- Автоматизація інтерфейсів, які вимагають обов'язкового спрацьовування стану hover курсора.
- Продакшн-конвеєри, де неприпустимо залежати від неофіційних локальних кеш-шляхів застосунків.
Що зробити сьогодні
- Перевірте шлях ~/.codex/plugins/cache/openai-bundled/unified-computer-use/ та знайдіть останню конфігурацію cua_repl.
- Зареєструйте codex-cu як користувацький MCP-сервер у налаштуваннях Claude Code.
- Протестуйте фонове делегування завдань у GUI, попросивши Claude Code виконати операції у фоновому вікні.