Codex повністю інтегрує сумісність із Windows для виконання завдань керування десктопом

Розробка скриптів автоматизації для Windows історично вимагала складних та нестабільних фреймворків робототехнічної автоматизації процесів RPA або специфічних бібліотек. Анонс Грега Брокмана про те, що Codex тепер повністю підтримує роботу з Windows за допомогою функції комп'ютерного керування, вирішує цю проблему. Це дозволяє автономним агентам безпосередньо взаємодіяти з ОС Windows, запускати локальні програми та керувати файлами.\n\nПід капотом технологія комп'ютерного керування від Codex працює шляхом постійного створення знімків екрана, оптичного розпізнавання символів та аналізу візуальних макетів. Вона транслює високорівневі завдання в точні кліки миші, натискання клавіш та прокручування. Цей візуальний зворотний зв'язок працює разом із подіями на рівні ОС, дозволяючи агенту взаємодіяти зі складними інтерфейсами, які не мають власних API.\n\nЯкщо ви розробник, який підтримує старі системи, це відкриває величезні можливості. Наприклад, ви можете доручити агенту на базі Codex відкрити локальну програму Windows, скопіювати звідти дані у веб-інтерфейс та звести результати. Агент візуально оцінює елементи інтерфейсу та адаптується до системних сповіщень у реальному часі без необхідності писати інтеграційні API.\n\nПроте безпека є критичним пинням. Надання LLM прямого контролю над введенням в ОС означає, що вона може виконати небажані дії (наприклад, видалити файли) у разі помилки в логіці. Розробники повинні запускати таких агентів у ізольованих віртуальних машинах або безпечних пісочницях для запобігання пошкодженню основної системи.\n\nЦе оновлення перетворює Codex на універсального оператора операційної системи, роблячи візуальну автоматизацію десктопу доступною.