Google випустив Gemini Computer Use API для автономних агентів у браузері та ОС

01Архітектура та клієнтський цикл виконання

Реалізація Computer Use від Google вимагає запуску безперервного клієнтського циклу. Процес складається з чотирьох основних етапів:

1. Клієнт робить знімок екрана та надсилає його разом із запитом користувача до Gemini через метод interactions.create. 2. Модель аналізує візуальний інтерфейс і повертає function_call із параметрами дії (клік, введення тексту, прокрутка) у нормалізованих координатах, а також поле intent із логікою вибору. 3. Клієнт масштабує координати під роздільну здатність вікна й виконує дію через інструмент на зразок Playwright Chromium. 4. Новий знімок екрана повертається у параметрі function_result для запиту наступного кроку до повного виконання завдання.

02Захист від інʼєкцій та політики безпеки

Візуальні агенти вразливі до прихованих інʼєкцій промптів на сторонніх сайтах. Gemini вирішує це опцією enable_prompt_injection_detection, що сканує знімки екрана на наявність шкідливих текстових інструкцій.

Кожна відповідь містить safety_decision, що позначає дію як дозволену, заблоковану або таку, що потребує підтвердження (require_confirmation). Google наполегливо рекомендує ізолювати середовище виконання Playwright усередині Docker-контейнерів для захисту хостової операційної системи.