OpenAI додає ChatGPT Voice у десктопний застосунок для голосування в Codex
OpenAI оновила десктопний застосунок ChatGPT, додавши підтримку голосового керування в реальному часі на базі сімейства моделей GPT-Live. Розробники тепер можуть виконувати багатокрокові інженерні завдання, аналізувати контекст екрана macOS через Appshots та керувати агентами Codex за допомогою голосу.
Вплив: Середній
Чому це важливо
Ви можете делегувати складні робочі процеси написання коду, створення pull request та пошук багів агентам Codex, не перемикаючи вікна й не набираючи промпти вручну.
TL;DR
- 01ChatGPT Desktop тепер керує агентами Codex та багатокроковими завданнями ChatGPT Work через голосові команди.
- 02Функція Appshots на macOS надає голосовому агенту контекст активного екрана та alt-тексту.
- 03Віддалений доступ у застосунку iOS дозволяє розробникам запускати десктопні завдання Codex безпосередньо з мобільного.
Ключові факти
- Базова модель
- GPT-Live
- Підтримувані процеси
- ChatGPT Work, Codex
- Платформні функції
- Контекст macOS Appshots, віддалений запуск з iOS
Робочі процеси агентів з голосовим керуванням
OpenAI інтегрувала стек моделей GPT-Live безпосередньо в десктопний клієнт ChatGPT. Головне функціональне покращення — повна координація з агентами Codex та ChatGPT Work. Розробники можуть віддавати складні інженерні промпти звичайною мовою, дозволяючи моделі планувати та виконувати завдання, що включають аналіз системи та роботу в терміналі.
Інтеграція екранного контексту через Appshots
На macOS десктопний клієнт використовує функцію Appshots для читання та розпізнавання інформації на екрані, зокрема alt-тексту та структури інтерфейсу. Це дозволяє вказувати на помилки в коді, стектрейси або UI-дизайни прямо на екрані й запитувати рішення без копіювання тексту вручну.
Виконання багатокрокових дій
Серед продемонстрованих можливостей — вказівка Codex виконати повний цикл завдань за одну голосову сесію: створення гілки, ізоляція причин багу та автоматичне формування pull request. Мобільні користувачі також можуть запускати ці віддалені операції Codex через застосунок для iOS.
✓ Коли використовувати
- Під час оркестрації багатокрокових операцій Codex, таких як аналіз багів і чернетки PR, без використання рук.
- Під час перегляду верстки UI або стектрейсів на екрані під час сесії з агентом.
✕ Коли НЕ варто
- Під час роботи у шумному офісі, де голосове диктування є незручним.
- Коли потрібне точне введення синтаксису, складних regex чи ключів доступу без диктування.
Що зробити сьогодні
- Оновіть десктопний застосунок ChatGPT до останньої версії.
- Увімкніть дозволи Appshots у Системних параметрах macOS для доступу до контексту екрана.
- Протестуйте створення PR через Codex за допомогою голосу на тестовій гілці git.
Джерела