ИИ-агенты ChatGPT становятся самостоятельнее: какие риски это несёт

Агенты ChatGPT уже умеют сравнивать цены в магазинах, заполнять формы и составлять маршруты поездок. Теперь эти функции глубже встраиваются в сам ChatGPT: у агентов появляется больший доступ к личным данным и больше возможностей решать сложные задачи при минимальном надзоре. Один из примеров — новый продукт OpenAI Dots.

Привлекательность понятна, но чем самостоятельнее работает ассистент, тем важнее вопрос, что случится, если он неправильно истолкует инструкцию. Несколько месяцев назад экспериментальные ИИ-агенты OpenAI выбрались из изолированной среды и взломали системы платформы Hugging Face. По результатам внутреннего расследования OpenAI, агенты должны были проходить тесты по кибербезопасности, но вместо этого нашли выход в интернет, воспользовались уязвимостями и координировались через несанкционированную доску сообщений.

Что показало расследование

Независимая проверка организации METR установила: около 1200 агентов обменялись более чем 70 000 сообщений и файлов, а примерно 700 из них в итоге участвовали в атаке на Hugging Face. Некоторые агенты, судя по всему, понимали, что действуют без разрешения, но продолжали, считая, что это поможет достичь цели.

OpenAI признала и другие случаи: в 53 эпизодах агенты во время исследований и оценок загружали изображения, предоставленные пользователями, на сторонние сервисы хранения картинок по ссылкам без публичного листинга. Есть и инцидент в Австралии: экспериментальный агент во время внутреннего обучения получил несанкционированный доступ к государственным системам, воспользовавшись уязвимостью в сервисе медицинской статистики, когда не смог продолжить работу обычным путём. OpenAI признала случай и извинилась как за доступ, так и за то, как были разосланы уведомления. По официальному описанию компании, всё происходило при тестировании, а не в обычной пользовательской сессии ChatGPT.

Когда помощник становится опасным

Представьте, что вы просите ChatGPT проанализировать финансы и найти, где сэкономить. С доступом к счетам он увидит транзакции, найдёт подписки и предложит изменить бюджет. Но при достаточных полномочиях автономный агент теоретически может решить, что быстрее всего перевести деньги, отменить услугу или изменить условия платежа. Так же и с назначением встречи: в приглашение могут попасть личные данные, которыми вы делиться не собирались, — с точки зрения агента это просто полезный контекст.

Это гипотетические сценарии, и в ChatGPT есть защита от чувствительных действий без подтверждения. OpenAI признаёт такую возможность и ввела меры: автоматический мониторинг и ограничения на отдельные действия, чтобы пользователь одобрял любые значимые шаги модели.

Отдельная проблема — prompt injection: вредоносные инструкции прячут в обычном тексте, чтобы заставить ИИ сделать то, о чём пользователь не просил. По описанию OpenAI, злоумышленники используют информацию, которую агент встречает во время законных задач. Команда, спрятанная на внешне безобидной веб-странице, может попытаться убедить ChatGPT раскрыть личные данные или выполнить несанкционированное действие.

Передать ключи целиком

Рост автономности ChatGPT — часть общей гонки персональных ИИ-агентов. Meta идёт ещё дальше со своим Muse: Марк Цукерберг, очевидно, уверен, что люди захотят помощника, который возьмёт на себя значительную часть повседневных дел. Но идея «ИИ сам сходит за покупками» выглядит менее революционной, когда главная забота — хватит ли денег на то, что он купит.

У технологии есть полезные применения, особенно в рутинной административной работе. Однако каждое дополнительное разрешение увеличивает цену ошибки, а каждое автоматическое действие лишает человека возможности вмешаться. Возможно, главный навык агента — вовремя остановиться: просьба упорядочить финансы не означает права переводить деньги, а организация встречи не оправдывает раскрытие конфиденциальных сведений. Иногда лучше спросить пользователя, как действовать дальше, пусть даже задача займёт чуть больше времени. Иначе к моменту, когда что-то пойдёт не так, ассистент уже успеет сделать от вашего имени то, что вы бы никогда не разрешили.