Пользователи ChatGPT подвержены риску кражи информации

Функция долговременной памяти ChatGPT — это новая функция, представленная OpenAI в феврале 2024 года и расширенная в сентябре.

Недавно исследователь безопасности Иоганн Рехбергер обнаружил серьезную уязвимость, связанную с этой функцией.

Известно, что эта новая функция позволяет чат-ботам сохранять информацию из предыдущих разговоров. Благодаря этому пользователям не приходится каждый раз заново вводить информацию, такую ​​как возраст, интересы или личные взгляды. Однако это стало уязвимостью, которую могут использовать злоумышленники.

Иоганн Ребергер показал, что хакеры могут использовать технику, называемую «инъекцией подсказок», — внедряя вредоносные инструкции в память, заставляя ИИ подчиняться. Эти команды будут передаваться через ненадёжный контент, такой как электронные письма, документы или веб-сайты.

После того, как эти поддельные воспоминания будут сохранены, ИИ продолжит использовать их как реальную информацию в разговорах с пользователями, что может привести к сбору и неправомерному использованию личных данных пользователей.

Ребергер привёл конкретный пример: отправка ссылки с вредоносным изображением заставила ChatGPT сохранить ложное воспоминание. Эта информация повлияла бы на будущие ответы ChatGPT. В частности, любая введённая пользователем информация также была бы отправлена ​​на сервер хакера.

Соответственно, для запуска атаки хакеру достаточно убедить пользователя ChatGPT кликнуть по ссылке, содержащей вредоносное изображение. После этого все чаты пользователя с ChatGPT будут перенаправлены на сервер злоумышленника, не оставляя никаких следов.

Ребергер сообщил об ошибке в OpenAi в мае 2024 года, но компания посчитала её всего лишь уязвимостью безопасности. Получив доказательства того, что пользовательские данные могут быть украдены, компания выпустила временный патч для веб-версии ChatGPT.

Хотя проблема была временно устранена, Ребергер отмечает, что ненадежный контент по-прежнему может использовать Prompt-инъекцию для внедрения ложной информации в долговременную память ChatGPT. Это означает, что в некоторых случаях хакеры всё ещё могут воспользоваться уязвимостью для хранения вредоносных воспоминаний с целью кражи личной информации в долгосрочной перспективе.

OpenAI рекомендует пользователям регулярно проверять сохраненные воспоминания ChatGPT на предмет ложных срабатываний. Компания также предоставляет подробные инструкции по управлению и удалению воспоминаний, сохраненных в инструменте.