ChatGPhish: Уязвимость в разметке ChatGPT позволяет проводить фишинг с внедрением подсказок
Недавно раскрытая уязвимость для фишинга в ChatGPT под названием ChatGPhish вызывает серьезные опасения по поводу того, как просмотр веб-страниц с помощью ИИ может быть обращен против тех самых пользователей, которым он призван помогать. Исследователи из Permiso Security обнаружили, что встроенное доверие ChatGPT к ссылкам и изображениям в формате Markdown создает лазейку для злоумышленников, позволяющую внедрять вредоносные подсказки непосредственно в веб-сводки ИИ, фактически превращая обычную функцию повышения продуктивности в механизм доставки фишинга.
Как ChatGPhish использует доверие ChatGPT к Markdown
Когда ChatGPT просматривает веб-страницы и обобщает контент для пользователя, он обрабатывает и отображает форматирование Markdown, включая гиперссылки и встроенные изображения. Уязвимость ChatGPhish использует это поведение, встраивая специально созданные инструкции в контент веб-страницы. Поскольку ChatGPT считает этот контент доверенным, внедренные инструкции могут перенаправлять вывод ИИ, заставлять его показывать обманчивые ссылки или требовать от пользователя учетные данные под ложным предлогом.
Это атака с косвенным внедрением подсказок. В отличие от прямого внедрения, когда пользователь намеренно манипулирует ИИ с помощью подготовленных вводных данных, при косвенном внедрении вредоносные команды скрываются во внешнем контенте, который ИИ извлекает и обрабатывает автономно. Пользователь никогда не видит скрытых инструкций; он видит только тот вывод, который злоумышленник заставил ИИ создать. В случае ChatGPhish этот вывод может включать убедительные фишинговые запросы, которые кажутся исходящими от самого ИИ, придавая им видимость подлинности.
Что делает эту ситуацию особенно примечательной, так это то, что поверхность атаки — это не базовая модель ИИ, а доверие, которое он оказывает веб-контенту, который обобщает. Злоумышленнику не нужно компрометировать системы OpenAI. Ему достаточно контролировать или манипулировать веб-страницей, которую пользователь может попросить ChatGPT обобщить.
Кто находится в наибольшей опасности и какие данные могут быть раскрыты
Потенциально уязвимы все, кто использует функции веб-просмотра или обобщения ChatGPT, но некоторые группы подвергаются повышенному риску. Пользователи, которые полагаются на ChatGPT для быстрого обобщения статей, документов или сторонних страниц, с наибольшей вероятностью столкнутся с внедренным контентом, не осознавая этого. Корпоративные пользователи, интегрировавшие ChatGPT в рабочие процессы, связанные с внешними источниками данных, подвергаются еще большему риску.
Под угрозой находятся в первую очередь данные уровня учетных данных. Успешная атака ChatGPhish может обманом заставить пользователя передать пароль, токен аутентификации или данные учетной записи через фишинговую страницу, которую ИИ представил как легитимную. Учитывая, что миллиарды учетных данных уже циркулируют в хранилищах утечек, включая 19 миллиардов паролей, раскрытых в утечке RockYou2024, любой дополнительный вектор фишинга, который обходит обычный скептицизм пользователя, вызывает серьезную озабоченность.
Учетные записи, связанные с платежными сервисами, корпоративными системами или конфиденциальными личными данными, являются самыми привлекательными целями. Фишинговая подсказка, выглядящая как естественная часть ответа ChatGPT, скорее всего, обойдет ментальные фильтры, которые пользователи применяют при обнаружении обычных фишинговых писем.
Почему пользователи публичных сетей и VPN подвергаются повышенному риску
Пользователи публичных сетей Wi-Fi подвергаются compounded риску от ChatGPhish. В незашифрованных или плохо защищенных сетях перехват трафика является реальной угрозой. Хотя сама атака ChatGPhish не требует доступа на сетевом уровне, комбинация скомпрометированной сетевой среды и сманипулированного резюме ИИ создает особенно опасную ситуацию. Учетные данные для фишинга, перехваченные в кофейне или аэропорту, могут быть использованы немедленно, прежде чем у пользователя появится хоть какой-то шанс обнаружить компрометацию.
Использование VPN решает один слой этой проблемы, шифруя трафик между устройством пользователя и интернетом, снижая риск перехвата на сетевом уровне. Однако это не мешает ChatGPT обрабатывать вредоносный контент веб-страниц и показывать внедренные подсказки. Атака ChatGPhish находится на прикладном уровне, а это означает, что одних только средств защиты на сетевом уровне недостаточно. Пользователи должны быть бдительными к неожиданным запросам учетных данных, появляющимся в сгенерированных ИИ сводках, независимо от того, насколько защищен их сетевой трафик.
Практические шаги, чтобы не стать жертвой ChatGPhish
Пока OpenAI не выпустит окончательный патч или архитектурное изменение, предотвращающее внедрение подсказок на основе Markdown, пользователи могут предпринять несколько практических шагов для снижения своего риска.
Во-первых, относитесь с немедленным подозрением к любым запросам учетных данных или входа в систему, появляющимся в сводке ChatGPT. У ChatGPT нет законных причин запрашивать пароли или токены аутентификации в рамках веб-сводки. Если вы видите такой запрос, закройте сессию и перейдите непосредственно на соответствующий сайт через браузер.
Во-вторых, будьте избирательны в том, какие страницы вы просите ChatGPT обобщить, особенно если это страницы из источников, которые вы не знаете или которым не доверяете. Страницы, контролируемые злоумышленниками, являются основным способом доставки полезных нагрузок ChatGPhish.
В-третьих, проверьте гигиену ваших учетных записей и паролей прямо сейчас, не дожидаясь инцидента. Использование надежных уникальных паролей для каждой учетной записи означает, что даже если фишинговая атака перехватит одни учетные данные, ущерб будет локализован. Учитывая, насколько легко учетные данные повторно используются в атаках после крупномасштабных утечек, это обязательная базовая мера.
Наконец, следите за обновлениями безопасности OpenAI, касающимися патчей или мер противодействия ChatGPhish. Своевременное применение обновлений — одна из простейших защит от раскрытых уязвимостей.
Что это значит для вас
ChatGPhish — это напоминание о том, что инструменты ИИ наследуют риски контента, который они обрабатывают. Доверие к сводке ИИ не равнозначно доверию к исходному источнику, и злоумышленники уже используют этот разрыв. Для атаки не требуются сложные технические навыки со стороны злоумышленника, а это значит, что она, скорее всего, выйдет за пределы круга исследователей безопасности и перейдет к активному преступному использованию.
Самое действенное, что вы можете сделать прямо сейчас, — это провести аудит безопасности ваших учетных данных. Если один и тот же пароль защищает несколько учетных записей, одна успешная попытка фишинга ChatGPhish может каскадно привести к гораздо более масштабной компрометации. Изучение освещения утечки RockYou2024 — полезная отправная точка для понимания масштабов угрозы учетных данных, которая делает атаки вроде ChatGPhish такими серьезными. Уникальные, надежные пароли и многофакторная аутентификация на всех критически важных учетных записях остаются вашей самой надежной первой линией обороны, когда инструменты ИИ могут быть превращены в фишинговые поверхности.
