Недавний материал Jazz Security разбирает реальные примеры утечек данных через ИИ — от инженеров Samsung, вставлявших код в ChatGPT, до инцидентов EchoLeak и Salesloft Drift. Для каждого случая он описывает, кто обнаружил проблему, её текущий статус и средство контроля, которое могло бы выявить или ограничить экспозицию. Случаи различаются в технических деталях, но у них общая тема: утечки начинались не с экзотических атак. Они начинались с рутинного поведения и доверенных подключений.

Этот пост опирается на указанное резюме и редакционный подход, стоящий за ним. Доступный нам исходный материал краток, поэтому мы придерживаемся описанных в нём общих закономерностей, а не добавляем технические подробности, которые не можем проверить.

Что произошло в утечках Samsung, EchoLeak и Salesloft Drift

Три случая охватывают три разных способа, которыми происходит утечка данных, связанная с ИИ.

Samsung. Инженеры вставляли код в ChatGPT. Хакер не потребовался. Сотрудники использовали публичный чат-бот как рабочий инструмент, и конфиденциальные материалы выходили из-под контроля компании в момент их отправки.

EchoLeak. Этот инцидент отнесён к остальным как пример того, как функция ИИ раскрывает данные через то, как она обрабатывает контент и подключается к другой информации. Он показывает, что риск не ограничивается тем, что человек вводит. Собственный доступ ИИ-системы к данным тоже имеет значение.

Salesloft Drift. Этот случай связан с подключёнными OAuth-интеграциями. OAuth позволяет одному приложению получать доступ к данным в другом без передачи пароля. Это удобно, но когда скомпрометирован подключённый сервис, токены доступа, которые он хранит, могут стать путём в каждый аккаунт, с которым он был связан.

В материале Jazz Security также зафиксировано, кто обнаружил каждый случай и в каком состоянии он находится сегодня. Для читателей более полезный вывод — сопоставление каждого случая со средством контроля: чем-то, что могло бы дать видимость активности или ограничить, как далеко ушли данные.

Примеры утечек данных через ИИ: как повседневное использование ИИ раскрывало данные

Что бросается в глаза в этих примерах утечек данных через ИИ — насколько обычными были отправные точки.

Вставка текста в чат-бот ощущается как использование поисковой строки или приложения для заметок. Это не ощущается как отправка данных третьей стороне. Именно в этом разрыве между восприятием и реальностью происходит утечка в стиле Samsung. После отправки информации вы, как правило, имеете ограниченное представление о том, где она хранится или кто может получить к ней доступ по условиям сервиса.

Подключённые приложения работают так же. Предоставление доступа интеграции занимает пару кликов, и разрешение часто остаётся нетронутым месяцами или годами. Если поставщик, стоящий за этой интеграцией, подвергается взлому, экспозиция достигает данных, о которых вы, возможно, забыли, что делились ими.

ИИ-ассистенты добавляют третий слой. Когда инструмент может читать вашу почту, документы или сообщения, чтобы быть полезным, всё, что он может прочитать, потенциально оказывается в игре, если инструмент ведёт себя непредусмотренным образом. Пример EchoLeak иллюстрирует, почему охват доступа важен не меньше, чем качество самого ИИ.

Что потеряли затронутые люди и организации

Конкретика различается от случая к случаю, и мы не будем угадывать цифры, которых нет в исходном резюме. В общих чертах экспозиция делится на несколько категорий:

  • Проприетарная информация. Исходный код и внутренние материалы, введённые в публичный чат-бот, больше нельзя считать приватными.
  • Бизнес-данные и данные клиентов. Компрометация подключённых приложений может раскрыть записи, хранящиеся на связанных платформах, что затрагивает клиентов и контакты вовлечённых организаций, а не только сами организации.
  • Контроль и видимость. Во многих инцидентах lasting-ущерб — это не только сами данные, но и потеря ясной картины того, куда они ушли.

Эта закономерность проявляется и за пределами корпоративной среды. Утечка данных Suno, в результате которой были раскрыты персональные данные более 55 миллионов пользователей и которая так и не была им раскрыта, показывает, как ИИ-сервис, хранящий пользовательские данные, может стать точкой экспозиции, даже когда пользователи не делали ничего необычного.

Что это значит для вас

Вам не нужно работать в крупной компании, чтобы эти уроки были применимы. Люди каждый день вставляют личные документы, медицинские вопросы, договоры и рабочие черновики в чат-боты. Многие также подключают ИИ-инструменты и другие приложения к почте, календарям и облачному хранилищу.

Практический момент в том, что ваша экспозиция зависит от двух вещей, которые вы контролируете: что вы передаёте ИИ-сервису и какой доступ вы оставляете включённым. Ни то, ни другое не требует технической экспертизы для управления. Более широкий контекст о том, как ИИ меняет картину угроз, освещён в нашем материале об ИИ-вымогателях и ошибочных тестовых моделях, допускающих утечку данных.

Привычки, которые ограничивают вашу собственную экспозицию через ИИ

  • Относитесь к запросу в чат-бот как к письму незнакомцу. Если бы вы не отправили это за пределы своей организации или домохозяйства, не вставляйте это.
  • Сначала удалите идентифицирующие детали. Замените имена, номера счетов, учётные данные и информацию о клиентах на заполнители, прежде чем просить о помощи.
  • Проверьте политику вашей работы. Если ваш работодатель предоставляет одобренный ИИ-инструмент, используйте его вместо личного аккаунта. Если политики нет, попросите о ней.
  • Регулярно проверяйте подключённые приложения. Откройте страницу безопасности или разрешений вашей почты, облачного хранилища и рабочих аккаунтов и удалите интеграции, которыми вы больше не пользуетесь.
  • Предпочитайте узкие разрешения. Когда приложение запрашивает широкий доступ, проверьте, существует ли более ограниченный вариант.
  • Проверьте историю чатов и настройки данных. Посмотрите, что сохраняют ваши ИИ-сервисы и можете ли вы отказаться от использования в обучении или удалить прошлые беседы.
  • Используйте уникальные пароли и многофакторную аутентификацию. Это не остановит каждую утечку, но ограничит то, к чему может привести скомпрометированный аккаунт.

Выводы

Примеры утечек данных через ИИ от Samsung, EchoLeak и Salesloft Drift указывают на один и тот же вывод: крупнейшие экспозиции часто происходят из удобства, а не из изощрённых атак. Начните с аудита того, что вы вставляете в чат-боты, затем пройдитесь по подключённым приложениям и отзовите то, что вам не нужно. Ещё один пример экспозиции данных ИИ-сервиса — читайте об утечке Suno, а для более широкого контекста о рисках, связанных с ИИ, смотрите наш материал об ИИ-вымогателях. Несколько минут проверки сейчас гораздо проще, чем попытки позже выяснить, куда ушли ваши данные.