Нещодавня публікація від Jazz Security розглядає реальні приклади витоків даних через ШІ — від інженерів Samsung, які вставляли код у ChatGPT, до інцидентів EchoLeak і Salesloft Drift. Для кожного випадку вона описує, хто виявив проблему, її поточний статус і засіб контролю, який міг би побачити або обмежити масштаб витоку. Випадки різняться в технічних деталях, але мають спільну тему: витоки починалися не з екзотичних атак. Вони починалися зі звичайної поведінки та довірених зв’язків.

Цей пост спирається на той підсумок і редакційний підхід, що стоїть за ним. Доступний нам вихідний матеріал короткий, тому ми тримаємося широких закономірностей, які він описує, а не додаємо технічних подробиць, які не можемо перевірити.

Що сталося у витоках Samsung, EchoLeak і Salesloft Drift

Три випадки охоплюють три різні способи, якими відбувається витік даних, пов’язаний зі ШІ.

Samsung. Інженери вставляли код у ChatGPT. Хакер не був потрібен. Співробітники використовували публічний чат-бот як робочий інструмент, і конфіденційні матеріали виходили з-під контролю компанії в момент їх подання.

EchoLeak. Цей інцидент згруповано з іншими як приклад того, як функція ШІ розкриває дані через те, як вона обробляє вміст і з’єднується з іншою інформацією. Він показує, що ризик не обмежується тим, що вводить людина. Власний доступ ШІ-системи до даних також має значення.

Salesloft Drift. Цей випадок стосувався пов’язаних OAuth-інтеграцій. OAuth дозволяє одному застосунку отримувати доступ до даних в іншому без передачі пароля. Це зручно, але коли пов’язаний сервіс скомпрометовано, токени доступу, які він зберігає, можуть стати шляхом до кожного облікового запису, з яким він був пов’язаний.

У матеріалі Jazz Security також зафіксовано, хто виявив кожен випадок і який його поточний стан. Для читачів кориснішим висновком є поєднання кожного випадку із засобом контролю: чимось, що могло б дати видимість активності або обмежити, наскільки далеко пішли дані.

Приклади витоку даних через ШІ: як повсякденне використання ШІ розкривало дані

У цих прикладах витоків даних через ШІ найпомітніше те, наскільки звичайними були відправні точки.

Вставляння тексту в чат-бот відчувається як використання пошукового рядка або застосунку для нотаток. Воно не відчувається як надсилання даних третій стороні. Саме в цій прогалині між сприйняттям і реальністю й відбувається витік у стилі Samsung. Щойно інформацію подано, ви зазвичай маєте обмежене уявлення про те, де вона зберігається або хто може отримати до неї доступ згідно з умовами сервісу.

Пов’язані застосунки працюють так само. Надання інтеграції доступу вимагає кількох кліків, і дозвіл часто залишається незмінним місяцями чи роками. Якщо постачальника, що стоїть за цією інтеграцією, зламано, витік сягає даних, про які ви, можливо, забули, що поділилися ними.

ШІ-асистенти додають третій рівень. Коли інструмент може читати вашу електронну пошту, документи чи повідомлення, щоб бути корисним, усе, що він може прочитати, потенційно задіяне, якщо інструмент поводиться непередбаченим чином. Приклад EchoLeak ілюструє, чому обсяг доступу має значення не менше, ніж якість самого ШІ.

Що втратили постраждалі люди та організації

Подробиці різняться залежно від випадку, і ми не будемо вгадувати цифри, яких не наводить вихідний підсумок. Загалом витік поділяється на кілька категорій:

  • Власницька інформація. Вихідний код і внутрішні матеріали, введені в публічний чат-бот, більше не можна вважати приватними.
  • Бізнес-дані та дані клієнтів. Компрометація пов’язаних застосунків може розкрити записи, що зберігаються на пов’язаних платформах, що зачіпає клієнтів і контактів залучених організацій, а не лише самі організації.
  • Контроль і видимість. У багатьох інцидентах тривала шкода полягає не лише в самих даних, а й у втраті будь-якого чіткого уявлення про те, куди вони пішли.

Ця закономірність проявляється й поза корпоративним середовищем. Витік даних Suno, який розкрив особисту інформацію понад 55 мільйонів користувачів і про який їм так і не повідомили, показує, як ШІ-сервіс, що зберігає дані користувачів, може стати точкою витоку, навіть коли користувачі не робили нічого незвичайного.

Що це означає для вас

Вам не потрібно працювати у великій компанії, щоб ці уроки були застосовні. Люди щодня вставляють особисті документи, медичні питання, договори та робочі чернетки в чат-боти. Багато хто також підключає ШІ-інструменти та інші застосунки до електронної пошти, календарів і хмарних сховищ.

Практичний момент полягає в тому, що ваша схильність до ризику залежить від двох речей, які ви контролюєте: що ви передаєте ШІ-сервісу і який доступ залишаєте ввімкненим. Для керування жодним із них не потрібна технічна експертиза. Ширший контекст того, як ШІ змінює картину загроз, висвітлено в нашому огляді ШІ-програм-вимагачів і недолугих тестових моделей, що призводять до витоку даних.

Звички, які обмежують вашу власну схильність до витоку через ШІ

  • Ставтеся до запиту в чат-боті як до листа незнайомцю. Якщо ви не надіслали б це за межі своєї організації чи домогосподарства, не вставляйте це туди.
  • Спершу видаляйте ідентифікаційні дані. Замінюйте імена, номери рахунків, облікові дані та інформацію про клієнтів на заповнювачі, перш ніж просити про допомогу.
  • Перевірте свою робочу політику. Якщо ваш роботодавець надає схвалений ШІ-інструмент, використовуйте його замість особистого облікового запису. Якщо політики немає, попросіть про неї.
  • Регулярно переглядайте пов’язані застосунки. Відкрийте сторінку безпеки або дозволів вашої електронної пошти, хмарного сховища та робочих облікових записів і видаліть інтеграції, якими більше не користуєтеся.
  • Надавайте перевагу вузьким дозволам. Коли застосунок просить широкий доступ, перевірте, чи існує більш обмежений варіант.
  • Перегляньте історію чатів і налаштування даних. Подивіться, що зберігають ваші ШІ-сервіси і чи можете ви відмовитися від використання даних для навчання або видалити минулі розмови.
  • Використовуйте унікальні паролі та багатофакторну автентифікацію. Вони не зупиняють кожен витік, але обмежують те, до чого може призвести розкритий обліковий запис.

Ключові висновки

Приклади витоків даних через ШІ від Samsung, EchoLeak і Salesloft Drift ведуть до одного висновку: найбільші витоки часто походять від зручності, а не від витончених атак. Почніть з аудиту того, що ви вставляєте в чат-боти, потім перегляньте свої пов’язані застосунки та відкличте те, що вам не потрібно. Ще один приклад витоку даних через ШІ-сервіс читайте у матеріалі про витік Suno, а для ширшого контексту щодо ризиків, пов’язаних зі ШІ, дивіться наш огляд ШІ-програм-вимагачів. Кілька хвилин перевірки зараз набагато простіші, ніж спроби з’ясувати пізніше, куди поділися ваші дані.