ChatGPhish: Вразливість Markdown у ChatGPT уможливлює фішинг через ін’єкцію підказок
Нещодавно розкрита вразливість ChatGPT для фішингу під назвою ChatGPhish викликає серйозне занепокоєння щодо того, як веб-серфінг із допомогою ШІ може бути використаний проти своїх же користувачів. Дослідники з Permiso Security виявили, що вбудована довіра ChatGPT до посилань та зображень у форматі Markdown створює можливість для зловмисників впроваджувати шкідливі підказки безпосередньо у веб-підсумки ШІ, фактично перетворюючи звичайну функцію підвищення продуктивності на механізм доставки фішингу.
Як ChatGPhish використовує довіру ChatGPT до Markdown
Коли ChatGPT переглядає веб-сторінки та узагальнює контент для користувача, він обробляє та відображає форматування Markdown, включаючи гіперпосилання та вбудовані зображення. Вразливість ChatGPhish використовує цю поведінку шляхом впровадження спеціально створених інструкцій у код веб-сторінок. Оскільки ChatGPT сприймає цей контент як довірений, впроваджені інструкції можуть змінити вивід ШІ, змусити його показувати оманливі посилання або спонукати до виманювання облікових даних у користувача під фальшивим приводом.
Це атака з непрямим впровадженням підказок. На відміну від прямого впровадження, коли користувач навмисне маніпулює ШІ за допомогою підготовлених вхідних даних, непряме впровадження ховає шкідливі команди в зовнішньому контенті, який ШІ витягує й обробляє самостійно. Користувач ніколи не бачить прихованих інструкцій; він бачить лише той вивід, який атакуючий спроєктував для ШІ. У випадку ChatGPhish цей вивід може містити переконливі фішингові запити, які виглядають так, ніби надходять від самого ШІ, надаючи їм шар фальшивої легітимності.
Що робить це особливо примітним, так це те, що поверхня атаки — це не модель ШІ, а довіра, яку він надає веб-контенту, який узагальнює. Атакуючому не потрібно компрометувати системи OpenAI. Йому достатньо контролювати або маніпулювати веб-сторінкою, яку користувач може попросити ChatGPT узагальнити.
Хто піддається найбільшому ризику та які дані можуть бути скомпрометовані
Будь-хто, хто використовує функції веб-серфінгу або узагальнення ChatGPT, потенційно вразливий, але певні групи мають підвищений ризик. Користувачі, які покладаються на ChatGPT для швидкого узагальнення статей, документів або сторінок третіх сторін, найімовірніше зіткнуться з впровадженим контентом, не усвідомлюючи цього. Корпоративні користувачі, які інтегрували ChatGPT у робочі процеси із зовнішніми джерелами даних, зазнають ще більшого ризику.
Під загрозою перебувають переважно облікові дані. Успішна атака ChatGPhish може обманом змусити користувача ввести пароль, токен автентифікації або реквізити облікового запису на фішинговій сторінці, яку ШІ представив як легітимну. Враховуючи, що в репозитаріях витоків уже циркулюють мільярди облікових даних, зокрема 19 мільярдів паролів, викритих у витоку RockYou2024, будь-який додатковий вектор фішингу, який оминає звичайний скептицизм користувачів, викликає серйозне занепокоєння.
Найпривабливішими цілями є облікові записи, пов’язані з платіжними сервісами, корпоративними системами або конфіденційними особистими даними. Фішинговий запит, що виглядає як природна частина відповіді ChatGPT, ймовірно, обходить ментальні фільтри, які користувачі застосовують для виявлення звичних фішингових листів.
Чому користувачі публічних мереж та VPN піддаються більшому ризику
Користувачі публічних Wi-Fi мереж мають посилений ризик через ChatGPhish. У незашифрованих або погано захищених мережах перехоплення трафіку є реальною загрозою. Хоча сама атака ChatGPhish не вимагає доступу на мережевому рівні, поєднання скомпрометованого мережевого середовища та маніпульованого підсумку ШІ створює особливо небезпечну ситуацію. Облікові дані, перехоплені в кав’ярні чи аеропорту, можуть бути використані миттєво, перш ніж користувач зможе помітити компрометацію.
Використання VPN вирішує один шар цієї проблеми, шифруючи трафік між пристроєм користувача та інтернетом, зменшуючи ризик перехоплення на мережевому рівні. Однак це не заважає ChatGPT обробляти шкідливий вміст веб-сторінок і показувати впроваджені підказки. Атака ChatGPhish діє на прикладному рівні, тому лише мережевих засобів захисту недостатньо. Користувачі повинні зберігати пильність щодо неочікуваних запитів облікових даних у згенерованих ШІ підсумках, незалежно від того, як захищений їхній мережевий трафік.
Практичні кроки, щоб не стати жертвою ChatGPhish
Поки OpenAI не випустить остаточний патч або архітектурну зміну, яка запобігає впровадженню підказок через Markdown, користувачі можуть вжити кілька практичних заходів, щоб зменшити свій ризик.
По-перше, ставтеся з негайною підозрою до будь-якого запиту облікових даних або входу, який з’являється в підсумку ChatGPT. ChatGPT не має легітимної причини запитувати паролі або токени автентифікації як частину веб-підсумку. Якщо ви бачите такий запит, закрийте сеанс і перейдіть безпосередньо на відповідний сайт через браузер.
По-друге, будьте вибірковими щодо того, які сторінки ви просите ChatGPT узагальнити, особливо сторінки з джерел, яких ви не знаєте або не довіряєте. Сторінки, контрольовані атакуючим, є основним механізмом доставки шкідливого навантаження ChatGPhish.
По-третє, перевірте загальну гігієну своїх облікових записів та облікових даних зараз, а не після інциденту. Використання надійних унікальних паролів для кожного облікового запису означає, що навіть якщо фішингова атака перехопить одні облікові дані, шкода буде обмежена. З огляду на те, як легко облікові дані повторно використовуються після масштабних витоків, це безумовна основа.
Нарешті, відстежуйте рекомендації OpenAI щодо безпеки щодо патчів або заходів з пом’якшення, пов’язаних з ChatGPhish. Своєчасне встановлення оновлень — один із найпростіших захистів від розкритих вразливостей.
Що це означає для вас
ChatGPhish нагадує, що інструменти ШІ успадковують ризики контенту, який вони обробляють. Довіра до підсумку ШІ не дорівнює довірі до першоджерела, і атакуючі вже використовують цю прогалину. Атака не потребує складних технічних навичок з боку атакуючого, а отже, ймовірно, пошириться за межі дослідників безпеки в активне кримінальне використання.
Найпрактичніший крок, який ви можете зробити просто зараз, — перевірити безпеку своїх облікових даних. Якщо один пароль захищає кілька облікових записів, одна успішна фішингова атака ChatGPhish може спричинити значно ширшу компрометацію. Ознайомлення з витоком RockYou2024 є корисним початком для розуміння масштабу загроз обліковим даним, який робить атаки на кшталт ChatGPhish настільки небезпечними. Унікальні надійні паролі та багатофакторна автентифікація для всіх критичних облікових записів залишаються вашим найнадійнішим першим рубежем оборони, коли інструменти ШІ можуть бути перетворені на поверхню для фішингу.
