ChatGPhish: Уязвимост в Markdown на ChatGPT позволява фишинг чрез инжектиране на подкани
Новоразкрита уязвимост за фишинг в ChatGPT, наречена ChatGPhish, поражда сериозни опасения относно това как сърфирането в мрежата с помощта на изкуствен интелект може да бъде използвано срещу потребителите, на които цели да помага. Изследователи от Permiso Security разкриха, че вграденото доверие на ChatGPT към форматирани с Markdown връзки и изображения създава възможност за атакуващите да инжектират злонамерени инструкции директно в уеб обобщенията на изкуствения интелект, превръщайки по този начин рутинна функция за продуктивност в механизъм за доставяне на фишинг.
Как ChatGPhish използва доверието на ChatGPT към Markdown
Когато ChatGPT сърфира в мрежата и обобщава съдържание за потребителя, той обработва и визуализира Markdown форматирането, включително хипервръзки и вградени изображения. Уязвимостта ChatGPhish експлоатира това поведение, като вгражда специално създадени инструкции в съдържанието на уеб страници. Тъй като ChatGPT третира това съдържание като доверен вход, инжектираните инструкции могат да пренасочат изхода на изкуствения интелект, да го принудят да показва подвеждащи връзки или да му наредят да изисква идентификационни данни от потребителя под фалшив претекст.
Това е атака с индиректно инжектиране на инструкции. За разлика от директното инжектиране, при което потребителят умишлено манипулира изкуствен интелект чрез подготвени входове, индиректното инжектиране скрива злонамерени команди във външно съдържание, което изкуственият интелект извлича и обработва автономно. Потребителят никога не вижда скритите инструкции; вижда само изход, който атакуващият е проектирал изкуственият интелект да генерира. В случая с ChatGPhish, този изход може да включва убедителни фишинг подкани, които изглеждат сякаш идват от самия изкуствен интелект, придавайки им слой фалшива легитимност.
Това, което прави този случай особено забележителен, е, че повърхността на атака не е основният модел на изкуствения интелект, а доверието, което той оказва на уеб съдържанието, което обобщава. Атакуващият не трябва да компрометира системите на OpenAI. Необходимо е само да контролира или манипулира уеб страница, която потребителят може да поиска от ChatGPT да обобщи.
Кой е най-застрашен и какви данни могат да бъдат изложени
Всеки, който използва функциите за уеб сърфиране или обобщаване на ChatGPT, е потенциално изложен, но определени групи са изправени пред повишен риск. Потребителите, които разчитат на ChatGPT за бързо обобщаване на статии, документи или страници на трети страни, е най-вероятно да се сблъскат с инжектирано съдържание, без да осъзнават. Корпоративните потребители, които са интегрирали ChatGPT в работни процеси, включващи външни източници на данни, са изправени пред комбиниран риск.
Застрашените данни са предимно информация на ниво идентификационни данни. Успешна атака ChatGPhish може да подведе потребителя да предостави парола, токен за удостоверяване или детайли за акаунт чрез фишинг страница, която изкуственият интелект е представил като легитимна. Предвид че милиарди идентификационни данни вече циркулират в хранилища за пробиви, включително 19 милиарда пароли, изложени при изтичането RockYou2024, всеки допълнителен фишинг вектор, който заобикаля нормалния скептицизъм на потребителите, е сериозен проблем.
Акаунти, свързани с платежни услуги, корпоративни системи или чувствителни лични данни, са най-привлекателните цели. Фишинг подканата, изглеждаща като естествена част от отговора на ChatGPT, вероятно ще заобиколи умствените филтри, които потребителите прилагат при разпознаването на обичайните фишинг имейли.
Защо потребителите на обществени мрежи и VPN са изправени пред повишен риск
Потребителите в обществени Wi-Fi мрежи са изправени пред комбиниран риск от ChatGPhish. В некриптирани или слабо защитени мрежи прихващането на трафика е реална заплаха. Въпреки че самата атака ChatGPhish не изисква достъп на мрежово ниво, комбинацията от компрометирана мрежова среда и манипулирано обобщение от изкуствен интелект създава особено опасна ситуация. Фишинг идентификационните данни, уловени в кафене или летище, могат да бъдат използвани незабавно, преди потребителят да има възможност да забележи компрометирането.
Използването на VPN адресира един слой от този проблем, като криптира трафика между устройството на потребителя и интернет, намалявайки риска от прихващане на мрежово ниво. То обаче не предотвратява обработването на злонамерено съдържание от уеб страници от ChatGPT и показването на инжектирани подкани. Атаката ChatGPhish съществува на приложния слой, което означава, че защитите само на мрежово ниво са недостатъчни. Потребителите трябва да останат бдителни за неочаквани искания за идентификационни данни, появяващи се в генерираните от изкуствен интелект обобщения, независимо от това как е защитен мрежовият им трафик.
Практически стъпки за избягване на атаки от ChatGPhish
Докато OpenAI не издаде окончателен пач или архитектурна промяна, която предотвратява инжектирането на подкани чрез Markdown, потребителите могат да предприемат няколко практически стъпки, за да намалят излагането си.
Първо, третирайте всяко искане за идентификационни данни или вход, което се появява чрез обобщение на ChatGPT, с незабавно подозрение. ChatGPT няма легитимна причина да иска пароли или токени за удостоверяване като част от уеб обобщение. Ако видите такова искане, затворете сесията и отидете директно на съответния сайт през браузъра си.
Второ, бъдете избирателни относно страниците, които карате ChatGPT да обобщава, особено страници от източници, които не разпознавате или на които нямате доверие. Контролираните от атакуващи страници са основният механизъм за доставяне на полезния товар на ChatGPhish.
Трето, прегледайте цялостната хигиена на акаунтите и идентификационните си данни сега, а не след инцидент. Използването на силни, уникални пароли за всеки акаунт означава, че дори фишинг атака да улови едни идентификационни данни, щетите са ограничени. Предвид колко лесно идентификационните данни биват рециклирани в атаки след мащабни изтичания, това е неоспорима базова мярка.
Накрая, следете съветите за сигурност на OpenAI за пачове или мерки, свързани с ChatGPhish. Бързото прилагане на актуализации е една от най-простите защити срещу разкрити уязвимости.
Какво означава това за вас
ChatGPhish е напомняне, че инструментите с изкуствен интелект наследяват рисковете на съдържанието, което обработват. Да се доверяваш на обобщение от изкуствен интелект не е същото като да се доверяваш на източника, а атакуващите вече експлоатират тази разлика. Атаката не изисква сложни технически умения от страна на нападателя, което означава, че е вероятно да се разпространи отвъд изследователите по сигурността към активна престъпна употреба.
Най-приложимата стъпка, която можете да предприемете още сега, е да проверите сигурността на идентификационните си данни. Ако една и съща парола защитава множество акаунти, един успешен опит за фишинг от ChatGPhish може да ескалира до много по-широко компрометиране. Прегледът на отразяването на пробива RockYou2024 е полезна отправна точка за разбиране на мащаба на заплахата от компрометирани идентификационни данни, която прави атаки като ChatGPhish толкова значими. Уникални, силни пароли и многофакторно удостоверяване на всички критични акаунти остават най-надеждната ви първа линия на защита, когато инструментите с изкуствен интелект могат да се превърнат в повърхност за фишинг.
