ChatGPhish: Chyba v Markdownu ChatGPT umožňuje phishing pomocí injekce promptu

ChatGPhish: Chyba v Markdownu ChatGPT umožňuje phishing pomocí injekce promptu

Nově odhalená phishingová zranitelnost ChatGPT nazvaná ChatGPhish vyvolává vážné obavy, jak lze asistované prohlížení webu s umělou inteligencí obrátit proti uživatelům, kterým má pomáhat. Výzkumníci ze společnosti Permiso Security odhalili, že vestavěná důvěra ChatGPT v odkazy a obrázky formátované v Markdownu vytváří prostor pro útočníky, aby vkládali škodlivé prompty přímo do webových shrnutí AI, a z běžné funkce pro produktivitu se tak stává nástroj pro doručování phishingu.

Jak ChatGPhish zneužívá důvěru ChatGPT v Markdown

Když ChatGPT prochází web a shrnuje obsah pro uživatele, zpracovává a vykresluje formátování Markdown, včetně hypertextových odkazů a vložených obrázků. Zranitelnost ChatGPhish toto chování zneužívá vkládáním speciálně připravených instrukcí do obsahu webových stránek. Protože ChatGPT tento obsah považuje za důvěryhodný vstup, mohou vložené instrukce přesměrovat výstup AI, přinutit ji k zobrazování klamavých odkazů nebo ji instruovat, aby od uživatele vylákala přihlašovací údaje pod falešnou záminkou.

Jedná se o útok nepřímou injekcí promptu. Na rozdíl od přímé injekce, kdy uživatel záměrně manipuluje AI pomocí podvržených vstupů, nepřímá injekce ukrývá škodlivé příkazy uvnitř externího obsahu, který AI samostatně načítá a zpracovává. Uživatel tyto skryté instrukce nikdy nevidí; vidí pouze výstup, který útočník přiměl AI vyprodukovat. V případě ChatGPhish může tento výstup obsahovat přesvědčivé phishingové výzvy, které se zdánlivě vydávají za samotnou AI, což jim dodává falešný punc legitimity.

Obzvláště pozoruhodné je, že útočnou plochou není samotný model AI, ale důvěra, kterou vkládá do webového obsahu, jejž shrnuje. Útočník nemusí kompromitovat systémy OpenAI. Stačí mu ovládat nebo zmanipulovat webovou stránku, o jejíž shrnutí by uživatel mohl ChatGPT požádat.

Kdo je nejvíce ohrožen a jaká data mohou být odhalena

Potenciálně je vystaven každý, kdo používá funkce procházení webu nebo shrnování v ChatGPT, ale některé skupiny čelí zvýšenému riziku. Uživatelé, kteří spoléhají na ChatGPT při rychlém shrnování článků, dokumentů nebo stránek třetích stran, se s největší pravděpodobností setkají s podvrženým obsahem, aniž by si to uvědomili. Firemní uživatelé, kteří integrovali ChatGPT do pracovních postupů zahrnujících externí datové zdroje, čelí ještě většímu riziku.

Ohrožená data jsou především na úrovni přihlašovacích údajů. Úspěšný útok ChatGPhish by mohl uživatele přimět k zadání hesla, autentizačního tokenu nebo detailů účtu na phishingové stránce, kterou AI prezentovala jako legitimní. Vzhledem k tomu, že v repozitářích narušení už kolují miliardy přihlašovacích údajů, včetně 19 miliard hesel odhalených v úniku RockYou2024, je každý další phishingový vektor, který obchází běžnou ostražitost uživatelů, vážným problémem.

Nejatraktivnějšími cíli jsou účty spojené s platebními službami, podnikovými systémy nebo citlivými osobními údaji. Phishingová výzva, která se jeví jako přirozená součást odpovědi ChatGPT, pravděpodobně obejde mentální filtry, které uživatelé používají při rozpoznávání běžných phishingových e-mailů.

Proč uživatelé veřejných sítí a VPN čelí zvýšenému riziku

Uživatelé veřejných Wi-Fi sítí čelí zvýšenému riziku z ChatGPhish. Na nešifrovaných nebo špatně zabezpečených sítích je odposlech provozu reálnou hrozbou. Přestože samotný útok ChatGPhish nevyžaduje přístup na úrovni sítě, kombinace kompromitovaného síťového prostředí a zmanipulovaného shrnutí AI vytváří obzvláště nebezpečnou situaci. Phishingové přihlašovací údaje zachycené v kavárně nebo na letišti mohou být okamžitě zneužity, dříve než uživatel stihne kompromitaci odhalit.

Použití VPN řeší jednu vrstvu tohoto problému tím, že šifruje provoz mezi zařízením uživatele a internetem, čímž snižuje riziko odposlechu na úrovni sítě. Nezabrání však tomu, aby ChatGPT zpracoval škodlivý obsah webové stránky a zobrazil podvržené prompty. Útok ChatGPhish se odehrává na aplikační vrstvě, což znamená, že samotná ochrana na úrovni sítě nestačí. Uživatelé musí zůstat ostražití vůči neočekávaným požadavkům na přihlašovací údaje, které se objeví v souhrnech generovaných AI, bez ohledu na to, jak je jejich síťový provoz zabezpečen.

Praktické kroky, jak se vyhnout cílení ChatGPhish

Dokud OpenAI nevydá definitivní opravu nebo architektonickou změnu, která zabrání injekci promptů na základě Markdownu, mohou uživatelé podniknout několik praktických kroků ke snížení své vystavenosti.

Zaprvé, na jakoukoli žádost o přihlašovací údaje nebo přihlášení, která se objeví v souhrnu ChatGPT, okamžitě pohlížejte s podezřením. ChatGPT nemá žádný legitimní důvod požadovat hesla nebo autentizační tokeny jako součást webového shrnutí. Pokud takový požadavek uvidíte, ukončete relaci a přejděte přímo na příslušnou stránku prostřednictvím svého prohlížeče.

Zadruhé, buďte selektivní v tom, které stránky necháte ChatGPT shrnout, zejména pokud pocházejí ze zdrojů, které neznáte nebo kterým nedůvěřujete. Stránky ovládané útočníky jsou hlavním doručovacím mechanismem pro nálože ChatGPhish.

Zatřetí, zkontrolujte si hygienu svých účtů a přihlašovacích údajů hned teď, nikoli až po incidentu. Používání silných a jedinečných hesel pro každý účet znamená, že i když phishingové heslo zachytí, škody jsou omezené. Vzhledem k tomu, jak snadno se přihlašovací údaje po rozsáhlých únicích recyklují v útocích, jde o nezbytný základ.

Nakonec sledujte bezpečnostní oznámení OpenAI ohledně záplat nebo mitigací souvisejících s ChatGPhish. Včasná instalace aktualizací je jednou z nejjednodušších obran proti odhaleným zranitelnostem.

Co to pro vás znamená

ChatGPhish je připomínkou, že nástroje umělé inteligence přebírají rizika obsahu, který zpracovávají. Důvěřovat souhrnu AI není totéž jako důvěřovat podkladovému zdroji a útočníci již tuto mezeru zneužívají. Útok nevyžaduje sofistikované technické dovednosti na straně útočníka, což znamená, že se pravděpodobně rozšíří mimo bezpečnostní výzkumníky do aktivního kriminálního využití.

Nejužitečnějším krokem, který můžete právě teď udělat, je audit bezpečnosti svých přihlašovacích údajů. Pokud stejné heslo chrání více účtů, může jediný úspěšný phishingový pokus ChatGPhish přerůst v mnohem rozsáhlejší kompromitaci. Projděte si pokrytí úniku RockYou2024, což je užitečný výchozí bod pro pochopení rozsahu hrozeb spojených s přihlašovacími údaji, kvůli nimž jsou útoky jako ChatGPhish tak závažné. Jedinečná, silná hesla a vícefaktorové ověření u všech kritických účtů zůstávají vaší nejspolehlivější první linií obrany, když se nástroje AI mohou proměnit v phishingové plochy.