ChatGPhish: ChatGPT Markdown-fejl muliggør prompt injection-phishing

ChatGPhish: ChatGPT Markdown-fejl muliggør prompt injection-phishing

En nyligt offentliggjort phishing-sårbarhed i ChatGPT kaldet ChatGPhish rejser alvorlig bekymring om, hvordan AI-understøttet webbrowsing kan vendes mod de brugere, den har til formål at hjælpe. Forskere hos Permiso Security har afsløret, at ChatGPTs indbyggede tillid til Markdown-formaterede links og billeder skaber en åbning, hvor angribere kan indsprøjte ondsindede prompts direkte i AI'ens webresuméer. Derved gøres en rutinemæssig produktivitetsfunktion effektivt til en leveringsmekanisme for phishing.

Hvordan ChatGPhish udnytter ChatGPTs Markdown-tillid

Når ChatGPT browser på nettet og opsummerer indhold for en bruger, behandler og gengiver den Markdown-formatering, herunder hyperlinks og indlejrede billeder. ChatGPhish-sårbarheden udnytter denne adfærd ved at indlejre specielt udformede instruktioner i websiders indhold. Fordi ChatGPT behandler det pågældende indhold som pålideligt input, kan de indsprøjtede instruktioner omdirigere AI'ens output, tvinge den til at vise vildledende links eller instruere den i at bede om brugeroplysninger under falske forudsætninger.

Der er tale om et indirekte prompt injection-angreb. I modsætning til direkte prompt injection, hvor en bruger bevidst manipulerer en AI med konstruerede input, gemmer indirekte prompt injection ondsindede kommandoer i eksternt indhold, som AI'en henter og behandler autonomt. Brugeren ser aldrig de skjulte instruktioner; de ser kun det output, som angriberen har manipuleret AI'en til at producere. I ChatGPhish-tilfældet kan dette output omfatte overbevisende phishing-prompts, der ser ud til at komme fra AI'en selv, hvilket giver dem et lag af falsk legitimitet.

Hvad der gør dette særligt bemærkelsesværdigt er, at angrebsfladen ikke er AI'ens underliggende model, men den tillid, den har til det webindhold, den opsummerer. En angriber behøver ikke at kompromittere OpenAIs systemer. De skal blot kontrollere eller manipulere en webside, som en bruger kunne bede ChatGPT om at opsummere.

Hvem er mest udsat, og hvilke data kan blive eksponeret

Enhver, der bruger ChatGPTs webbrowsing- eller opsummeringsfunktioner, er potentielt eksponeret, men visse grupper har en forhøjet risiko. Brugere, der stoler på ChatGPT til hurtigt at opsummere artikler, dokumenter eller tredjepartssider, er mest tilbøjelige til at støde på indsprøjtet indhold uden at være klar over det. Virksomhedsbrugere, som har integreret ChatGPT i arbejdsgange, der involverer eksterne datakilder, har en forstærket eksponering.

De data, der er i fare, er primært oplysninger på legitimationsniveau. Et vellykket ChatGPhish-angreb kan narre en bruger til at indsende en adgangskode, autentifikationstoken eller kontodetalje via en phishing-side, som AI'en har præsenteret som legitim. I betragtning af at milliarder af loginoplysninger allerede cirkulerer i databrudsdepoter, herunder de 19 milliarder adgangskoder, der blev eksponeret i RockYou2024-lækagen, er enhver yderligere phishing-vektor, der omgår brugernes normale skepsis, en alvorlig bekymring.

Konti tilknyttet betalingstjenester, virksomhedssystemer eller følsomme personlige data er de mest attraktive mål. Phishing-prompten, der fremstår som en naturlig del af et ChatGPT-svar, vil sandsynligvis omgå de mentale filtre, brugerne anvender, når de opdager konventionelle phishing-e-mails.

Hvorfor brugere på offentlige netværk og VPN-brugere har en forhøjet eksponering

Brugere på offentlige Wi-Fi-netværk har en forstærket risiko for ChatGPhish. På ukrypterede eller dårligt sikrede netværk er trafikaflytning en realistisk trussel. Selvom selve ChatGPhish-angrebet ikke kræver adgang på netværksniveau, skaber kombinationen af et kompromitteret netværksmiljø og et manipuleret AI-resumé en særligt farlig situation. Phishing-legitimationsoplysninger, der fanges på en café eller i en lufthavn, kan bruges øjeblikkeligt, før brugeren får mulighed for at opdage kompromitteringen.

Brug af en VPN adresserer ét lag af dette problem ved at kryptere trafikken mellem brugerens enhed og internettet og derved reducere risikoen for aflytning på netværksniveau. Det forhindrer dog ikke ChatGPT i at behandle ondsindet websideindhold og vise indsprøjtede prompts. ChatGPhish-angrebet foregår på applikationslaget, hvilket betyder, at beskyttelse på netværksniveau alene er utilstrækkelig. Brugere skal forblive opmærksomme på uventede legitimationsanmodninger, der optræder i AI-genererede resuméer, uanset hvordan deres netværkstrafik er sikret.

Praktiske skridt til at undgå at blive ramt af ChatGPhish

Indtil OpenAI udsender en definitiv patch eller arkitekturændring, der forhindrer Markdown-baseret prompt injection, kan brugere tage flere praktiske skridt for at reducere deres eksponering.

For det første: Behandl enhver legitimations- eller loginforespørgsel, der optræder via et ChatGPT-resumé, med øjeblikkelig mistænksomhed. ChatGPT har ingen legitim grund til at bede om adgangskoder eller autentifikationstokens som en del af et webresumé. Hvis du ser sådan en anmodning, bør du lukke sessionen og navigere direkte til den relevante side via din browser.

For det andet: Vær selektiv med, hvilke sider du beder ChatGPT om at opsummere, især sider fra kilder, du ikke genkender eller har tillid til. Angriberkontrollerede sider er den primære leveringsmekanisme for ChatGPhish-nyttelaster.

For det tredje: Gennemgå din generelle konto- og legitimationshygiejne nu, ikke efter en hændelse. Brug af stærke, unikke adgangskoder på tværs af alle konti betyder, at selv hvis et phishing-angreb fanger én legitimation, er skaden begrænset. I betragtning af hvor let loginoplysninger genanvendes i angreb efter store lækager, er dette en ufravigelig grundregel.

Endelig: Overvåg OpenAIs sikkerhedsadvisories for patches eller begrænsninger relateret til ChatGPhish. Hurtig installation af opdateringer er et af de enkleste forsvar mod offentliggjorte sårbarheder.

Hvad dette betyder for dig

ChatGPhish er en påmindelse om, at AI-værktøjer arver risiciene fra det indhold, de behandler. At stole på et AI-resumé er ikke det samme som at stole på den underliggende kilde, og angribere udnytter allerede dette hul. Angrebet kræver ikke avancerede tekniske færdigheder fra angriberens side, hvilket betyder, at det sandsynligvis vil sprede sig fra sikkerhedsforskere til aktiv kriminel anvendelse.

Det mest handlingsorienterede skridt, du kan tage lige nu, er at revidere sikkerheden omkring dine loginoplysninger. Hvis den samme adgangskode beskytter flere konti, kan et enkelt vellykket ChatGPhish-phishingforsøg udløse en langt bredere kompromittering. Gennemgang af RockYou2024-bruddet er et nyttigt udgangspunkt for at forstå omfanget af det trusselsmiljø for legitimationsoplysninger, som gør angreb som ChatGPhish så alvorlige. Unikke, stærke adgangskoder og multifaktorautentifikation på alle kritiske konti er fortsat din mest pålidelige første forsvarslinje, når AI-værktøjer kan gøres til phishing-overflader.