ChatGPhish: ChatGPTs Markdown-sårbarhet muliggjør phishing via promptinjeksjon

ChatGPhish: ChatGPTs Markdown-sårbarhet muliggjør phishing via promptinjeksjon

En nylig avslørt phishing-sårbarhet i ChatGPT kalt ChatGPhish skaper alvorlig bekymring rundt hvordan AI-assistert nettsurfing kan vendes mot brukerne den er ment å hjelpe. Forskere hos Permiso Security har avslørt at ChatGPTs innebygde tillit til Markdown-formaterte lenker og bilder åpner for at angripere kan injisere ondsinnede prompt direkte i AIs nettsammendrag, noe som effektivt våpenliggjør en rutinemessig produktivitetsfunksjon til en phishing-distribusjonsmekanisme.

Hvordan ChatGPhish utnytter ChatGPTs Markdown-tillit

Når ChatGPT surfer på nettet og oppsummerer innhold for en bruker, behandler og gjengir den Markdown-formatering, inkludert hyperlenker og innebygde bilder. ChatGPhish-sårbarheten utnytter denne atferden ved å bygge inn spesiallagde instruksjoner i nettsideinnhold. Fordi ChatGPT behandler dette innholdet som pålitelig input, kan de injiserte instruksjonene omdirigere AIs utdata, tvinge den til å vise villedende lenker eller instruere den om å be om brukerens legitimasjon under falske forutsetninger.

Dette er et indirekte promptinjeksjonsangrep. I motsetning til direkte promptinjeksjon, der en bruker bevisst manipulerer en AI med konstruert input, skjuler indirekte promptinjeksjon ondsinnede kommandoer i eksternt innhold som AIs henter og behandler autonomt. Brukeren ser aldri de skjulte instruksjonene; de ser kun det angriperen har konstruert AIs til å produsere. I ChatGPhish-tilfellet kan dette inkludere overbevisende phishing-oppfordringer som tilsynelatende kommer fra selve AIs, noe som gir dem et lag av falsk legitimitet.

Det som gjør dette spesielt bemerkelsesverdig, er at angrepsflaten ikke er AIs underliggende modell, men tilliten den viser nettsideinnholdet den oppsummerer. En angriper trenger ikke å kompromittere OpenAIs systemer. De trenger bare å kontrollere eller manipulere en nettside som en bruker kan be ChatGPT oppsummere.

Hvem er mest utsatt, og hvilke data kan eksponeres

Alle som bruker ChatGPTs nettsurfings- eller oppsummeringsfunksjoner er potensielt eksponert, men enkelte grupper har høyere risiko. Brukere som stoler på ChatGPT for raskt å oppsummere artikler, dokumenter eller tredjepartssider, vil mest sannsynlig møte injisert innhold uten å være klar over det. Bedriftsbrukere som har integrert ChatGPT i arbeidsflyter som involverer eksterne datakilder, har en sammensatt eksponering.

Dataene som er i faresonen, er først og fremst legitimasjonsopplysninger. Et vellykket ChatGPhish-angrep kan lure en bruker til å oppgi passord, autentiseringstoken eller kontoopplysninger via en phishing-side som AIs har presentert som legitim. Gitt at milliarder av legitimasjonsopplysninger allerede sirkulerer i bruddarkiver, inkludert de 19 milliardene passord som ble eksponert i RockYou2024-lekkasjen, er enhver ny phishing-vektor som omgår normal brukerskepsis en alvorlig bekymring.

Kontoer knyttet til betalingstjenester, bedriftssystemer eller sensitiv persondata er de mest attraktive målene. Phishing-oppfordringen, som fremstår som en naturlig del av et ChatGPT-svar, vil sannsynligvis omgå de mentale filtrene brukere har for å oppdage tradisjonelle phishing-e-poster.

Hvorfor brukere på offentlige nettverk og VPN møter økt eksponering

Brukere på offentlige trådløsnett møter en sammensatt risiko fra ChatGPhish. På ukrypterte eller dårlig sikrede nettverk er trafikkavlytting en reell trussel. Selv om ChatGPhish-angrepet i seg selv ikke krever tilgang på nettverksnivå, skaper kombinasjonen av et kompromittert nettverksmiljø og et manipulert AI-sammendrag en spesielt farlig situasjon. Phishing-legitimasjon som fanges opp på en kafé eller flyplass, kan brukes umiddelbart, før brukeren får muligheten til å oppdage kompromitteringen.

Bruk av VPN adresserer ett lag av dette problemet ved å kryptere trafikken mellom brukerens enhet og internett, noe som reduserer risikoen for avlytting på nettverksnivå. Det forhindrer imidlertid ikke at ChatGPT behandler ondsinnet nettsideinnhold og viser injiserte oppfordringer. ChatGPhish-angrepet opererer på applikasjonslaget, noe som betyr at beskyttelse kun på nettverksnivå ikke er tilstrekkelig. Brukere må være på vakt mot uventede forespørsler om legitimasjon som dukker opp i AI-genererte sammendrag, uavhengig av hvordan nettverkstrafikken er sikret.

Praktiske skritt for å unngå å bli utsatt for ChatGPhish

Inntil OpenAI utgir en definitiv oppdatering eller arkitektonisk endring som hindrer Markdown-basert promptinjeksjon, kan brukere ta noen praktiske grep for å redusere eksponeringen.

For det første, behandle enhver forespørsel om legitimasjon eller innlogging som dukker opp i et ChatGPT-sammendrag med umiddelbar mistenksomhet. ChatGPT har ingen legitim grunn til å be om passord eller autentiseringstoken som en del av et nettsammendrag. Hvis du ser en slik forespørsel, lukk økten og naviger direkte til den aktuelle siden via nettleseren din.

For det andre, vær selektiv med hvilke sider du ber ChatGPT oppsummere, spesielt sider fra kilder du ikke gjenkjenner eller stoler på. Sider kontrollert av angriperen er den primære leveringsmekanismen for ChatGPhish-nyttelast.

For det tredje, gjennomgå den generelle konto- og legitimasjonshygienen din nå, ikke etter en hendelse. Bruk av sterke, unike passord på tvers av alle kontoer betyr at selv om et phishing-angrep fanger opp én legitimasjon, er skaden begrenset. Gitt hvor lett legitimasjon gjenbrukes i angrep etter store lekkasjer, er dette en ufravikelig grunnmur.

Til slutt, overvåk OpenAIs sikkerhetsråd for oppdateringer eller skadereduserende tiltak relatert til ChatGPhish. Å installere oppdateringer umiddelbart er et av de enkleste forsvarene mot kjente sårbarheter.

Hva dette betyr for deg

ChatGPhish er en påminnelse om at AI-verktøy arver risikoen til innholdet de behandler. Å stole på et AI-sammendrag er ikke det samme som å stole på den underliggende kilden, og angripere utnytter allerede dette gapet. Angrepet krever ikke avanserte tekniske ferdigheter fra angriperens side, noe som betyr at det sannsynligvis vil spre seg fra sikkerhetsforskere til aktiv kriminell bruk.

Det mest handlingsrettede steget du kan ta akkurat nå, er å revidere legitimasjonssikkerheten din. Hvis det samme passordet beskytter flere kontoer, kan ett enkelt vellykket ChatGPhish-phishingforsøk utløse en mye bredere kompromittering. Å gjennomgå RockYou2024-bruddekningen er et nyttig utgangspunkt for å forstå omfanget av trusselbildet for legitimasjon som gjør angrep som ChatGPhish så alvorlige. Unike, sterke passord og flerfaktorautentisering på alle kritiske kontoer forblir ditt mest pålitelige første forsvarslinje når AI-verktøy kan forvandles til phishing-flater.