ChatGPhish: ChatGPT Markdown-sårbarhet möjliggör promptinjektion för nätfiske

ChatGPhish: ChatGPT Markdown-sårbarhet möjliggör promptinjektion för nätfiske

En nyupptäckt nätfiskesårbarhet i ChatGPT, kallad ChatGPhish, väcker allvarliga farhågor om hur AI-assisterad webbläsning kan vändas mot de användare den syftar till att hjälpa. Forskare på Permiso Security har avslöjat att ChatGPTs inbyggda tillit till Markdown-formaterade länkar och bilder skapar en öppning för angripare att injicera skadliga prompter direkt i AI:ns webbsammanfattningar, vilket i praktiken förvandlar en rutinmässig produktivitetsfunktion till en mekanism för leverans av nätfiske.

Hur ChatGPhish utnyttjar ChatGPTs Markdown-tillit

När ChatGPT surfar på webben och sammanfattar innehåll för en användare, bearbetar och renderar den Markdown-formatering, inklusive hyperlänkar och inbäddade bilder. Sårbarheten ChatGPhish utnyttjar detta beteende genom att bädda in särskilt utformade instruktioner i webbsidans innehåll. Eftersom ChatGPT behandlar det innehållet som betrodd indata, kan de injicerade instruktionerna omdirigera AI:ns utdata, tvinga den att visa vilseledande länkar eller instruera den att begära inloggningsuppgifter från användaren under falska förespeglingar.

Detta är en indirekt promptinjektionsattack. Till skillnad från direkt promptinjektion, där en användare avsiktligt manipulerar en AI med särskilt utformade inmatningar, döljer indirekt promptinjektion skadliga kommandon i externt innehåll som AI:n hämtar och bearbetar självständigt. Användaren ser aldrig de dolda instruktionerna; de ser endast den utdata som angriparen har konstruerat att AI:n ska producera. I fallet ChatGPhish kan den utdatan inkludera övertygande nätfiskeprompter som verkar komma från AI:n själv, vilket ger dem ett lager av falsk legitimitet.

Det som gör detta särskilt anmärkningsvärt är att attackytan inte är AI:ns underliggande modell, utan den tillit den sätter till webbinnehållet den sammanfattar. En angripare behöver inte kompromettera OpenAIs system. De behöver bara kontrollera eller manipulera en webbsida som en användare kan be ChatGPT att sammanfatta.

Vem löper störst risk och vilka data kan exponeras

Alla som använder ChatGPTs funktioner för webbläsning eller sammanfattning är potentiellt exponerade, men vissa grupper löper förhöjd risk. Användare som förlitar sig på ChatGPT för att snabbt sammanfatta artiklar, dokument eller tredjepartssidor är mest benägna att stöta på injicerat innehåll utan att inse det. Företagsanvändare som har integrerat ChatGPT i arbetsflöden som involverar externa datakällor möter en förstärkt exponering.

De data som riskeras är främst information på inloggningsnivå. En framgångsrik ChatGPhish-attack kan lura en användare att ange ett lösenord, en autentiseringstoken eller kontouppgift via en nätfiskesida som AI:n har presenterat som legitim. Med tanke på att miljarder inloggningsuppgifter redan cirkulerar i dataläckta register, inklusive de 19 miljarder lösenord som exponerades i RockYou2024-läckan, är varje ytterligare nätfiskevektor som kringgår normal användarskepsis ett allvarligt problem.

Konton kopplade till betaltjänster, företagssystem eller känslig persondata är de mest attraktiva målen. Nätfiskeprompten, som framstår som en naturlig del av ett ChatGPT-svar, kommer sannolikt att kringgå de mentala filter användare tillämpar när de identifierar konventionella nätfiskemeddelanden.

Varför användare på publika nätverk och VPN-användare möter ökad exponering

Användare på publika Wi-Fi-nätverk löper en sammansatt risk från ChatGPhish. På okrypterade eller dåligt säkrade nätverk är trafikavlyssning ett realistiskt hot. Även om själva ChatGPhish-attacken inte kräver åtkomst på nätverksnivå, skapar kombinationen av en komprometterad nätverksmiljö och en manipulerad AI-sammanfattning en särskilt farlig situation. Nätfiskeuppgifter som fångas in på ett kafé eller en flygplats kan användas omedelbart, innan användaren har någon chans att upptäcka intrånget.

Att använda en VPN åtgärdar ett lager av detta problem genom att kryptera trafiken mellan användarens enhet och internet, vilket minskar risken för avlyssning på nätverksnivå. Det hindrar dock inte ChatGPT från att bearbeta skadligt webbsideinnehåll och visa injicerade prompter. ChatGPhish-attacken sker på applikationsnivå, vilket innebär att skydd på nätverksnivå inte är tillräckliga. Användare måste förbli uppmärksamma på oväntade förfrågningar om inloggningsuppgifter som dyker upp i AI-genererade sammanfattningar, oavsett hur deras nätverkstrafik är säkrad.

Praktiska åtgärder för att undvika att bli måltavla för ChatGPhish

Tills OpenAI släpper en definitiv patch eller arkitekturförändring som förhindrar Markdown-baserad promptinjektion, kan användare vidta flera praktiska åtgärder för att minska sin exponering.

För det första, betrakta varje begäran om inloggningsuppgifter eller inloggning som dyker upp via en ChatGPT-sammanfattning med omedelbar misstänksamhet. ChatGPT har ingen legitim anledning att be om lösenord eller autentiseringstokens som en del av en webbsammanfattning. Om du ser en sådan begäran, stäng sessionen och navigera direkt till den relevanta webbplatsen via din webbläsare.

För det andra, var selektiv med vilka sidor du ber ChatGPT att sammanfatta, särskilt sidor från källor du inte känner igen eller litar på. Angriparstyrda sidor är den primära leveransmekanismen för ChatGPhish-nyttolaster.

För det tredje, se över din allmänna kontosäkerhet och lösenordshygien nu, inte efter en incident. Att använda starka, unika lösenord för varje konto innebär att även om en nätfiskeattack fångar en inloggningsuppgift, är skadan begränsad. Med tanke på hur lätt inloggningsuppgifter återanvänds i attacker efter storskaliga läckor, är detta en icke-förhandlingsbar baslinje.

Slutligen, övervaka OpenAIs säkerhetsmeddelanden för patchar eller begränsningar relaterade till ChatGPhish. Att installera uppdateringar omgående är ett av de enklaste försvaren mot kända sårbarheter.

Vad detta innebär för dig

ChatGPhish är en påminnelse om att AI-verktyg ärver riskerna från innehållet de bearbetar. Att lita på en AI-sammanfattning är inte detsamma som att lita på den underliggande källan, och angripare utnyttjar redan denna lucka. Attacken kräver inte avancerade tekniska färdigheter från angriparens sida, vilket innebär att den sannolikt kommer att spridas bortom säkerhetsforskare till aktivt kriminellt bruk.

Det mest omedelbara steget du kan ta just nu är att granska din lösenordssäkerhet. Om samma lösenord skyddar flera konton, kan ett enda framgångsrikt ChatGPhish-nätfiskeförsök sprida sig till en mycket bredare kompromettering. Att granska bevakningen av RockYou2024-läckan är en användbar utgångspunkt för att förstå omfattningen av den hotmiljö för inloggningsuppgifter som gör attacker som ChatGPhish så betydelsefulla. Unika, starka lösenord och flerfaktorsautentisering på alla kritiska konton är fortfarande din mest pålitliga första försvarslinje när AI-verktyg kan förvandlas till nätfiskekanaler.