ChatGPhish: ChatGPT Markdown-fout maakt promptinjectie-phishing mogelijk
Een nieuw onthulde phishingkwetsbaarheid in ChatGPT, ChatGPhish genaamd, baart grote zorgen over hoe AI-ondersteund surfen op het web kan worden gekeerd tegen de gebruikers die het juist wil helpen. Onderzoekers van Permiso Security hebben onthuld dat het ingebouwde vertrouwen van ChatGPT in Markdown-opgemaakte links en afbeeldingen een opening creëert voor aanvallers om kwaadaardige prompts rechtstreeks in de websamenvattingen van de AI te injecteren, waarmee een routinematige productiviteitsfunctie effectief wordt veranderd in een bezorgmechanisme voor phishing.
Hoe ChatGPhish het Markdown-vertrouwen van ChatGPT misbruikt
Wanneer ChatGPT op het web surft en inhoud voor een gebruiker samenvat, verwerkt en rendert het Markdown-opmaak, inclusief hyperlinks en ingesloten afbeeldingen. De ChatGPhish-kwetsbaarheid maakt misbruik van dit gedrag door speciaal vervaardigde instructies in de inhoud van webpagina's in te sluiten. Omdat ChatGPT die inhoud als vertrouwde invoer beschouwt, kunnen de geïnjecteerde instructies de uitvoer van de AI omleiden, deze dwingen misleidende links weer te geven, of de AI opdragen om onder valse voorwendselen inloggegevens van de gebruiker te vragen.
Dit is een indirecte promptinjectie-aanval. In tegenstelling tot directe promptinjectie, waarbij een gebruiker een AI opzettelijk manipuleert met vervaardigde invoer, verbergt indirecte promptinjectie kwaadaardige opdrachten in externe inhoud die de AI zelfstandig ophaalt en verwerkt. De gebruiker ziet de verborgen instructies nooit; hij ziet alleen de uitvoer die de aanvaller de AI heeft laten produceren. In het geval van ChatGPhish kan die uitvoer overtuigende phishing-prompts bevatten die van de AI zelf afkomstig lijken te zijn, wat ze een laagje valse legitimiteit geeft.
Wat dit bijzonder opmerkelijk maakt, is dat het aanvalsoppervlak niet het onderliggende model van de AI is, maar het vertrouwen dat het stelt in de webinhoud die het samenvat. Een aanvaller hoeft de systemen van OpenAI niet te compromitteren. Hij hoeft alleen een webpagina te beheren of te manipuleren die een gebruiker ChatGPT kan vragen samen te vatten.
Wie het grootste risico loopt en welke gegevens kunnen worden blootgesteld
Iedereen die de webbrowse- of samenvattingsfuncties van ChatGPT gebruikt, loopt potentieel risico, maar bepaalde groepen lopen een verhoogd risico. Gebruikers die vertrouwen op ChatGPT om snel artikelen, documenten of pagina's van derden samen te vatten, lopen de grootste kans om geïnjecteerde inhoud tegen te komen zonder het te beseffen. Zakelijke gebruikers die ChatGPT in workflows met externe gegevensbronnen hebben geïntegreerd, worden nog meer blootgesteld.
De risicogegevens zijn voornamelijk inloggegevens. Een succesvolle ChatGPhish-aanval kan een gebruiker verleiden om een wachtwoord, authenticatietoken of accountgegevens in te dienen via een phishingpagina die de AI als legitiem heeft gepresenteerd. Aangezien er al miljarden inloggegevens circuleren in datalek-archieven, waaronder de 19 miljard uitgelekte wachtwoorden in het RockYou2024-lek, is elke extra phishingvector die de normale scepsis van gebruikers omzeilt een ernstige zorg.
Accounts die zijn gekoppeld aan betalingsdiensten, bedrijfssystemen of gevoelige persoonlijke gegevens zijn de meest aantrekkelijke doelen. De phishingprompt, die eruitziet als een natuurlijk onderdeel van een ChatGPT-antwoord, zal waarschijnlijk de mentale filters omzeilen die gebruikers toepassen om conventionele phishing-e-mails te herkennen.
Waarom gebruikers van openbare netwerken en VPN's meer risico lopen
Gebruikers op openbare wifi-netwerken lopen een verhoogd risico door ChatGPhish. Op niet-versleutelde of slecht beveiligde netwerken is het onderscheppen van verkeer een reële dreiging. Hoewel de ChatGPhish-aanval zelf geen netwerktoegang vereist, creëert de combinatie van een gecompromitteerde netwerkomgeving en een gemanipuleerde AI-samenvatting een bijzonder gevaarlijke situatie. Phishing-inloggegevens die in een café of op een luchthaven worden buitgemaakt, kunnen onmiddellijk worden gebruikt, voordat de gebruiker enige kans heeft om de inbreuk te detecteren.
Het gebruik van een VPN pakt één laag van dit probleem aan door het verkeer tussen het apparaat van de gebruiker en het internet te versleutelen, waardoor het risico op onderschepping op netwerkniveau afneemt. Het voorkomt echter niet dat ChatGPT kwaadaardige webpaginacontent verwerkt en geïnjecteerde prompts weergeeft. De ChatGPhish-aanval speelt zich af op de applicatielaag, wat betekent dat beveiligingsmaatregelen op netwerkniveau alleen niet voldoende zijn. Gebruikers moeten alert blijven op onverwachte verzoeken om inloggegevens die verschijnen in AI-gegenereerde samenvattingen, ongeacht hoe hun netwerkverkeer is beveiligd.
Praktische stappen om te voorkomen dat je het doelwit wordt van ChatGPhish
Totdat OpenAI een definitieve patch of architectuurwijziging uitbrengt die promptinjectie op basis van Markdown voorkomt, kunnen gebruikers verschillende praktische stappen nemen om hun blootstelling te verminderen.
Behandel ten eerste elk verzoek om inloggegevens dat via een ChatGPT-samenvatting verschijnt onmiddellijk met argwaan. Er is geen legitieme reden voor ChatGPT om om wachtwoorden of authenticatietokens te vragen als onderdeel van een websamenvatting. Als je zo'n verzoek ziet, sluit dan de sessie en ga rechtstreeks via je browser naar de betreffende site.
Wees ten tweede selectief met welke pagina's je ChatGPT vraagt samen te vatten, vooral pagina's van bronnen die je niet herkent of vertrouwt. Pagina's die door aanvallers worden beheerd, zijn het belangrijkste bezorgmechanisme voor ChatGPhish-payloads.
Controleer ten derde nu, niet na een incident, de hygiëne van je algehele accounts en inloggegevens. Het gebruik van sterke, unieke wachtwoorden voor elk account zorgt ervoor dat, zelfs als een phishing-aanval één inloggegevens buitmaakt, de schade beperkt blijft. Gezien hoe makkelijk inloggegevens na grootschalige lekken worden hergebruikt in aanvallen, is dit een absolute basisvereiste.
Houd ten slotte de beveiligingsadviezen van OpenAI in de gaten voor patches of mitigerende maatregelen met betrekking tot ChatGPhish. Updates snel toepassen is een van de eenvoudigste verdedigingsmechanismen tegen bekende kwetsbaarheden.
Wat dit voor jou betekent
ChatGPhish is een herinnering dat AI-tools de risico's overnemen van de inhoud die ze verwerken. Het vertrouwen op een AI-samenvatting is niet hetzelfde als het vertrouwen op de onderliggende bron, en aanvallers maken al misbruik van dat hiaat. De aanval vereist geen geavanceerde technische vaardigheden aan de kant van de aanvaller, wat betekent dat deze zich waarschijnlijk zal verspreiden van beveiligingsonderzoekers naar actief crimineel gebruik.
De meest concrete stap die je nu kunt nemen, is het controleren van de beveiliging van je inloggegevens. Als hetzelfde wachtwoord meerdere accounts beschermt, kan één succesvolle ChatGPhish-phishingpoging uitmonden in een veel grotere inbreuk. Het doornemen van de berichtgeving over het RockYou2024-lek is een nuttig startpunt om de omvang te begrijpen van de dreigingsomgeving rond inloggegevens die aanvallen zoals ChatGPhish zo ingrijpend maakt. Unieke, sterke wachtwoorden en multi-factor authenticatie op alle kritieke accounts blijven je meest betrouwbare eerste verdedigingslinie wanneer AI-tools kunnen worden veranderd in phishingoppervlakken.
