ChatGPhish: una vulnerabilità Markdown di ChatGPT consente phishing tramite prompt injection

ChatGPhish: una vulnerabilità Markdown di ChatGPT consente phishing tramite prompt injection

Una vulnerabilità di phishing di ChatGPT recentemente rivelata, chiamata ChatGPhish, sta sollevando serie preoccupazioni su come la navigazione web assistita dall'IA possa essere utilizzata contro gli stessi utenti che intende aiutare. I ricercatori di Permiso Security hanno rivelato che la fiducia intrinseca di ChatGPT nei link e nelle immagini formattati in Markdown crea un varco che consente agli aggressori di iniettare comandi dannosi direttamente nei riassunti web dell'IA, trasformando di fatto una normale funzione di produttività in un meccanismo di distribuzione del phishing.

Come ChatGPhish sfrutta la fiducia di ChatGPT nel Markdown

Quando ChatGPT naviga sul web e riassume i contenuti per un utente, elabora e interpreta la formattazione Markdown, inclusi collegamenti ipertestuali e immagini incorporate. La vulnerabilità ChatGPhish sfrutta questo comportamento incorporando istruzioni appositamente predisposte all'interno del contenuto delle pagine web. Poiché ChatGPT considera quel contenuto come un input affidabile, le istruzioni iniettate possono reindirizzare l'output dell'IA, costringerla a mostrare link ingannevoli o indurla a richiedere credenziali all'utente con falsi pretesti.

Si tratta di un attacco di prompt injection indiretto. A differenza della prompt injection diretta, in cui un utente manipola intenzionalmente un'IA con input predisposti, l'iniezione indiretta nasconde comandi dannosi all'interno di contenuti esterni che l'IA recupera ed elabora autonomamente. L'utente non vede mai le istruzioni nascoste; vede solo l'output che l'aggressore ha progettato per far produrre all'IA. Nel caso di ChatGPhish, questo output può includere richieste di phishing convincenti che sembrano provenire dall'IA stessa, conferendo loro un falso strato di legittimità.

Ciò che rende questa scoperta particolarmente degna di nota è che la superficie d'attacco non è il modello sottostante dell'IA, bensì la fiducia che essa ripone nel contenuto web che riassume. Un aggressore non deve compromettere i sistemi di OpenAI. Deve solo controllare o manipolare una pagina web che un utente potrebbe chiedere a ChatGPT di riassumere.

Chi è più a rischio e quali dati potrebbero essere esposti

Chiunque utilizzi le funzionalità di navigazione web o di riassunto di ChatGPT è potenzialmente esposto, ma alcuni gruppi corrono un rischio maggiore. Gli utenti che si affidano a ChatGPT per riassumere rapidamente articoli, documenti o pagine di terze parti sono i più propensi a incontrare contenuti iniettati senza rendersene conto. Gli utenti aziendali che hanno integrato ChatGPT in flussi di lavoro che coinvolgono fonti di dati esterne sono esposti a un rischio ancora più elevato.

I dati a rischio sono principalmente informazioni di tipo credenziale. Un attacco ChatGPhish riuscito potrebbe indurre un utente a fornire una password, un token di autenticazione o un dettaglio dell'account tramite una pagina di phishing che l'IA ha presentato come legittima. Considerando che miliardi di credenziali circolano già negli archivi delle violazioni, inclusi i 19 miliardi di password esposte nel leak RockYou2024, qualsiasi ulteriore vettore di phishing che aggiri il normale scetticismo dell'utente è un serio motivo di preoccupazione.

Gli account collegati a servizi di pagamento, sistemi aziendali o dati personali sensibili sono i bersagli più attraenti. La richiesta di phishing, apparendo come parte naturale di una risposta di ChatGPT, è probabile che superi i filtri mentali che gli utenti applicano quando individuano le tradizionali email di phishing.

Perché gli utenti su reti pubbliche e VPN sono più esposti

Gli utenti su reti Wi-Fi pubbliche corrono un rischio aggravato da ChatGPhish. Su reti non crittografate o scarsamente protette, l'intercettazione del traffico è una minaccia concreta. Sebbene l'attacco ChatGPhish di per sé non richieda un accesso a livello di rete, la combinazione di un ambiente di rete compromesso e un riassunto IA manipolato crea una situazione particolarmente pericolosa. Le credenziali di phishing catturate in un bar o in un aeroporto possono essere utilizzate immediatamente, prima che l'utente abbia la possibilità di accorgersi della compromissione.

L'uso di una VPN affronta un livello di questo problema crittografando il traffico tra il dispositivo dell'utente e Internet, riducendo il rischio di intercettazione a livello di rete. Tuttavia, non impedisce a ChatGPT di elaborare contenuti web dannosi e di mostrare prompt iniettati. L'attacco ChatGPhish agisce a livello applicativo, il che significa che le protezioni a livello di rete da sole non sono sufficienti. Gli utenti devono rimanere vigili di fronte a richieste di credenziali impreviste che appaiono all'interno dei riassunti generati dall'IA, indipendentemente da come sia protetto il loro traffico di rete.

Passi pratici per evitare di essere presi di mira da ChatGPhish

Fino a quando OpenAI non rilascerà una patch definitiva o una modifica architetturale che impedisca l'iniezione di prompt basata su Markdown, gli utenti possono adottare alcune misure pratiche per ridurre la propria esposizione.

Innanzitutto, tratta qualsiasi richiesta di credenziali o di accesso che compaia in un riassunto di ChatGPT con immediato sospetto. ChatGPT non ha alcun motivo legittimo per chiedere password o token di autenticazione come parte di un riassunto web. Se vedi una simile richiesta, chiudi la sessione e naviga direttamente al sito pertinente tramite il tuo browser.

In secondo luogo, sii selettivo riguardo alle pagine di cui chiedi il riassunto a ChatGPT, in particolare quelle provenienti da fonti che non riconosci o di cui non ti fidi. Le pagine controllate dagli aggressori sono il principale meccanismo di distribuzione dei payload di ChatGPhish.

In terzo luogo, rivedi ora la sicurezza generale del tuo account e delle tue credenziali, non dopo un incidente. Usare password forti e uniche per ogni account significa che, anche se un attacco di phishing cattura una credenziale, il danno è contenuto. Considerando quanto facilmente le credenziali vengano riciclate negli attacchi dopo fughe di dati su larga scala, questo è un requisito basilare e imprescindibile.

Infine, monitora gli avvisi di sicurezza di OpenAI per patch o mitigazioni relative a ChatGPhish. Applicare tempestivamente gli aggiornamenti è una delle difese più semplici contro le vulnerabilità divulgate.

Cosa significa per te

ChatGPhish è un promemoria del fatto che gli strumenti di IA ereditano i rischi dei contenuti che elaborano. Fidarsi di un riassunto dell'IA non equivale a fidarsi della fonte sottostante, e gli aggressori stanno già sfruttando questo divario. L'attacco non richiede competenze tecniche sofisticate da parte dell'aggressore, il che significa che è probabile che si diffonda oltre i ricercatori di sicurezza, diventando un uso criminale attivo.

Il passo più concreto che puoi fare subito è verificare la sicurezza delle tue credenziali. Se la stessa password protegge più account, un singolo tentativo di phishing ChatGPhish riuscito potrebbe trasformarsi in una compromissione molto più ampia. Consultare la copertura della violazione RockYou2024 è un utile punto di partenza per comprendere la portata del panorama delle minacce alle credenziali che rende attacchi come ChatGPhish così dirompenti. Password uniche e robuste e l'autenticazione a più fattori su tutti gli account critici rimangono la prima linea di difesa più affidabile quando gli strumenti di IA possono trasformarsi in superfici di phishing.