ChatGPhish : une faille Markdown de ChatGPT permet le phishing par injection de prompt

ChatGPhish : une faille Markdown de ChatGPT permet le phishing par injection de prompt

Une vulnérabilité de phishing récemment divulguée, baptisée ChatGPhish, suscite de vives inquiétudes quant à la façon dont la navigation web assistée par l’IA peut être retournée contre les utilisateurs mêmes qu’elle vise à aider. Les chercheurs de Permiso Security ont révélé que la confiance intégrée de ChatGPT envers les liens et images au format Markdown crée une brèche permettant aux attaquants d’injecter des requêtes malveillantes directement dans les résumés web de l’IA, transformant ainsi une fonctionnalité de productivité courante en mécanisme de diffusion de phishing.

Comment ChatGPhish exploite la confiance de ChatGPT envers le Markdown

Lorsque ChatGPT navigue sur le web et résume du contenu pour un utilisateur, il traite et restitue le formatage Markdown, y compris les liens hypertextes et les images intégrées. La vulnérabilité ChatGPhish exploite ce comportement en intégrant des instructions spécialement conçues dans le contenu des pages web. Comme ChatGPT considère ce contenu comme fiable, les instructions injectées peuvent rediriger la sortie de l’IA, la contraindre à afficher des liens trompeurs ou lui ordonner de solliciter des identifiants auprès de l’utilisateur sous de faux prétextes.

Il s’agit d’une attaque par injection indirecte de prompts. Contrairement à l’injection directe, où un utilisateur manipule intentionnellement une IA avec des entrées préparées, l’injection indirecte dissimule des commandes malveillantes dans du contenu externe que l’IA récupère et traite de manière autonome. L’utilisateur ne voit jamais les instructions cachées ; il voit uniquement ce que l’attaquant a programmé pour que l’IA produise. Dans le cas de ChatGPhish, cette production peut inclure des invites de phishing convaincantes qui semblent provenir de l’IA elle-même, leur conférant une fausse légitimité.

Ce qui rend cette faille particulièrement notable, c’est que la surface d’attaque n’est pas le modèle sous-jacent de l’IA, mais la confiance qu’elle accorde au contenu web qu’elle résume. L’attaquant n’a pas besoin de compromettre les systèmes d’OpenAI. Il lui suffit de contrôler ou de manipuler une page web qu’un utilisateur pourrait demander à ChatGPT de résumer.

Qui est le plus exposé et quelles données peuvent être compromises

Toute personne utilisant les fonctionnalités de navigation web ou de résumé de ChatGPT est potentiellement exposée, mais certains groupes encourent un risque accru. Les utilisateurs qui s’appuient sur ChatGPT pour résumer rapidement des articles, des documents ou des pages tierces sont les plus susceptibles de rencontrer du contenu injecté sans s’en rendre compte. Les utilisateurs professionnels qui ont intégré ChatGPT dans des flux de travail impliquant des sources de données externes sont confrontés à une exposition aggravée.

Les données menacées sont principalement des informations d’identification. Une attaque ChatGPhish réussie pourrait inciter un utilisateur à soumettre un mot de passe, un jeton d’authentification ou des détails de compte via une page de phishing présentée par l’IA comme légitime. Étant donné que des milliards d’identifiants circulent déjà dans des bases de données compromises, y compris les 19 milliards de mots de passe exposés dans la fuite RockYou2024, tout vecteur de phishing supplémentaire contournant le scepticisme habituel des utilisateurs constitue une préoccupation sérieuse.

Les comptes liés à des services de paiement, des systèmes d’entreprise ou des données personnelles sensibles sont les cibles les plus attrayantes. L’invite de phishing, apparaissant comme une partie naturelle d’une réponse de ChatGPT, est susceptible de contourner les filtres mentaux que les utilisateurs appliquent pour repérer les courriels de phishing classiques.

Pourquoi les utilisateurs de réseaux publics et de VPN sont davantage exposés

Les utilisateurs de réseaux Wi-Fi publics sont confrontés à un risque aggravé avec ChatGPhish. Sur des réseaux non chiffrés ou mal sécurisés, l’interception de trafic est une menace réaliste. Bien que l’attaque ChatGPhish elle-même ne nécessite pas d’accès au niveau réseau, la combinaison d’un environnement réseau compromis et d’un résumé d’IA manipulé crée une situation particulièrement dangereuse. Des identifiants de phishing capturés dans un café ou un aéroport peuvent être utilisés immédiatement, avant que l’utilisateur ait la moindre chance de détecter la compromission.

L’utilisation d’un VPN résout une couche de ce problème en chiffrant le trafic entre l’appareil de l’utilisateur et Internet, réduisant ainsi le risque d’interception au niveau réseau. Cependant, cela n’empêche pas ChatGPT de traiter un contenu web malveillant et de faire remonter des invites injectées. L’attaque ChatGPhish se situe au niveau de la couche applicative, ce qui signifie que les seules protections réseau ne suffisent pas. Les utilisateurs doivent rester vigilants face à toute demande d’identifiant inattendue apparaissant dans les résumés générés par l’IA, quelle que soit la sécurisation de leur trafic réseau.

Mesures pratiques pour éviter d’être ciblé par ChatGPhish

Jusqu’à ce qu’OpenAI publie un correctif définitif ou modifie son architecture pour empêcher l’injection de prompts via Markdown, les utilisateurs peuvent prendre plusieurs mesures pratiques afin de réduire leur exposition.

Premièrement, traitez avec une suspicion immédiate toute demande d’identifiant ou de connexion apparaissant dans un résumé de ChatGPT. ChatGPT n’a aucune raison légitime de demander des mots de passe ou des jetons d’authentification dans le cadre d’un résumé web. Si vous voyez une telle demande, fermez la session et accédez directement au site concerné via votre navigateur.

Deuxièmement, soyez sélectif quant aux pages que vous demandez à ChatGPT de résumer, en particulier les pages provenant de sources que vous ne reconnaissez pas ou en lesquelles vous n’avez pas confiance. Les pages contrôlées par un attaquant sont le principal vecteur de diffusion des charges utiles ChatGPhish.

Troisièmement, passez en revue dès maintenant l’hygiène générale de vos comptes et de vos identifiants, et non après un incident. Utiliser des mots de passe robustes et uniques pour chaque compte signifie que même si une attaque de phishing capture un identifiant, les dégâts sont circonscrits. Compte tenu de la facilité avec laquelle les identifiants sont recyclés dans les attaques suite à des fuites à grande échelle, il s’agit d’une exigence de base non négociable.

Enfin, surveillez les avis de sécurité d’OpenAI concernant les patchs ou les mesures d’atténuation liés à ChatGPhish. Appliquer rapidement les mises à jour est l’une des défenses les plus simples contre les vulnérabilités divulguées.

Ce que cela signifie pour vous

ChatGPhish rappelle que les outils d’IA héritent des risques associés au contenu qu’ils traitent. Faire confiance à un résumé d’IA n’équivaut pas à faire confiance à la source sous-jacente, et les attaquants exploitent déjà cet écart. L’attaque ne nécessite pas de compétences techniques sophistiquées de la part de l’attaquant, ce qui signifie qu’elle est susceptible de se propager au-delà de la recherche en sécurité pour entrer dans une utilisation criminelle active.

La mesure la plus concrète que vous puissiez prendre dès maintenant est d’auditer la sécurité de vos identifiants. Si le même mot de passe protège plusieurs comptes, une seule tentative réussie de phishing par ChatGPhish pourrait entraîner une compromission bien plus large. Consulter la couverture de la fuite RockYou2024 constitue un point de départ utile pour comprendre l’ampleur de la menace liée aux identifiants, qui rend des attaques comme ChatGPhish si lourdes de conséquences. Des mots de passe uniques, robustes et l’authentification multifacteur sur tous les comptes critiques demeurent votre première ligne de défense la plus fiable lorsque les outils d’IA peuvent être transformés en surfaces de phishing.