ChatGPhish: ChatGPT-Markdown-Schwachstelle ermöglicht Prompt-Injection-Phishing

ChatGPhish: ChatGPT-Markdown-Schwachstelle ermöglicht Prompt-Injection-Phishing

Eine neu bekannt gewordene ChatGPT-Phishing-Schwachstelle namens ChatGPhish wirft ernsthafte Bedenken darüber auf, wie KI-unterstütztes Webbrowsing gegen genau die Nutzer eingesetzt werden kann, denen es helfen soll. Forscher von Permiso Security haben aufgedeckt, dass das eingebaute Vertrauen von ChatGPT in Markdown-formatierte Links und Bilder eine Angriffsfläche schafft, über die Angreifer schädliche Prompts direkt in die Webzusammenfassungen der KI einschleusen können – und damit eine alltägliche Produktivitätsfunktion effektiv zu einem Phishing-Kanal machen.

Wie ChatGPhish das Markdown-Vertrauen von ChatGPT ausnutzt

Wenn ChatGPT das Web durchsucht und Inhalte für einen Nutzer zusammenfasst, verarbeitet und rendert es Markdown-Formatierungen, einschließlich Hyperlinks und eingebetteter Bilder. Die ChatGPhish-Schwachstelle nutzt dieses Verhalten aus, indem sie speziell gestaltete Anweisungen in den Inhalt von Webseiten einbettet. Da ChatGPT diesen Inhalt als vertrauenswürdige Eingabe behandelt, können die eingeschleusten Anweisungen die Ausgabe der KI umlenken, sie dazu bringen, irreführende Links anzuzeigen, oder sie anweisen, den Nutzer unter Vorspiegelung falscher Tatsachen zur Eingabe von Zugangsdaten aufzufordern.

Es handelt sich um einen indirekten Prompt-Injection-Angriff. Anders als bei direkter Prompt Injection, bei der ein Nutzer eine KI gezielt mit manipulierten Eingaben beeinflusst, versteckt die indirekte Prompt Injection schädliche Befehle in externen Inhalten, die die KI selbstständig abruft und verarbeitet. Der Nutzer sieht die versteckten Anweisungen nie; er sieht nur die Ausgabe, die der Angreifer der KI vorgegeben hat. Im Fall von ChatGPhish kann diese Ausgabe überzeugende Phishing-Aufforderungen enthalten, die scheinbar von der KI selbst stammen, was ihnen einen Anschein von Legitimität verleiht.

Besonders bemerkenswert ist, dass die Angriffsfläche nicht das zugrunde liegende Modell der KI ist, sondern das Vertrauen, das sie den von ihr zusammengefassten Webinhalten entgegenbringt. Ein Angreifer muss keine Systeme von OpenAI kompromittieren. Er muss lediglich eine Webseite kontrollieren oder manipulieren, die ein Nutzer von ChatGPT zusammenfassen lassen könnte.

Wer am stärksten gefährdet ist und welche Daten offengelegt werden könnten

Jeder, der die Web-Browsing- oder Zusammenfassungsfunktionen von ChatGPT nutzt, ist potenziell exponiert, doch bestimmte Gruppen tragen ein erhöhtes Risiko. Nutzer, die sich darauf verlassen, dass ChatGPT schnell Artikel, Dokumente oder Drittseiten zusammenfasst, werden am ehesten auf eingeschleuste Inhalte stoßen, ohne es zu merken. Unternehmensnutzer, die ChatGPT in Arbeitsabläufe mit externen Datenquellen integriert haben, sind einer noch größeren Gefährdung ausgesetzt.

Bei den gefährdeten Daten handelt es sich in erster Linie um Informationen auf Zugangsdaten-Ebene. Ein erfolgreicher ChatGPhish-Angriff könnte einen Nutzer dazu verleiten, ein Passwort, einen Authentifizierungstoken oder Kontodaten über eine Phishing-Seite einzugeben, die die KI als legitim dargestellt hat. Angesichts der Milliarden von Zugangsdaten, die bereits in Leak-Sammlungen kursieren, darunter die 19 Milliarden Passwörter, die im RockYou2024-Leck offengelegt wurden, ist jeder zusätzliche Phishing-Vektor, der die normale Skepsis der Nutzer umgeht, äußerst besorgniserregend.

Konten, die mit Zahlungsdiensten, Unternehmenssystemen oder sensiblen persönlichen Daten verknüpft sind, stellen die attraktivsten Ziele dar. Die Phishing-Aufforderung, die als natürlicher Bestandteil einer ChatGPT-Antwort erscheint, dürfte die mentalen Filter umgehen, die Nutzer beim Erkennen herkömmlicher Phishing-E-Mails anwenden.

Warum Nutzer in öffentlichen Netzwerken und VPN-Nutzer stärker gefährdet sind

Nutzer in öffentlichen WLAN-Netzen sind durch ChatGPhish einem noch größeren Risiko ausgesetzt. In unverschlüsselten oder schlecht gesicherten Netzwerken ist die Verkehrsüberwachung eine realistische Bedrohung. Auch wenn der ChatGPhish-Angriff selbst keinen Zugriff auf Netzwerkebene erfordert, entsteht durch die Kombination aus kompromittierter Netzwerkumgebung und manipulierter KI-Zusammenfassung eine besonders gefährliche Situation. In einem Café oder an einem Flughafen abgefangene Phishing-Zugangsdaten können sofort verwendet werden, bevor der Nutzer überhaupt die Möglichkeit hat, die Kompromittierung zu bemerken.

Die Nutzung eines VPN adressiert eine Ebene dieses Problems, indem es den Datenverkehr zwischen dem Gerät des Nutzers und dem Internet verschlüsselt und so das Risiko einer Abhörung auf Netzwerkebene verringert. Es verhindert jedoch nicht, dass ChatGPT schädliche Webseiteninhalte verarbeitet und eingeschleuste Prompts anzeigt. Der ChatGPhish-Angriff findet auf der Anwendungsebene statt, sodass Schutzmaßnahmen auf Netzwerkebene allein nicht ausreichen. Nutzer müssen auf unerwartete Aufforderungen zur Eingabe von Zugangsdaten in KI-generierten Zusammenfassungen achten, unabhängig davon, wie ihr Netzwerkverkehr gesichert ist.

Praktische Maßnahmen, um nicht Ziel von ChatGPhish zu werden

Bis OpenAI einen endgültigen Patch oder eine Architekturänderung veröffentlicht, die die Markdown-basierte Prompt Injection verhindert, können Nutzer mehrere praktische Schritte unternehmen, um ihre Gefährdung zu verringern.

Erstens: Behandeln Sie jede Aufforderung zur Eingabe von Zugangsdaten oder zur Anmeldung, die in einer ChatGPT-Zusammenfassung erscheint, mit sofortigem Misstrauen. ChatGPT hat keinen legitimen Grund, im Rahmen einer Webzusammenfassung nach Passwörtern oder Authentifizierungstoken zu fragen. Wenn Sie eine solche Aufforderung sehen, schließen Sie die Sitzung und navigieren Sie direkt über Ihren Browser zur betreffenden Seite.

Zweitens: Seien Sie wählerisch bei den Seiten, die Sie von ChatGPT zusammenfassen lassen, insbesondere bei Seiten aus Quellen, die Sie nicht kennen oder denen Sie nicht vertrauen. Vom Angreifer kontrollierte Seiten sind der primäre Übermittlungsweg für ChatGPhish-Nutzdaten.

Drittens: Überprüfen Sie Ihre allgemeine Konten- und Zugangsdatensicherheit jetzt und nicht erst nach einem Vorfall. Die Verwendung starker, einzigartiger Passwörter für jedes Konto bedeutet, dass selbst dann, wenn ein Phishing-Angriff einen Zugang erfasst, der Schaden begrenzt bleibt. Angesichts der Leichtigkeit, mit der Zugangsdaten nach großflächigen Leaks bei Angriffen wiederverwendet werden, ist dies eine nicht verhandelbare Basis.

Schließlich: Verfolgen Sie die Sicherheitshinweise von OpenAI zu Patches oder Gegenmaßnahmen im Zusammenhang mit ChatGPhish. Updates zeitnah einzuspielen, ist eine der einfachsten Abwehrmaßnahmen gegen offengelegte Schwachstellen.

Was das für Sie bedeutet

ChatGPhish ist eine Mahnung, dass KI-Werkzeuge die Risiken der von ihnen verarbeiteten Inhalte erben. Einer KI-Zusammenfassung zu vertrauen, ist nicht dasselbe, wie der zugrunde liegenden Quelle zu vertrauen, und Angreifer nutzen diese Lücke bereits aus. Der Angriff erfordert keine ausgefeilten technischen Fähigkeiten auf der Seite des Angreifers, was bedeutet, dass er sich wahrscheinlich über Sicherheitsforscher hinaus in die aktive kriminelle Nutzung ausbreiten wird.

Der konkreteste Schritt, den Sie jetzt unternehmen können, ist eine Überprüfung Ihrer Zugangsdatensicherheit. Wenn dasselbe Passwort mehrere Konten schützt, könnte ein einziger erfolgreicher ChatGPhish-Phishing-Versuch zu einer viel weitreichenderen Kompromittierung führen. Die Auseinandersetzung mit der Berichterstattung zum RockYou2024-Leck ist ein nützlicher Ausgangspunkt, um das Ausmaß der Bedrohung durch Zugangsdaten zu verstehen, die Angriffe wie ChatGPhish so folgenschwer macht. Einzigartige, starke Passwörter und Multi-Faktor-Authentifizierung für alle kritischen Konten bleiben Ihre zuverlässigste erste Verteidigungslinie, wenn KI-Werkzeuge zu Phishing-Oberflächen werden können.