Morris II: Der KI-Wurm, der sich per E-Mail weiterträgt

Morris II erreicht 2024 in einer kontrollierten Forschungsumgebung einen KI-E-Mail-Assistenten: Eine präparierte Nachricht gerät in dessen Verarbeitung. Eigentlich soll das System helfen, Informationen aus E-Mails zu nutzen und Antworten zu formulieren. Doch im Material steckt eine zweite Botschaft. Sie richtet sich nicht an einen Menschen, sondern an die Maschine, die den Text liest. Der Assistent soll seine Aufgabe verlassen, Informationen preisgeben und den fremden Auftrag weitertragen.[1][2]^[1]

Was wie der Auftakt eines Cyberthrillers klingt, war ein Forschungsversuch. Keine dokumentierte Angriffswelle gegen Millionen Postfächer, sondern eine Demonstration unter kontrollierten Bedingungen. Gerade diese Unterscheidung macht den Befund interessant: Die Forscher mussten keinen globalen Ausbruch auslösen, um eine neue Schwachstelle sichtbar zu machen. Sie zeigten, wie die Verbindung aus Sprachmodell, E-Mail-Daten und automatisierten Abläufen zum Verbreitungsweg werden kann.[1][2]

Ein alter Name für eine neue Angriffsfläche

Hinter Morris II stehen die Forscher Ben Nassi, Stav Cohen und Ron Bitton. WIRED berichtete am 1. März 2024 über ihre Arbeit. Der Name verweist auf den Morris-Wurm von 1988, einen frühen, berüchtigten Internetwurm. Die neue Demonstration verlagert das Prinzip der Selbstverbreitung in Anwendungen mit generativer KI.[1][2]^[2]

Die Forscher präsentieren Morris II als ersten Wurm dieser Art gegen vernetzte GenAI-Anwendungen. Das ist enger als die Behauptung, hier sei der erste selbstverbreitende Computerwurm überhaupt entstanden. Neu ist die untersuchte Kombination: Ein manipulierter Inhalt beeinflusst einen KI-Assistenten, wird von diesem reproduziert und gelangt über die umgebende Anwendung zum nächsten System.[2]

Der eigentliche Schauplatz ist deshalb nicht allein das Sprachmodell. Es ist das Zusammenspiel mehrerer Komponenten: Nachrichten, abrufbare Datenbestände, generierte Antworten und Kommunikationsfunktionen. Ohne diese Verbindungen bleibt eine bösartige Anweisung zunächst nur Text. Mit ihnen kann sie Teil einer Angriffskette werden. Die zentrale Frage lautet: Was darf ein Assistent mit dem tun, was er gerade gelesen hat?[2][4]^[3]

Der Trick: Fremder Inhalt spielt plötzlich Vorgesetzten

Das Herzstück nennen die Autoren einen „adversarial self-replicating prompt“: eine gezielt manipulierte Anweisung, die ihre eigene Reproduktion anstoßen soll. Sie verlangt also nicht bloß eine unerwünschte Antwort. Sie versucht zugleich sicherzustellen, dass ihre Botschaft in der Ausgabe erhalten bleibt und weitergegeben werden kann.[2]

Damit nutzt Morris II ein grundsätzliches Problem von KI-Anwendungen aus. Ein Assistent erhält legitime Arbeitsaufträge, verarbeitet aber auch Texte aus fremden Quellen. Beide können sprachlich wie Anweisungen aussehen. Gelingt es einem Angreifer, seinen Inhalt als maßgeblichen Auftrag behandeln zu lassen, wird aus einem gelesenen Dokument eine Steuerung des Systems.[2][3]^[4]

OWASP beschreibt solche Risiken unter dem Begriff Prompt Injection. Bei der indirekten Variante kommt die manipulierende Anweisung nicht unmittelbar vom berechtigten Nutzer, sondern beispielsweise aus einem Dokument oder einer Nachricht, die die Anwendung heranzieht.[3]

Das ist der erste überraschende Moment dieser Geschichte: Der gefährliche Bestandteil muss keine ausführbare Datei sein. Eine formulierte Anweisung kann genügen, um das Verhalten eines Sprachmodells umzulenken. Für einen tatsächlichen Schaden braucht es allerdings passende Anschlussmöglichkeiten – etwa Zugriff auf vertrauliche Informationen oder eine Funktion zum Versenden von Nachrichten.[2][4]

Wenn die Antwort den nächsten Angriff transportiert

Die Untersuchung betrachtet E-Mail-Assistenten, die beim Formulieren von Antworten auf vorhandene Nachrichten zugreifen. Ein wichtiger Baustein ist Retrieval-Augmented Generation, kurz RAG: Eine Anwendung sucht passende Inhalte aus einem Datenbestand heraus und gibt sie dem Sprachmodell als Kontext mit.[2]

Das ist im Alltag nützlich. Ein Assistent kann sich dadurch auf frühere Korrespondenz beziehen, statt ausschließlich aus seinem trainierten Wissen zu antworten. Doch genau dieser Weg lässt auch fremde Inhalte nahe an die Antworterzeugung heran. Wird eine präparierte Nachricht abgerufen, erscheint der darin eingebettete Angriff im Kontext des Modells.[2]

Morris II soll dort mehrere Wirkungen verbinden: den ursprünglichen Arbeitsauftrag verdrängen, Informationen aus dem verfügbaren Kontext entwenden und die manipulierende Anweisung in die erzeugte Ausgabe übernehmen. Wird diese anschließend als E-Mail weitergegeben und vom nächsten entsprechend verwundbaren Assistenten verarbeitet, kann sich der Ablauf wiederholen.[1][2]

Die Arbeit untersucht außerdem bildbasierte Varianten. Damit wird deutlich, dass die relevante Angriffsfläche bei multimodalen Systemen nicht auf gewöhnlichen Nachrichtentext beschränkt ist.[1][2]

Die entscheidende Pointe bleibt dieselbe: Die Antwort ist nicht mehr nur das Ergebnis einer Verarbeitung. Sie wird zum Träger des nächsten Angriffs. Hilfsbereitschaft und Kommunikationsfähigkeit, eigentlich die Verkaufsargumente solcher Anwendungen, liefern unter ungünstigen Bedingungen den Transportmechanismus.[4]

„Zero-click“ heißt nicht: grenzenlos und überall

Der Untertitel der Forschungsarbeit spricht von „Zero-click Worms“. Gemeint ist, dass für die demonstrierte Angriffskette kein zusätzlicher Klick auf einen schädlichen Link oder ein klassisches Öffnen eines ausführbaren Anhangs erforderlich sein muss. Die reguläre Verarbeitung der präparierten Inhalte durch die KI-Anwendung kann den Angriff auslösen.[1][2]

Das bedeutet jedoch nicht, dass jede eingehende E-Mail jedes beliebige KI-System automatisch infiziert. Die Ausbreitung hängt von der Architektur ab: Welche Nachrichten werden abgerufen? Welche Inhalte übernimmt das Modell? Welche Daten kann es sehen? Und wird eine erzeugte Antwort nur angezeigt oder tatsächlich versendet?[2][4]

Ebenso wichtig: Morris II wurde als Machbarkeitsnachweis vorgestellt. Die genannten Quellen belegen keinen unkontrollierten Ausbruch dieses Wurms im öffentlichen E-Mail-Verkehr. Wer daraus eine bereits laufende weltweite Epidemie macht, würde das Forschungsergebnis überzeichnen.[1][2]

Auch die Analogie zum klassischen Computerwurm hat Grenzen. Hier muss sich nicht zwangsläufig ein installiertes Schadprogramm von Rechner zu Rechner kopieren. Reproduziert und weitergetragen wird eine manipulierende Anweisung innerhalb KI-gestützter Arbeitsabläufe. Das macht den Vorgang technisch anders, aber für die Sicherheitsbewertung keineswegs belanglos.[2][4]

Was bedeutet das für Unternehmen?

Für Unternehmen liegt die wichtigste Lehre nicht darin, E-Mail-Assistenten pauschal abzuschalten. Sie lautet: Gelesene Inhalte dürfen nicht dieselbe Autorität erhalten wie freigegebene Arbeitsaufträge. Morris II zeigt, was passieren kann, wenn diese Grenze durchlässig wird.[2][4]

OWASP führt neben Prompt Injection weitere einschlägige Risikofelder auf, darunter die Offenlegung sensibler Informationen und übermäßige Handlungsmöglichkeiten von KI-Anwendungen. Zusammengenommen verschieben sie den Blick vom einzelnen Modell auf das gesamte System.[3]

Aus unserer Analyse ergeben sich vier praktische Prioritäten:[4]

• Datenzugriff begrenzen: Ein Assistent sollte nur die Informationen erhalten, die er für seine konkrete Aufgabe braucht. Was nicht im erreichbaren Kontext liegt, kann auch nicht über diesen Weg in eine Antwort geraten.
• Lesen und Handeln trennen: Das Auswerten einer Nachricht darf nicht automatisch weitreichende Aktionen freischalten. Besonders beim externen Versand sollten Berechtigungen, Empfänger und Freigaben außerhalb des Sprachmodells kontrolliert werden.
• Ausgaben vor der Weitergabe prüfen: Entscheidend ist nicht nur, was in das System hineinkommt. Auch ausgehende Nachrichten können vertrauliche Inhalte oder weitergetragene Angriffsanweisungen enthalten.
• Die gesamte Verarbeitungskette testen: Sicherheitsprüfungen sollten manipulierte Inhalte vom Eingang über die Suche im Datenbestand bis zur erzeugten Antwort verfolgen. Ein isolierter Chat-Test bildet diesen Ablauf nicht ausreichend ab.

Keine dieser Maßnahmen ist für sich allein ein vollständiger Schutz. Auch eine Anweisung wie „Ignoriere schädliche Inhalte“ ersetzt keine technische Zugriffskontrolle. Die belastbarere Strategie kombiniert eingeschränkte Rechte, kontrollierte Aktionen, Prüfungen und nachvollziehbare Protokolle.[3][4]

Fazit

Morris II war 2024 kein Beleg dafür, dass KI-Assistenten bereits massenhaft einen Wurm durch reale Postfächer trugen. Es war der experimentelle Nachweis, dass selbstverbreitende Angriffe in passend verbundenen GenAI-Anwendungen möglich sind.[1][2]

Seine Bedeutung liegt im Perspektivwechsel. Nicht erst eine heruntergeladene Datei kann gefährlich werden, sondern bereits Inhalt, den ein Assistent im Rahmen seiner Arbeit verarbeitet und weiterreicht. Die Schutzgrenze verläuft deshalb zwischen Information und Befugnis: Eine Nachricht darf etwas behaupten. Sie darf dem System dadurch noch lange keinen neuen Auftrag erteilen.[4]

Häufige Fragen

War Morris II ein echter Computerwurm?

Die Autoren beschreiben einen selbstverbreitenden KI-Wurm und demonstrieren ihn unter kontrollierten Bedingungen. Sein Träger ist eine manipulierende, sich reproduzierende Anweisung; die Weitergabe erfolgt über die untersuchten GenAI-Anwendungen. Das unterscheidet ihn von vielen klassischen Schadprogrammen.[1][2]

Reicht eine normale E-Mail für einen Angriff?

Nicht jede Nachricht löst etwas aus. Erforderlich sind präparierte Inhalte und eine Anwendung, die sie auf angreifbare Weise verarbeitet. Für weitere Schäden müssen passende Datenzugriffe oder Handlungsmöglichkeiten hinzukommen.[2][4]

Schützt eine menschliche Versandfreigabe zuverlässig?

Sie kann eine wichtige Hürde bilden, ist aber keine Garantie. Prüfende Personen können problematische Inhalte übersehen. Deshalb sollte eine Freigabe mit begrenzten Berechtigungen und technischen Kontrollen kombiniert werden, statt die einzige Schutzmaßnahme zu bleiben.[4]

---

Quellen und Einordnung

[1] WIRED: Here Come the AI Worms.

[2] Cohen, Bitton, Nassi: Here Comes The AI Worm: Unleashing Zero-click Worms that Target GenAI-Powered Applications, arXiv.

[3] OWASP: OWASP Top 10 for Large Language Model Applications.

[4] AI International Group: Eigene Analyse in diesem Beitrag; Einordnung und abgeleitete Empfehlungen, keine zusätzliche empirische Quelle.