Ein KI-Agent, der Ihren Posteingang auswerten, Kundendaten aktualisieren oder Code ausführen kann, benötigt mehr als nur eine gut formulierte Anleitung. Es müssen klare Grenzen festgelegt werden, worauf er zugreifen, was er ändern und welche Informationen er weitergeben darf.
Die Anbindung von KI an Unternehmenssysteme bietet Möglichkeiten, manuellen Aufwand zu reduzieren und Entscheidungsprozesse zu beschleunigen. Sie eröffnet Angreifern jedoch auch Wege, diese Entscheidungen zu manipulieren, Informationen zu stehlen oder über legitime Tools Aktionen auszulösen.
Die „OWASP Top 10 für agentenbasierte Anwendungen“ bieten einen Rahmen zum Verständnis und zur Bewertung von Sicherheitsrisiken durch KI-Agenten. Auf der Grundlage dieser Leitlinien untersuchen wir zehn zentrale Bedrohungen und die praktischen Maßnahmen, die Unternehmen ergreifen können, um diesen entgegenzuwirken.
Ein KI-Agent ist ein Softwaresystem, das künstliche Intelligenz nutzt, um Aufgaben im Auftrag eines Nutzers oder eines Unternehmens auszuführen. Er kann ein Ziel interpretieren, entscheiden, welche Schritte zu unternehmen sind, und verbundene Tools nutzen, um diese auszuführen – wobei der Grad der menschlichen Aufsicht variieren kann.
Ein Agent, der mit Ihrem Posteingang, Ihrer Kundendatenbank oder Ihrer Cloud-Umgebung verbunden ist, benötigt klare Grenzen hinsichtlich dessen, worauf er zugreifen, was er ändern und was er weitergeben darf. Ohne diese Kontrollen könnten böswillige Anweisungen oder falsche Entscheidungen zu Datenlecks, unbefugten Transaktionen oder Betriebsstörungen führen.
KI-Agentensicherheit ist die Praxis des Schutzes von KI-Systemen, die Aufgaben planen, Tools nutzen und im Auftrag von Nutzern oder Organisationen Maßnahmen ergreifen können. Sie umfasst den Agenten selbst, die mit ihm verbundenen Anwendungen, seine Zugriffsberechtigungen und die von ihm verarbeiteten Informationen.
Ein Chatbot, der sich auf die Beantwortung von Fragen beschränkt, weist ein anderes Risikoprofil auf als ein Agent, der befugt ist, E-Mails zu versenden, Konfigurationen zu ändern oder Transaktionen zu genehmigen. Wenn KI handeln kann, kann eine falsche oder manipulierte Antwort zu einem Geschäftsvorfall werden.
Eine Prompt-Injektion liegt vor, wenn böswillige Anweisungen das Verhalten eines KI-Systems beeinflussen. Bei Agenten können diese Anweisungen indirekt über eine Webseite, eine E-Mail, ein Dokument oder die Antwort eines Tools eingehen, auf die der Agent im Rahmen einer legitimen Aufgabe stößt.
Beispielsweise könnte ein Agent, der ein Lieferantendokument prüft, auf Anweisungen stoßen, die ihn anweisen, vertrauliche Informationen abzurufen und an einen anderen Ort zu senden. Der Angreifer versucht, Material, das der Agent eigentlich analysieren sollte, in Befehle umzuwandeln, denen dieser folgt.
Dies ist eine anhaltende Sicherheitsherausforderung, und Modellschutzmaßnahmen allein beseitigen das Risiko nicht.
So lässt sich das Risiko verringern: Behandeln Sie externe Inhalte als nicht vertrauenswürdig. Schränken Sie ein, welche Tools und Ziele der Agent nutzen darf, überprüfen Sie verdächtige Eingaben und verlangen Sie eine Genehmigung für sensible Aktionen. Setzen Sie Zugriffsbeschränkungen außerhalb des Sprachmodells durch, damit manipulierte Anweisungen diese nicht einfach außer Kraft setzen können.
Ein Agent wird gefährlicher, wenn seine Berechtigungen über seinen Zweck hinausgehen. Ein Berichtsassistent muss möglicherweise Finanzunterlagen einsehen, hat aber keinen Grund, diese zu bearbeiten oder Zahlungen zu veranlassen.
Das gleiche Prinzip gilt für die Autonomie. Selbst eine autorisierte Aktion kann einer menschlichen Genehmigung bedürfen, wenn sie das Löschen von Datensätzen, das Ändern von Sicherheitseinstellungen oder das Eingehen einer externen Verpflichtung beinhaltet.
OWASP identifiziert übermäßige Funktionalität, Berechtigungen und Autonomie als zugrunde liegende Ursachen für übermäßige Handlungsfreiheit.
So verringern Sie das Risiko: Definieren Sie den für jede Aufgabe erforderlichen Mindestzugriff. Trennen Sie Lese- und Schreibrechte, beschränken Sie die verfügbaren Funktionen und führen Sie Genehmigungsschritte ein, die dem potenziellen Ausmaß der Auswirkungen angemessen sind. Überprüfen Sie die Berechtigungen, sobald sich die Zuständigkeiten eines Agenten ändern.
Ein KI-Agent kann über Dienstkonten, API-Schlüssel, Zugriffstoken oder von einem Nutzer delegierte Berechtigungen agieren. Werden diese Anmeldedaten gestohlen oder missbraucht, kann ein Angreifer Zugriff auf die damit verbundenen Systeme erlangen.
Gemeinsam genutzte Identitäten schwächen zudem die Rechenschaftspflicht. Wenn mehrere Agenten ein einziges Konto mit weitreichenden Berechtigungen nutzen, wird es schwieriger festzustellen, welcher Agent eine Aktion ausgeführt hat, wer diese autorisiert hat und welche Zugriffsrechte widerrufen werden müssen.
Die Arbeit des NIST zur Identität und Autorisierung von KI-Agenten verdeutlicht, wie wichtig es ist, Identitätskontrollen auf diese Systeme anzuwenden.
So lässt sich das Risiko verringern: Weisen Sie Agenten, sofern unterstützt, eindeutige, nachvollziehbare Identitäten mit namentlich benannten Eigentümern und definierten Lebenszyklen zu. Verwenden Sie kurzlebige, eng begrenzte Anmeldedaten und ein sicheres Geheimnismanagement. Bewahren Sie die Verbindung zwischen den Aktionen eines Agenten und dem Nutzer oder Prozess, der diese autorisiert hat, auf.
Agenten können Informationen aus mehreren Geschäftssystemen zusammenführen. Ohne angemessene Einschränkungen können sie personenbezogene Daten, vertrauliche Dokumente oder geschäftlich sensible Informationen über Antworten, Nachrichten, Protokolle oder verbundene Dienste offenlegen.
Stellen Sie sich einen Kundendienstmitarbeiter vor, der eine interne Kontonotiz abruft und diese in eine externe Antwort einfügt. Die Offenlegung kann auf unzureichende Zugriffskontrollen oder eine falsche Entscheidung zurückzuführen sein, ohne dass ein Angreifer beteiligt ist. Die Offenlegung sensibler Informationen ist ein anerkanntes Risiko bei LLM-Anwendungen.
So verringern Sie das Risiko: Wenden Sie Datenklassifizierung und Zugriffskontrollen an, bevor die Informationen den Mitarbeiter erreichen. Beschränken Sie den Abruf auf den jeweiligen Benutzer, Kunden und die jeweilige Aufgabe. Setzen Sie Maßnahmen zur Verhinderung von Datenverlusten ein, beschränken Sie ausgehende Ziele und prüfen Sie, wie Anbieter und Integrationen die Aufbewahrung und Protokollierung handhaben.
Agenten sind auf Komponenten angewiesen, die über das zugrunde liegende Modell hinausgehen, darunter Softwarebibliotheken, Plugins, Konnektoren und externe Dienste. Eine anfällige oder kompromittierte Abhängigkeit kann eine ansonsten gut kontrollierte Bereitstellung untergraben.
Model Context Protocol (MCP)-Server, die zur Verbindung von Agenten mit Tools und Daten verwendet werden, gehören ebenfalls in diese Bewertung ein. Auch eine komfortable Integration muss hinsichtlich ihrer Berechtigungen, ihres Verhaltens und ihrer Wartung genau geprüft werden.
Die Sicherheit der KI-Lieferkette muss daher sowohl die das Modell umgebenden Komponenten als auch das Modell selbst umfassen.
So verringern Sie das Risiko: Führen Sie ein Verzeichnis der genehmigten Abhängigkeiten und Integrationen. Überprüfen Sie deren Herkunft, bewerten Sie die angeforderten Berechtigungen, überwachen Sie Schwachstellen und prüfen Sie Updates. Testen Sie Änderungen vor der Bereitstellung, insbesondere wenn eine Integration Befehle ausführen oder auf sensible Informationen zugreifen kann.
Die Entscheidungen eines Agenten hängen von den Informationen ab, die er erhält und speichert. Angreifer können Wissensquellen oder den gespeicherten Speicher manipulieren, sodass irreführende Inhalte spätere Aufgaben beeinflussen.
Beispielsweise könnte eine falsche Anweisung, die als vertrauenswürdige Voreinstellung gespeichert ist, das Verhalten eines Agenten wiederholt in die falsche Richtung lenken. Im Gegensatz zu einer einzelnen böswilligen Eingabeaufforderung kann eine persistente Verfälschung nachfolgende Sitzungen beeinträchtigen. OWASP zählt Speicher- und Kontextvergiftung zu den agentenbezogenen Sicherheitsrisiken.
So lassen sich die Risiken mindern: Kontrollieren Sie, wer Wissensquellen und den Speicher des Agenten aktualisieren darf. Protokollieren Sie die Herkunft der Informationen, bewahren Sie den Versionsverlauf auf und verlangen Sie eine Validierung, bevor nicht vertrauenswürdige Inhalte zu dauerhaften Anweisungen werden. Stellen Sie sicher, dass kontaminierte Datensätze entfernt und ein bekannter, fehlerfreier Zustand wiederhergestellt werden können.
Agenten, die Code, Datenbankabfragen oder Befehle generieren, bergen ein Risiko, wenn ihre Ausgaben direkt zur Ausführung gelangen.
Eine scheinbar vernünftige Anfrage kann einen unsicheren Befehl oder eine Abfrage mit falschem Geltungsbereich erzeugen. Böswillige Eingaben können zudem Schwachstellen in der Validierung ausnutzen, um in nachgelagerte Systeme zu gelangen. Die OWASP-Leitlinien zur unsachgemäßen Ausgabeverarbeitung beschreiben, wie unzureichende Überprüfung Injektionsangriffe und die Ausführung von Code ermöglichen kann.
So verringern Sie das Risiko: Behandeln Sie generierte Ausgaben als nicht vertrauenswürdige Eingaben. Validieren Sie Tool-Argumente, verwenden Sie parametrisierte Datenbankabfragen und beschränken Sie die Ausführung auf isolierte Umgebungen. Bevorzugen Sie eng definierte Operationen gegenüber uneingeschränktem Shell-Zugriff und bewahren Sie Produktionsgeheimnisse außerhalb der Ausführungsumgebungen auf, sofern dies nicht ausdrücklich erforderlich ist.
Wenn mehrere Agenten zusammenarbeiten, kann ein Fehler oder eine Kompromittierung bei einem Agenten Auswirkungen auf andere haben. Ein Forschungsagent könnte eine falsche Schlussfolgerung liefern, die ein anderer Agent als autoritative Grundlage für die Aktualisierung eines Systems akzeptiert.
Dies birgt das Risiko, dass sich Fehler über einen gesamten Arbeitsablauf ausbreiten, insbesondere wenn Agenten Speicher, Tools oder weitreichende Berechtigungen gemeinsam nutzen. Eine erfolgreiche Übergabe bedeutet nicht, dass die zugrunde liegenden Informationen oder die angeforderte Aktion vertrauenswürdig sind.
So lässt sich das Risiko verringern: Authentifizieren Sie die Kommunikation zwischen Agenten und validieren Sie Anfragen bei jeder Übergabe. Bewahren Sie Informationen über Quellen und Autorisierungen auf. Gewähren Sie jedem Agenten nur den für seine Rolle erforderlichen Zugriff und richten Sie Kontrollpunkte ein, bevor eine Entscheidungskette zu einer Maßnahme mit erheblichen Auswirkungen führt.
Agenten-Workflows können wiederholt Modelle aufrufen, Dienste abfragen oder zusätzliche Aufgaben erstellen. Mangelhafte Stoppbedingungen, unerwartete Eingaben oder vorsätzlicher Missbrauch können zu übermäßigem Verbrauch führen.
Die Folgen können steigende Kosten, ausgeschöpfte API-Kontingente und eine verminderte Verfügbarkeit für andere Nutzer sein. OWASP beschreibt das umfassendere Risiko einer unkontrollierten Nutzung von Modellressourcen als „unbegrenzten Verbrauch“.
So verringern Sie das Risiko: Legen Sie durchsetzbare Grenzwerte für Ausgaben, Laufzeit, Wiederholungsversuche, gleichzeitige Aufgaben und Tool-Aufrufe fest. Geben Sie Warnmeldungen bei ungewöhnlichen Aktivitäten aus und stoppen Sie Workflows, die vereinbarte Schwellenwerte überschreiten. Testen Sie Fehlerbedingungen, einschließlich nicht verfügbarer Dienste und wiederholter erfolgloser Aktionen, bevor Sie die Bereitstellung ausweiten.
Ein Agent kann Schaden anrichten, ohne kompromittiert worden zu sein. Er kann eine Anfrage falsch verstehen, auf der Grundlage unvollständiger Informationen arbeiten oder eine unangemessene Aktion wählen. Übermäßiges Vertrauen verwandelt diese Fehler in ein Betriebsrisiko.
Eine menschliche Genehmigung hilft nur, wenn der Prüfer sehen kann, was geschehen wird. Eine vage Bestätigungsmeldung reicht für eine Zahlung, eine Zugriffsänderung oder eine Massenlöschung nicht aus. Die Überwachung ist ebenso wichtig: Teams müssen feststellen, was der Agent tatsächlich getan hat.
So lässt sich das Risiko verringern: Zeigen Sie den Prüfern die vorgeschlagene Maßnahme, die betroffenen Systeme und relevante Belege. Protokollieren Sie Tool-Aufrufe, Genehmigungen und Ergebnisse, während Sie sensible Protokollinhalte schützen. Geben Sie den Verantwortlichen bewährte Verfahren an die Hand, um Agenten zu sperren, Zugangsdaten zu widerrufen, Beweismittel zu sichern und Änderungen nach Möglichkeit rückgängig zu machen.
Beginnen Sie mit den Agenten, die den Zugriff auf sensible Daten, leistungsstarke Tools und die Fähigkeit, ohne Genehmigung zu handeln, kombinieren. Ein Assistent, der Fragen anhand öffentlicher Dokumente beantwortet, stellt ein anderes Risiko dar als ein Agent, der Produktionssysteme verändert.
Legen Sie für jeden Einsatz Folgendes fest:
Nutzen Sie diese Antworten, um Tests und Abhilfemaßnahmen zu priorisieren. Führen Sie bei jeder Änderung von Modellen, Tools, Berechtigungen oder Arbeitsabläufen eine Neubewertung durch, da sich der Zugriffsumfang eines Agenten auch lange nach seiner ursprünglichen Genehmigung noch erweitern kann.
Jede neue Verbindung erweitert die Handlungsmöglichkeiten eines Agenten. Sie kann aber auch die Folgen eines Fehlers oder einer Kompromittierung vergrößern. Sicherheitsentscheidungen müssen mit diesem wachsenden Zugriff Schritt halten.
Für Unternehmen, die agentenbasierte KI einsetzen, sind die Prioritäten klar: Identitäten der Agenten verwalten, sensible Daten schützen, Aktionen einschränken und Aktivitäten für die Verantwortlichen der Unternehmenssicherheit sichtbar machen.
Sprechen Sie mit Integrity360 über die Absicherung der KI-Einführung in den Bereichen Identität, Daten und Geschäftsabläufe.
Was ist der Unterschied zwischen KI-Sicherheit und KI-Agent-Sicherheit?
KI-Sicherheit umfasst den Schutz von KI-Modellen, Daten und Anwendungen. Bei der Sicherheit von KI-Agenten liegt der Schwerpunkt insbesondere auf Systemen, die Tools nutzen und Aktionen ausführen, einschließlich ihrer Berechtigungen, delegierten Befugnisse, Verbindungen und der Fähigkeit, andere Systeme zu beeinflussen.
Lässt sich die Prompt-Injection vollständig verhindern?
Unternehmen sollten nicht davon ausgehen, dass Prompt-Injection vollständig ausgeschlossen werden kann. Abwehrmaßnahmen können erfolgreiche Angriffe reduzieren, doch sollten Implementierungen auch die Handlungsmöglichkeiten eines Agenten einschränken, falls eine Manipulation gelingt. Die Einschränkung des Zugriffs und die Kontrolle sensibler Aktionen tragen dazu bei, den potenziellen Schaden zu begrenzen.
Warum ist Identitätsmanagement für KI-Agenten wichtig?
Identitätsmanagement hilft dabei festzustellen, welcher Agent gerade aktiv ist, auf welche Ressourcen er zugreifen kann und wer dafür verantwortlich ist. Eindeutige Identitäten, eingeschränkte Berechtigungen und widerrufbare Zugangsdaten fördern die Nachvollziehbarkeit und erleichtern die Eindämmung kompromittierter oder fehlerhaft funktionierender Agenten.
Benötigen KI-Agenten für jede Aktion eine menschliche Genehmigung?
Die Genehmigung sollte den Folgen einer Aktion entsprechen. Routinemäßige Aufgaben mit geringen Auswirkungen können innerhalb vordefinierter Grenzen ausgeführt werden. Zahlungen, die Offenlegung sensibler Informationen, destruktive Änderungen und privilegierte Vorgänge erfordern strengere Prüfungen. Diese Prüfungen sollten von der Anwendung oder dem angeschlossenen System durchgesetzt werden.
Was sollten Unternehmen vor dem Einsatz eines KI-Agenten tun?
Den Zweck definieren, einen Verantwortlichen benennen, den Daten- und Systemzugriff festlegen und Berechtigungsgrenzen festlegen. Den gesamten Arbeitsablauf auf Missbrauchs- und Ausfallszenarien testen. Überwachungs- und Genehmigungsanforderungen sowie eine praktikable Möglichkeit festlegen, den Agenten zu stoppen, bevor ihm Zugriff auf produktive Geschäftssysteme gewährt wird.