Ihr Leitfaden zur KI-Agent-Sicherheit

Um KI-Agent-Sicherheit zu verstehen, müssen wir zunächst definieren, was ein KI-Agent ist. Anders als ein einfacher Chatbot, der auf vordefinierte Eingaben reagiert, kann ein KI-Agent seine Umgebung wahrnehmen und den Kontext interpretieren, während er bestimmte Ziele verfolgt. Anstatt lediglich zu reagieren, plant ein KI-Agent und passt sich anhand der Ergebnisse an.

KI-Agents nutzen eine Kombination aus Echtzeitdaten, Erfahrungen und vordefinierten Regeln, um Entscheidungen zu treffen. Das kann bedeuten, eine komplexe Kundenanfrage zu beantworten oder Preise basierend auf Markttrends anzupassen. Sie können sogar mit anderen Systemen zusammenarbeiten, um eine Aufgabe zu lösen – und das mit minimalem menschlichem Eingriff. Mehr Autonomie ist in vielen Situationen vorteilhaft, erhöht aber auch die Komplexität: Je mehr Entscheidungsfreiheit ein Agent hat, desto sorgfältiger müssen Sie sein Verhalten steuern.

Die KI-Agent-Sicherheit hilft, diese neuen Herausforderungen zu bewältigen. Sie umfasst die Praktiken und Tools, die KI-Agents absichern – sowohl vor internen als auch vor externen Bedrohungen –, ohne ihren Nutzen einzuschränken. Ziel sind Agents, die nicht nur effektiv, sondern auch vertrauenswürdig sind. Zudem müssen sie die Datenschutzbestimmungen einhalten.

Die Schutzmaßnahmen der KI-Agent-Sicherheit umfassen:

• Eingabefilterung
  Sie prüft und verifiziert die an einen Agent gesendeten Daten, damit schädliche, irreführende oder unerwartete Eingaben seine Entscheidungen nicht beeinflussen.
• Zugriffskontrollen
  Die richtigen Zugriffskontrollen legen fest, wer und was mit einem Agent interagieren darf. So wird verhindert, dass nicht autorisierte Systeme etwaige Anweisungen senden oder auf sensible Daten zugreifen.
• Prüfpfade
  Durch die Aufzeichnung der Actions und Entscheidungspfade eines Agents lassen sich Verhaltensweisen leichter nachvollziehen, Vorfälle untersuchen und die Compliance gewährleisten.
• Modell- und Richtlinienvalidierung
  Die Validierung stellt sicher, dass das zugrunde liegende Modell und seine Leitplanken vor und nach der Bereitstellung wie vorgesehen funktionieren.
• Datenschutz
  Durch Verschlüsselung und Standards zur Datenverarbeitung werden private Informationen geschützt, während der Agent sie verarbeitet, speichert oder überträgt.

Doch natürlich beschränkt sich Sicherheit nicht nur auf technische Maßnahmen. Sie erfordert auch klare Richtlinien für das Verhalten von Agents. Dazu gehören festgelegte Grenzen für die Entscheidungsfindung und integrierte Mechanismen zur menschlichen Aufsicht.

Die Security-Best-Practices von Salesforce bieten eine solide Grundlage. Um KI-Agents wirklich sicher zu machen, müssen sie jedoch als dynamische Einheiten und nicht als statische Anwendungen betrachtet werden. Je autonomer und intelligenter der Agent ist, desto gezielter muss Ihre Sicherheitsstrategie sein.

Es gibt verschiedene Arten von KI-Agents, die jeweils bestimmte Unternehmensbereiche unterstützen. Da sie sich in der Art und Weise unterscheiden, wie sie Informationen sammeln, Entscheidungen treffen und Aufgaben erledigen, variieren auch die erforderlichen Sicherheitsvorkehrungen. Umso wichtiger ist es, dass Sie die eingesetzten Agententypen verstehen. Dann können Sie sich auf die richtigen Sicherheitsmaßnahmen konzentrieren.

Zur Vereinfachung empfiehlt es sich, Agents nach dem Grad ihres Zugriffs und der Art ihrer Entscheidungen zu unterscheiden.

Diese Agents arbeiten eng mit personenbezogenen Daten und übernehmen häufig Aufgaben im direkten Kundenkontakt. Daher liegt der Schwerpunkt der Sicherheitsmaßnahmen auf Daten- und Identitätsschutz sowie auf konsistenten Reaktionen.

• Kundenservice-Agents
  Helfen dabei, Fragen und Probleme über verschiedene Kanäle hinweg zu klären. Sie benötigen Schutzmaßnahmen, die Kundendaten vertraulich halten, den Gesprächskontext zuverlässig aufrechterhalten und verhindern, dass unbefugte Anweisungen ihre Antworten beeinflussen.
• E-Commerce-Agents
  Begleiten die Kund:innen durch Kaufprozesse und empfehlen Produkte. Solche Agents profitieren von Schutzmaßnahmen, die Transaktionsdetails schützen, für faire Empfehlungen sorgen und externen Einfluss auf den Kaufprozess verhindern.

Diese Agents greifen oft auf sensible Geschäftsdaten zu, etwa Lead-Scoring, Kampagnenpläne und Leistungsdaten. Sicherheit konzentriert sich hier darauf, interne Informationen zu schützen und unbeabsichtigte Offenlegungen zu vermeiden.

• Sales Development Representative (SDR) Agents: Unterstützen bei der Lead-Qualifizierung und Terminplanung. Sie benötigen Berechtigungskontrollen, die einschränken, auf welche Kundendatensätze sie zugreifen dürfen. Außerdem müssen Überwachungsmaßnahmen sicherstellen, dass sie die internen Vertriebsrichtlinien einhalten.
• Agents für Marketingkampagnen: Helfen dabei, Kampagnenbriefings, Customer Journeys und Content zu erstellen. Solche Agents erfordern Sicherheitsvorkehrungen, die strategische Pläne schützen, die Markenkonsistenz wahren und gewährleisten, dass die erstellten Assets den genehmigten Richtlinien entsprechen.

Diese Agents führen Informationen aus mehreren Systemen zusammen. Deshalb liegt der Sicherheitsfokus auf der Verwaltung von Systemgrenzen und darauf, dass abteilungsübergreifende Workflows zuverlässig und korrekt bleiben.

• Kollaborative Agents: Teilen Daten und Erkenntnisse über Abteilungen hinweg, damit Bereiche wie Operations, Service und Planung aufeinander abgestimmt bleiben. Diese Agents brauchen Leitplanken, die festlegen, auf welche Systeme sie zugreifen dürfen. Zudem benötigt es Kontrollen, die verhindern, dass Informationen dorthin gelangen, wo sie nicht hingehören.

Für alle Typen gilt: Gestalten Sie Ihre Agents immer entsprechend ihrem jeweiligen Zweck. Je anpassungsfähiger und autonomer der Agent ist, desto stärker sollten Ihre Schutzmaßnahmen sein. Von Reflexagents mit begrenztem Wirkungsbereich bis hin zu vollständig autonomen Lernsystemen – Ihre Sicherheitsstrategie sollte sich anhand ihrer Komplexität skalieren lassen.

Während sich herkömmliche Anwendungssicherheit auf Code und Infrastruktur konzentriert, bringen KI-Agents eine völlig neue Dimension ins Spiel: autonomes Handeln. Das schafft neue Herausforderungen und Risiken, die Sie mit gezielten Schutzmaßnahmen angehen müssen.

KI-Agents verarbeiten häufig hochsensible Daten für ihre Entscheidungen, darunter Kundeninformationen und Finanzdaten. Wenn Sie diese Daten nicht ausreichend schützen, kann es zu unbefugtem Zugriff, Datenlecks oder Compliance-Verstößen kommen. Der Datenschutz muss höchste Priorität haben, sollten Sie KI-Agents in Workflows einbinden, die personenbezogene oder regulierte Daten umfassen.

KI-Agents basieren auf Large Language Models (LLMs), die aus Daten lernen – solche Modelle lassen sich jedoch manipulieren. Angriffe wie Datenvergiftung, feindliche Eingaben oder nicht autorisierte Modelländerungen können die Ergebnisse verfälschen. Im schlimmsten Fall können sie dazu führen, dass Agents entgegen den Zielen Ihrer Organisation handeln. Da Modelle von Natur aus dynamisch sind, müssen Sie sowohl ihre Eingaben als auch ihre Entscheidungslogik regelmäßig validieren.

Anders als herkömmliche Software führen Agents nicht einfach nur feste Anweisungen aus. Sie bewerten Bedingungen und wägen Ergebnisse ab, bevor sie anhand von Wahrscheinlichkeiten handeln. Das macht ihr Verhalten weniger vorhersehbar, besonders bei mehrstufigen Interaktionen. Wenn Sie nicht nachvollziehen können, wie ein KI-Agent entscheidet, ist es deutlich schwieriger, Fehler zu erkennen und deren Ursachen zu verstehen.

KI-Agents arbeiten nicht isoliert. Sie sind auf umliegende Systeme, APIs und Infrastruktur angewiesen. Eine Schwachstelle in einer Komponente (z. B. einer Integration von Drittanbietern oder einer Cloud-Umgebung) kann zum Einfallstor für Angriffe werden, die den Agent kompromittieren. Die Umgebung des Agents zu schützen ist ein wesentlicher Teil der KI-Agent-Sicherheit.

KI-Agents interagieren häufig in Echtzeit mit Benutzer:innen, Tools von Drittanbietern und externen Datenquellen. Doch genau diese Verbindungen können Sicherheitsrisiken mit sich bringen. Wenn Eingaben nicht ordnungsgemäß validiert werden, können Angreifer:innen den Agent durch Techniken wie Injektionsangriffe ausnutzen, ihm falsche Informationen zuführen oder offengelegte APIs missbrauchen. Ohne entsprechende Sicherheitsvorkehrungen könnte ein Agent anhand ungenauer Daten handeln oder Außenstehenden unbeabsichtigt Zugriff auf interne Systeme gewähren.

KI-Agent-Sicherheit ist ein fortlaufender Prozess von der Entwicklung über die Bereitstellung bis hin zum täglichen Betrieb. Jede Ebene des Stacks (einschließlich Zugriffskontrolle und ethischer Governance) benötigt integrierte Schutzmechanismen, die auf die Dynamik von KI-Agents zugeschnitten sind.

Ein grundlegender Schritt ist die Steuerung von Zugriffsrechten. Weisen Sie sowohl Benutzer:innen als auch externen Systemen, die mit dem Agent interagieren, klare Rollen und Berechtigungen zu. Verfolgen Sie nicht-menschliche Identitäten und stellen Sie sicher, dass jede Aktion auditierbar ist. So können Sie eine unbefugte Nutzung verhindern und die Grundlage für KI-Verantwortlichkeit schaffen.

Auch Verschlüsselung spielt eine zentrale Rolle. Verwenden Sie fortschrittliche Verschlüsselungsverfahren, um Daten zu schützen, die KI-Agents generieren oder verarbeiten. Das umfasst sowohl strukturierte als auch unstrukturierte Daten, ohne die Leistung der Agents zu beeinträchtigen – von der Speicherung über die Übertragung bis hin zur Nutzung. Denken Sie auch darüber nach, Agents mithilfe von Sandboxing oder Containerisierung zu isolieren. Indem Sie deren Zugriffsbereich einschränken, reduzieren Sie das Risiko von Folgeschäden durch unbeabsichtigte Actions oder externe Angriffe.

Denken Sie daran, dass Sicherheit nicht nur in der Verantwortung von Entwickler:innen oder der IT liegt. Es muss ein gemeinsames Engagement aller Produktteams und Führungskräfte sein. Alle am Prozess der Anwendungsentwicklung beteiligten Personen müssen verstehen, wie Agents funktionieren, welche Daten sie verarbeiten und wie unerwartete Verhaltensweisen gemeldet werden können. Wenn Sie eine Kultur der Verantwortlichkeit etablieren, stärken Sie jede Ebene Ihrer KI-Strategie.

KI-Agent-Hijacking liegt vor, wenn böswillige Akteur:innen das Verhalten eines Agents manipulieren oder die Kontrolle über ihn übernehmen. Ursachen können vergiftete Trainingsdaten oder schwache Sicherheitskontrollen sein. Angriffsmethoden zu kennen bedeutet, zu wissen, worauf man achten muss. Unerwartete Entscheidungen, Veränderungen im Verhalten der Agents oder ungewöhnliche Datenzugriffsmuster können darauf hindeuten, dass etwas nicht stimmt. Achten Sie auf feindliche Techniken, die den Agent dazu „verleiten“ sollen, unangemessen zu handeln.

Robuste Sicherheitsmaßnahmen erfordern proaktive Bewertungen. Führen Sie regelmäßig Risikobewertungen durch und überwachen Sie die Aktivitäten der Agents. Dadurch können Sie potenzielle Hijacking-Versuche erkennen, bevor sie eskalieren. Dank widerstandsfähiger Frameworks können sich Agents besser von Bedrohungen erholen. Nutzen Sie adaptive Sicherheitsmodelle, die aus Vorfällen lernen und die Schutzmaßnahmen automatisch anpassen, um zukünftige Angriffe abzuwehren.

Bleiben Sie über globale Frameworks wie DSGVO und CCPA auf dem Laufenden. Beide definieren, wie personenbezogene Daten behandelt und geschützt werden müssen. Auch wenn Ihr KI-Agent nicht direkt mit Kund:innen interagiert, kann er im Hintergrund mit regulierten Daten in Berührung kommen. Setzen Sie daher auf ethisch ausgerichtete KI-Frameworks. Damit sorgen Sie für Fairness, Transparenz und Verantwortlichkeit in jeder Entscheidung Ihres Agents. Entwickeln Sie Systeme, die ihre Entscheidungen begründen und bei Bedarf auch Prüfpfade bieten.

Vor allem aber: Verwalten Sie Daten immer sorgfältig. Wenden Sie Datenschutzrichtlinien und Datensicherheitsstandards konsequent bei jeder Interaktion an. Ganz gleich, ob Sie ein Modell trainieren oder es in der Produktion bereitstellen – Datenschutz sollte fester Bestandteil Ihrer generellen Architektur sein.

Die wirksamsten Sicherheitsvorkehrungen beginnen bereits in der Designphase. Integrieren Sie Schutzmaßnahmen direkt in den Entwicklungsprozess, indem Sie Security by Design konsequent umsetzen. Das gelingt mit sicheren Programmierpraktiken sowie durch Bedrohungsmodellierung und Tests, noch bevor Sie Ihren Agent in Betrieb nehmen.

Schützen Sie Multi-Agent-Umgebungen durch Kontrollen, die verhindern, dass ein Agent einen anderen exploitiert. Dafür müssen Kommunikationsprotokolle durchgesetzt und der gemeinsame Zugriff eingeschränkt werden. Überwachen Sie Bedrohungen in Echtzeit und reagieren Sie darauf. Verfolgen Sie Nutzungsmuster und aktivieren Sie einen Reaktionsplan, wenn das Verhalten von der Norm abweicht. Der Ansatz von Salesforce zum KI-Datenschutz zeigt, wie ein durchdachtes Design sowohl Sicherheit als auch Vertrauen stärken kann.

Je tiefer KI-Agents in Unternehmenssysteme integriert werden, desto komplexer und wichtiger wird KI-Agent-Sicherheit. Neue Fähigkeiten bringen neue Angriffsflächen mit sich, weshalb eine vorausschauende Sicherheitsstrategie unerlässlich ist.

Doch die Verbesserung der KI-Sicherheit ist keine Aufgabe, die Unternehmen alleine bewältigen können. Es braucht eine branchenweite Zusammenarbeit. Wenn Organisationen ihre sicherheitsrelevanten Erkenntnisse und Best Practices teilen, profitieren alle davon. Denn gemeinsam lassen sich robustere Standards etablieren, die den Einsatz von KI für alle sicherer machen – und die Akzeptanz erhöhen.

Mit Agentforce, der Enterprise-Lösung von Salesforce für Agentic AI, können Sie intelligente Automatisierung einsetzen und dabei Sicherheit und Datenschutz bei jeder Interaktion in den Mittelpunkt stellen.

Durch den AgentforceTrust Layer kann Ihr Unternehmen etwaige Risiken mit Funktionen wie Zero Data Retention und richtliniengesteuerte Kontrollen reduzieren. Der Trust Layer identifiziert und maskiert auch sensible Informationen in Ihren Prompts, bevor sie an das Modell gesendet werden. Das schützt sensible Daten wie persönliche Identifikationsdaten vor dem Zugriff durch externe LLMs. Diese Schutzmaßnahmen erhöhen das Mindestniveau für KI-Agent-Sicherheit.