Warum KI neue Sicherheitskonzepte braucht

Warum reden wir über die Sicherheit von KI?

#

Künstliche Intelligenz ist kein neues Phänomen. Schon seit vielen Jahren wird sie in Bereichen wie dem Finanz- und Versicherungswesen eingesetzt, etwa für Prognosen, Betrugserkennung oder Risikobewertungen.

Was wir aktuell erleben, ist jedoch eine neue Phase: KI ist heute für nahezu jeden verfügbar und übernimmt Aufgaben, die lange Zeit ausschließlich Menschen vorbehalten waren.

Möglich wurde das vor allem durch Fortschritte bei neuronalen Netzen. Diese existieren zwar bereits seit Jahrzehnten, doch erst durch deutlich leistungsfähigere Hardware, größere Datenmengen und neue Trainingsmethoden konnten tiefe, große neuronale Netze praktisch nutzbar gemacht werden. Dadurch haben sich die Fähigkeiten von KI-Systemen erheblich erweitert.

Ein entscheidender nächster Schritt waren Large Language Models (LLM) – große Modelle, die gezielt auf Sprachverständnis und Textgenerierung trainiert wurden. Sie erlauben es erstmals, mit KI-Systemen in natürlicher Sprache zu interagieren. Die Kommunikation fühlt sich zunehmend dialogisch an, fast so, als würde man mit einem menschlichen Gegenüber sprechen. Moderne Versionen können dabei komplexe Zusammenhänge verarbeiten und mehrstufige Überlegungen anstellen.

Doch die Entwicklung geht weiter. Aktuelle KI-Systeme beschränken sich nicht mehr nur auf Zuhören und Antworten, sondern beginnen, aktiv Aufgaben zu übernehmen: Sie greifen auf Werkzeuge zu, nutzen externe Datenquellen, steuern Prozesse oder treffen selbstständig Entscheidungen innerhalb vorgegebener Grenzen.

Spätestens an diesem Punkt wird die Frage der Sicherheit zentral.

• Wem vertrauen wir unsere Daten an?
• Was passiert im Fehlerfall?
• Und wie lassen sich solche Systeme missbrauchen oder kompromittieren?

Diese Fragen stehen im Mittelpunkt jeder ernsthaften Auseinandersetzung mit KI-Sicherheit.

Verschiedene Systeme, verschiedene Risiken

#

KI ist nicht gleich KI – unterschiedliche Systeme bringen unterschiedliche Risiken mit sich.

Klassische KI- und ML-Systeme
Beispiele sind Regression oder Entscheidungsbäume. Sie werden vor allem für Vorhersagen und Klassifikation eingesetzt und arbeiten innerhalb klar definierter Eingaben und Ausgaben.

Moderne KI-Systeme (ML, LLMs, generative Modelle)
Diese Systeme basieren auf neuronalen Netzen, häufig auf Transformer-Architekturen. Sie erkennen Muster und erzeugen Texte, Bilder oder andere Inhalte. Durch ihre Flexibilität und die Nutzung natürlicher Sprache entstehen neue Sicherheitsanforderungen.

KI-Erweiterungen

• Plug-ins / Function Calling: Erweitern Modelle um externe Werkzeuge und Funktionen.
• RAG: Bindet externe Dokumente oder Datenquellen in Antworten ein.
• Agenten: Führen Aufgaben teilweise autonom aus und treffen Entscheidungen innerhalb vorgegebener Grenzen.

Mit zunehmender Komplexität und Autonomie steigen auch die Sicherheitsrisiken.

Warum braucht KI eigene Security-Modelle?

#

Klassische Programme werden meist über eine grafische Oberfläche oder die Kommandozeile genutzt. Eingaben und Ausgaben sind klar strukturiert und ließen sich vergleichsweise einfach validieren und absichern.
Zudem arbeiten klassische Programme deterministisch: Die gleiche Eingabe führt zur gleichen Ausgabe. Dadurch sind sie relativ gut testbar und sicherheitstechnisch kontrollierbar.

Bei neuronalen Netzen und insbesondere Large Language Models sieht das grundlegend anders aus.
Die interne Verarbeitung ist hochkomplex, nicht transparent und für Menschen nur eingeschränkt nachvollziehbar. Dadurch entstehen neue Angriffsflächen.

Eingaben werden nicht mehr strikt über feste Programmlogik verarbeitet, sondern über natürliche Sprache. Nutzer „sprechen“ mit dem Modell, und diese Sprache wird statistisch verarbeitet, nicht regelbasiert interpretiert. Das erschwert klassische Sicherheitsmechanismen wie feste Validierungsregeln.

Hinzu kommt, dass moderne KI-Systeme häufig externe Datenquellen und Werkzeuge einbinden, etwa Dokumente, APIs oder andere Systeme. Dadurch erweitern sich sowohl die Funktionalität als auch die potenziellen Risiken.

KI-Systeme verhalten sich grundlegend anders als klassische Software. Deshalb reichen traditionelle Sicherheitsmodelle allein nicht aus – es braucht eigene, angepasste Security-Konzepte für KI-Anwendungen.

Während herkömmliche Anwendungen deterministisch und kontrollierbar sind, erzeugen KI-Systeme probabilistische Ergebnisse, die kontextabhängig variieren.

Welchen Risiken ist GenAI speziell ausgesetzt?

#

Sicherheitsorganisationen wie NIST und OWASP veröffentlichen Übersichten zu aktuellen Risiken von KI- und insbesondere generativen KI-Systemen. Dabei stechen einige Bedrohungen besonders hervor.

• Prompt Injection
  Die Verarbeitung von Eingaben stellt eine der größten Angriffsflächen dar. Durch gezielt formulierte Eingaben können Modelle zu Ausgaben verleitet werden, die so nicht vorgesehen waren. In bestimmten Architekturen kann dies auch systemnahe Anweisungen oder Regeln innerhalb der Anwendung beeinflussen.

• RAG-spezifische Risiken
  Systeme mit Retrieval-Augmented Generation erweitern die Angriffsfläche erheblich. Angriffe erfolgen nicht nur über Nutzereingaben, sondern auch über Dokumente und Datenquellen selbst. Manipulierte, veraltete oder instruktive Inhalte können das Verhalten des Systems beeinflussen, ohne dass dies unmittelbar sichtbar ist.

• Insecure Output Handling
  Nicht nur die Eingabe, sondern auch die Ausgabe eines Modells kann ein Sicherheitsrisiko darstellen. Besonders kritisch ist dies, wenn KI-generierte Inhalte – etwa Code oder Befehle – ungeprüft weiterverarbeitet oder ausgeführt werden. Ungeprüfte KI-Ausgaben dürfen niemals direkt in produktive Systeme, Entscheidungsprozesse oder Automatisierungen übernommen werden.

• Sensitive Data Leakage
  Generative Modelle können unbeabsichtigt sensible Informationen preisgeben. Dazu zählen interne Informationen, Konfigurationsdetails oder vertrauliche Daten, die über Eingaben oder Ausgaben offengelegt werden.

• Excessive Agency
  Bei agentenbasierten Systemen entstehen zusätzliche Risiken. Zu weitreichende Berechtigungen, fehlende Begrenzungen oder unzureichende Fehlerbehandlung können dazu führen, dass Systeme Aktionen ausführen, die nicht beabsichtigt waren oder missbraucht werden können. Je autonomer ein KI-System agiert, desto größer ist das Risiko, dass Fehler oder Manipulationen reale Auswirkungen auf Prozesse, Daten oder Kunden haben.

• Training Data Poisoning
  Bei frei verfügbaren oder weiterverwendbaren Modellen besteht das Risiko manipulierter Trainings- oder Fine-Tuning-Daten, etwa aus offenen Modell-Ökosystemen wie Hugging Face. Solche gezielten Veränderungen können das Modellverhalten langfristig beeinflussen oder versteckte Schwächen einbauen.

• Model Denial of Service (DoS)
  Durch gezielte Nutzungsmuster können KI-Modelle stark belastet werden, etwa durch extrem lange oder komplexe Eingaben. Dies kann die Verfügbarkeit beeinträchtigen oder den Ressourcen- und Kostenverbrauch erheblich erhöhen.

Diese Risiken zeigen, dass KI-Sicherheit nicht im Modell beginnt, sondern in Architekturentscheidungen, kontrollierten Freigaben und klar definierten Zuständigkeiten.

Welche gemeinsamen Risiken ergeben sich daraus?

#

Aus den zuvor beschriebenen GenAI-spezifischen Risiken lassen sich einige übergreifende Ursachen ableiten, die in vielen KI-Systemen gemeinsam auftreten:

• Übermäßiges Vertrauen
  KI-Ausgaben werden als korrekt oder sicher angenommen, ohne sie ausreichend zu hinterfragen oder zu überprüfen.

• Fehlende Validierung
  Ein- und Ausgaben von KI-Systemen werden nicht konsequent geprüft, gefiltert oder begrenzt.

• Mangelnde Zugriffskontrolle
  KI-Systeme oder angebundene Werkzeuge verfügen über zu weitreichende Berechtigungen.

• Fehlende Transparenz
  Entscheidungen, Datenquellen und Systemgrenzen sind für Nutzer und Betreiber nur eingeschränkt nachvollziehbar.

• Fehlende Trennung von Verantwortung
  Zuständigkeiten zwischen Mensch, KI, Anwendung und angebundenen Systemen sind nicht klar definiert.

Viele Sicherheitsprobleme entstehen nicht durch die KI selbst, sondern durch Architektur-, Design- und Governance-Entscheidungen.

Sicherheit als Grundprinzip

#

Sicherheit sollte bei KI-Systemen kein nachträglicher Zusatz sein, sondern ein grundlegendes Designprinzip. Dabei helfen bewährte Sicherheitskonzepte und anerkannte Standards.

• Anerkannte Sicherheitsstandards einhalten
  Orientierung an etablierten Rahmenwerken, etwa von BSI, NIST oder OWASP, schafft eine verlässliche Grundlage für den sicheren Betrieb von Anwendungen – auch im KI-Kontext.

• Least Privilege
  Systeme, Komponenten und angebundene Werkzeuge erhalten nur die Rechte, die sie tatsächlich benötigen. Ist beispielsweise lediglich lesender Zugriff erforderlich, sollte kein Schreib- oder Änderungsrecht vergeben werden.

• Zero Trust
  Keiner Eingabe und keiner Ausgabe wird pauschal vertraut.
  Alle Daten – sowohl Eingaben als auch KI-generierte Ausgaben – müssen validiert, geprüft und gegebenenfalls gefiltert werden.

• Trennung von Rollen
  Zugriffe sollten klar nach Rollen und Verantwortlichkeiten getrennt sein.
  Dies kann über RBAC (Role-Based Access Control) oder – für feinere und dynamischere Szenarien – über ABAC (Attribute-Based Access Control) umgesetzt werden.

• Monitoring & Logging
  Um Fehlverhalten frühzeitig zu erkennen, sind umfassendes Monitoring und Logging essenziell.
  Eingaben, Ausgaben und relevante Entscheidungen müssen nachvollziehbar sein, damit Systeme überwacht, analysiert und kontinuierlich verbessert werden können.

KI-Modelle sind nur ein Baustein

#

In einem KI-Agentensystem ist das Modell zwar ein zentraler Bestandteil, es wirkt jedoch immer im Zusammenspiel mit weiteren Abhängigkeiten. Sicherheit betrifft daher nicht nur das Modell selbst, sondern die gesamte Architektur.

Zu den wichtigen Bausteinen zählen unter anderem:

• die LLM-Runtime (Ausführungsumgebung)
• externe Datenzugriffe und Datenquellen
• verwendete Plattformen, Frameworks und Libraries

Auch für diese Komponenten sollte konsequent das Safety-First-Prinzip gelten, da sie die Angriffsfläche des Gesamtsystems maßgeblich beeinflussen.

Ebenso entscheidend ist ein Inventarisierungs- und Transparenzkonzept.
Alle Modelle, Abhängigkeiten und Konfigurationsänderungen sollten nachvollziehbar dokumentiert sein. Nur so lässt sich:

• erkennen, welche Komponenten im Einsatz sind
• Änderungen nachvollziehen
• bei Bedarf auf frühere Zustände zurückgreifen

Die Sicherheit eines KI-Systems ergibt sich aus dem Zusammenspiel aller Komponenten – nicht aus dem Modell allein.

Governance, Compliance und Auditing

#

Neben technischen Maßnahmen spielen Governance und Compliance eine zentrale Rolle für die Sicherheit von KI-Systemen. Klare Richtlinien, definierte Verantwortlichkeiten und dokumentierte Prozesse stellen sicher, dass KI nicht nur technisch funktioniert, sondern auch kontrolliert, nachvollziehbar und regelkonform eingesetzt wird.

Ein wichtiger Bestandteil davon ist Red Teaming. Dabei werden KI-Systeme gezielt überprüft, um Schwachstellen frühzeitig zu erkennen – nicht mit dem Ziel, Schaden anzurichten, sondern um Risiken sichtbar zu machen, bevor sie ausgenutzt werden können.

Dabei ist zu beachten, dass Sicherheitsprobleme nicht zwingend hochspezialisiertes Expertenwissen voraussetzen. Viele Angriffsarten entstehen durch Design- oder Konfigurationsfehler und können mit allgemein verfügbaren Test- und Analysewerkzeugen identifiziert werden. Gerade deshalb sind strukturierte Prüfprozesse, regelmäßige Tests und klare Governance-Regeln entscheidend, um Risiken frühzeitig zu erkennen und zu begrenzen.

Fazit

#

Künstliche Intelligenz erweitert bestehende Softwarearchitekturen um neue Fähigkeiten – und damit auch um neue Risiken. Diese entstehen weniger durch die Modelle selbst als durch ihre Integration, Nutzung und Steuerung innerhalb komplexer Systeme.

Ein sicherer Einsatz von KI erfordert daher mehr als den Schutz einzelner Komponenten. Entscheidend sind klare Verantwortlichkeiten, kontrollierte Zugriffsmodelle, konsequente Validierung sowie Transparenz über alle beteiligten Bausteine. Ergänzt durch Governance, Auditing und regelmäßige Überprüfungen lassen sich KI-Systeme verantwortungsvoll und nachhaltig betreiben.