Lektion 6 von 6·9 Min Lesezeit

Security Operations

Architektur und Richtlinien sind die Grundlage — aber Sicherheit entsteht erst im täglichen Betrieb. Security Operations (SecOps) für AI bedeutet: kontinuierliches Monitoring, automatisierte Reaktion und eine Sicherheitskultur, die das gesamte Team einschließt.

Continuous Monitoring

Was Sie überwachen müssen

Ein AI Security Dashboard sollte diese Metriken in Echtzeit anzeigen:

Sicherheitsmetriken:

  • Prompt-Injection-Versuche pro Stunde/Tag (Trend)
  • PII-Detektionen in Input und Output
  • Jailbreak-Versuche und Erfolgsrate
  • Anomale Nutzungsmuster (Abweichung vom Baseline)

Operationale Metriken:

  • Modell-Latenz (plötzlicher Anstieg = möglicher DoS)
  • Token-Verbrauch pro Nutzer/Team (Cost Anomaly Detection)
  • Error Rate (plötzlicher Anstieg = möglicher Angriff oder Systemfehler)
  • Guardrail Trigger Rate (wie oft greifen Sicherheitsfilter?)

Compliance-Metriken:

  • DSGVO-Anfragen (Löschungen, Auskünfte) im AI-Kontext
  • Audit-Log-Vollständigkeit
  • Richtlinien-Compliance-Score pro Team

Monitoring-Stack

KomponenteTool-BeispieleFunktion
Log AggregationElastic, Datadog, SplunkZentrale Prompt-/Response-Logs
AlertingPagerDuty, OpsGenieEchtzeit-Benachrichtigung bei Incidents
DashboardsGrafana, KibanaVisuelle Übersicht aller Metriken
TracingLangSmith, Langfuse, HeliconeLLM-spezifisches Tracing und Debugging

Threat Detection & Automated Response

Detection Rules

Automatisierte Erkennung von Bedrohungen:

  • Prompt Injection Patterns: ML-Classifier + Rule Engine scannen jeden Input
  • Data Exfiltration Signals: Ungewöhnlich detaillierte Antworten, Markdown-Links in Outputs, Base64-Strings
  • Account Compromise: Plötzliche Verhaltensänderung eines Nutzers (andere Themen, andere Zeiten)
  • Model Degradation: Qualitätsverlust in Antworten (mögliches Poisoning)

Automated Response Playbooks

Playbook 1 — Prompt Injection erkannt:

  1. Request blockieren → 403 Forbidden
  2. User-Session in Watchlist aufnehmen
  3. Alert an Security Team
  4. Nächste 10 Requests des Users verschärft prüfen

Playbook 2 — PII Leak erkannt:

  1. Response blockieren → generische Fehlermeldung
  2. Incident automatisch in Ticketing-System erstellen
  3. Betroffene Daten identifizieren
  4. Escalation an Data Protection Officer

Playbook 3 — Cost Anomaly:

  1. Token-Budget des Users/Teams temporär reduzieren
  2. Alert an Team Lead und FinOps
  3. Nutzungsmuster analysieren (Shadow AI? Angriff? Fehler im Code?)

Compliance Auditing

Kontinuierliche Compliance

Statt jährlicher Audits — kontinuierliche Compliance-Checks:

  • Automatisierte Policy Checks: Werden alle Prompts geloggt? Ist PII-Filtering aktiv? Sind Rate Limits konfiguriert?
  • Configuration Drift Detection: Wurde ein Guardrail deaktiviert? Hat jemand den System Prompt geändert?
  • Access Reviews: Wer hat Zugriff auf welche Modelle? Stimmen die Berechtigungen noch?
  • Data Retention: Werden Logs und Trainingsdaten gemäß DSGVO-Fristen gelöscht?

Security Scoring

Ein AI Security Score aggregiert alle Metriken zu einem Gesamtbild:

BereichGewichtungMessung
Prompt Security25 %Injection-Abwehrrate, Guardrail-Coverage
Data Protection25 %PII-Leak-Rate, Encryption-Status
Access Control20 %RBAC-Coverage, Anomalie-Rate
Monitoring15 %Log-Coverage, Alert-Response-Time
Incident Response15 %MTTR, Playbook-Coverage

Bewertung: A (90–100), B (75–89), C (60–74), D (< 60 — sofortiger Handlungsbedarf)

Team Training & Security Culture

Security Awareness für AI

Jeder Mitarbeiter, der AI-Tools nutzt, braucht ein Grundverständnis:

  • Onboarding: 30-Minuten-Schulung zu AI Security Basics (Prompt Injection, Datenklassifikation)
  • Monatliche Updates: Newsletter mit aktuellen Bedrohungen und Best Practices
  • Phishing-Simulationen: Prompt-Injection-Simulationen für Entwickler und Power User
  • Responsible Use Policy: Klare Regeln, welche Daten in AI-Tools eingegeben werden dürfen

Rollen und Verantwortlichkeiten

  • AI Security Lead: Verantwortlich für Security-Architektur, Policies und Incident Response
  • AI Red Team: Kontinuierliches Testing der eigenen Systeme
  • Entwickler: Security by Design — jede LLM-Integration mit Guardrails
  • Endnutzer: Awareness, keine sensiblen Daten in Prompts, Anomalien melden

Kultur schlägt Technologie: Die beste Security-Architektur versagt, wenn Mitarbeiter sensible Daten in ChatGPT kopieren. Investieren Sie mindestens so viel in Training wie in Tooling.

📝

Quiz

Frage 1 von 3

Was ist der erste Schritt im Automated Response Playbook bei einer erkannten Prompt Injection?