LLM-Pentest im Überblick
Ein LLM-Pentest prüft gezielt die Sicherheit von Anwendungen mit Sprachmodellen (LLM), autonomen Agenten oder generativer KI. Dabei simulieren wir realistische Angriffe, um Schwachstellen aufzudecken. Unsere Pentester analysieren verschiedene Ebenen: modellspezifische Schwachstellen, applikative Sicherheitslücken, Drittanbieter-Integrationen wie APIs, RAG-Pipelines und MCP-Server sowie die Sicherheitskonfiguration Ihrer KI-Umgebung. Auch die Hosting-Infrastruktur gehört zum Testumfang, egal ob Cloud-Modellanbieter, selbst gehostetes Modell oder hybride Architektur.
Am Ende erhalten Sie einen detaillierten Bericht mit allen identifizierten Schwachstellen, den genutzten Angriffsszenarien sowie priorisierten Empfehlungen zur Behebung. Auf Wunsch führen wir einen Retest durch, der die erfolgreiche Umsetzung der Korrekturen bestätigt.
Unsere LLM-Pentest-Expertise
Unsere Pentester testen KI-Systeme unabhängig von Modell, Framework oder Architektur – egal, ob proprietäre Modelle wie OpenAI, Anthropic oder Google, Open-Source-Modelle, RAG-Anwendungen, autonome Agenten, Multi-Agenten-Systeme oder spezialisierte Copiloten. Ob interner Chatbot, Kundenassistent, Entwickler-Copilot oder Plattform zur Agenten-Orchestrierung: Wir passen unseren Prüfansatz gezielt an Ihren technischen Stack und Ihre Anwendungsfälle an.
Was wir bei Ihrem LLM-Pentest testen
Analyse der Schutzmechanismen des Modells
- Widerstandsfähigkeit gegen direkte und indirekte Prompt Injections
- Umgehung von Filtern durch Fake Markup und nachgeahmte Systemtags
- Umgehung durch Injektion von Fake User/Assistant Responses
- Umgehung von Guardrails (System Prompt, Content-Filtern)
- Jailbreaking und Zweckentfremdung des Modells
- Extraktion des System Prompts und der Guardrail-Anweisungen
- Extraktion von Trainingsdaten durch Satzvervollständigung und Reminder-based Prompting
- Tests zu Model Inversion und Membership Inference
Prüfung der Zugriffskontrollen und Isolationsmechanismen
- Bewertung der Rollen- und Rechteverwaltung
- Identifikation von Datenlecks zwischen Sessions oder Tenants
- Aufdecken fehlender oder fehlkonfigurierter Zugriffskontrollen rund um das Modell
- Tests zur Rechteausweitung über verfügbare Tools des Modells
Sicherheit der RAG-Integrationen und Datenquellen
- Analyse der Retrieval-Pipelines (Vektordatenbank, Embeddings, Re-Ranking)
- Tests zu Data Poisoning und indirekter Injection über indexierte Dokumente
- Prüfung der Validierung und Bereinigung zurückgegebener Inhalte
- Offenlegung sensibler Daten im Modellkontext
Tests der KI-spezifischen Business-Logik
- Identifikation ausnutzbarer Logikfehler in Agenten-Workflows
- Zweckentfremdung des ursprünglichen Anwendungsfalls
- Excessive Agency: nicht autorisierte Aktionen, ausgelöst über das Modell
- Umgehung kritischer Validierungen durch Manipulation natürlicher Sprache
- Auslösen schädlicher Aktionen gegen andere Nutzer oder Systeme über das Modell (applikatives CSRF, unangeforderte API-Aufrufe, unautorisierter Versand von Nachrichten)
Sicherheit der API und angebundener Anwendungen
- Prüfung der APIs, die vom oder rund um das LLM bereitgestellt werden
- Serverseitige Kontrollen (Rate Limiting, Quotas, Kostenkontrolle)
- Tests klassischer Injection-Schwachstellen in Parametern und exponierten Funktionen
- Offenlegung sensibler Daten in den Modellantworten
Sicherheit der Verarbeitung von Modellausgaben
- Injektion schädlicher Payloads in Modellantworten (Stored XSS, nicht bereinigte HTML-Tags)
- Remote Code Execution durch unvalidierte Verarbeitung von LLM-Ausgaben (Shell-Befehle, SQL-Queries, Dateipfade)
- Tests zu CSRF, ausgelöst durch modellgenerierte Antworten oder Aktionen
- Prüfung der Post-Processing- und Frontend-Rendering-Pipelines
Sicherheit von Agenten und dem Model Context Protocol (MCP)
Prüfung der MCP-Server und exponierten Tools
- Inventarisierung der verbundenen MCP-Server und der für Agenten freigegebenen Tools
- Identifikation von Tool Poisoning und bösartigen Tool-Beschreibungen
- Analyse der Authentifizierungs- und Autorisierungsflüsse (OAuth, Tokens, Scopes)
Tests zum Missbrauch von Tools durch Agenten
- Unautorisierte Tool-Ausführung oder Fehlnutzung durch den Agenten
- Umgehung von Berechtigungsrichtlinien und Intent-Erkennung
- Nicht autorisierte Aktionsketten über mehrere Tools hinweg
Sicherheit der Agent-Tool-Kommunikation
- Indirekte Injection über Antworten von Drittanbieter-Tools
- Exfiltration sensibler Daten über Aufrufparameter
- Fuzzing exponierter Parameter und JSON-Schemas
Prüfung agentischer Pipelines
- Excessive Agency und Rechteausweitung über das Modell
- Prüfung adversariellen Verhaltens in mehrstufigen Workflows
- Identifikation von Verhaltensanomalien in der Multi-Agenten-Orchestrierung
Tests der KI-Infrastruktur und MLOps-Pipelines
Fine-Tuning- und MLOps-Pipelines
- Prüfung der Trainings- und Validierungsdatensätze
- Tests zu Data Poisoning in Ingestion-Pipelines
- Prüfung der Secrets und API‑Schlüssel (LLM‑Provider, Vector Stores)
- Prüfung modellbezogener CI/CD-Pipelines
Cloud-Umgebungen und Vektordatenbanken
- Prüfung der Cloud-Konfigurationen (LLM-Provider, Vector Store, Orchestrator)
- Analyse der Identitäts- und Zugriffsverwaltung (IAM) für KI-Services
- Prüfung der Security Groups und Netzwerkregeln rund um das Modell
- Isolierung der Umgebungen (Entwicklung, Staging, Produktion)
LLM-Pentest-Methoden
Ein LLM-Pentest lässt sich mit unterschiedlichem Vorwissen durchführen. Jede Variante deckt ein anderes Risikoniveau ab und liefert eine eigene Perspektive auf die Sicherheit Ihres KI-Systems.
Black-Box-Pentest
Beim Black-Box-Pentest starten unsere Security-Experten ohne jede Vorabinformation zu Anwendung, Modell oder exponierten Tools und agieren damit wie ein echter externer Angreifer, der sich Angriffsvektoren gegen das KI-System erst selbst erschließen muss.
Grey-Box-Pentest
Beim Grey-Box-Pentest kombinieren unsere Security-Experten die externe Perspektive mit einem begrenzten Informationsstand: Sie erhalten ausgewählte Daten, etwa Benutzerkonten, funktionale Dokumentation, eine Beschreibung der Modellfähigkeiten oder das Inventar der MCP-Tools.
White-Box-Pentest
Beim White-Box-Pentest arbeiten unsere Security-Experten mit vollständigem Zugriff: Systemprompts, Quellcode, Modellkonfiguration, exponierte Tools und RAG-Datensätze.
Ablauf eines LLM-Pentests
Informationsbeschaffung und Mapping der KI-Angriffsfläche
Unsere Pentester kartieren Ihre KI-Angriffsfläche: eingesetzte Modelle, exponierte Tools und Funktionen, Agenten, RAG-Quellen und MCP‑Server. Zusätzlich suchen sie gezielt nach Informationslecks wie offengelegten Systemprompts, exponierten API-Schlüsseln oder zugänglichen Trainingsdaten.
Modellierung KI-spezifischer Bedrohungen
Die Analyse stützt sich auf anerkannte Referenzrahmen des Sektors: den OWASP LLM Top 10, den OWASP Top 10 for Agentic Applications, MITRE ATLAS, das NIST AI RMF und PortSwigger Web LLM Attacks. So identifizieren wir die für Ihren Anwendungsfall relevanten Angriffsszenarien.
Identifikation und Analyse der Schwachstellen
Unsere Security-Experten kombinieren tiefgehende manuelle Tests mit spezialisierten Tools, um Schwachstellen zu identifizieren, und validieren jeden Fund im Detail. Jede Schwachstelle bewerten sie nach Kritikalität und tatsächlicher Auswirkung auf Ihre Anwendung und Ihr Geschäft.
Exploitation und Bewertung der Auswirkungen
Wir nutzen identifizierte Schwachstellen kontrolliert aus, um ihre konkrete Auswirkung zu messen: Datenexfiltration, Sabotage des Modells, Missbrauch von Tools oder unkontrollierte Kosten. Dabei decken wir auch mögliche Angriffsketten auf, die mehrere Komponenten einbeziehen.
Prüfbericht und Abschlussgespräch
Ein detaillierter Bericht dokumentiert die identifizierten Schwachstellen, bewertet deren Kritikalität, liefert Nachweise zur Ausnutzbarkeit und enthält priorisierte Handlungsempfehlungen. Im Abschlussgespräch mit Ihren KI- und Entwicklungsteams erläutern wir die Ergebnisse ausführlich und begleiten Sie bei der Umsetzung der empfohlenen Maßnahmen. Ein abschließender Retest bestätigt die Wirksamkeit der vorgenommenen Korrekturen.
LLM-Pentest mit Vaadata: zertifizierter Partner für Offensive Security
Ein LLM-Pentest mit Vaadata bedeutet Zusammenarbeit mit einem nach anerkannten Branchenstandards zertifizierten Anbieter.
Dafür stehen unsere CREST-, PASSI*‑, ISO‑27001- und ISO‑27701-Zertifizierungen. Sie belegen die Qualität unserer Services und ihre Konformität mit den internationalen Standards für Cybersicherheit und den Datenschutz und schaffen bei unseren Kunden Vertrauen in unser methodisches und organisatorisches Vorgehen.
Unsere zertifizierten Security-Experten führen die LLM-Pentests mit fundiertem Know-how durch: Sie beherrschen sowohl klassische Angriffstechniken der Anwendungssicherheit als auch die speziellen Anforderungen von Sprachmodellen, Agenten und dem Model Context Protocol. So identifizieren, exploitieren und dokumentieren wir Schwachstellen präzise in jeder KI-Umgebung.
*Akkreditiert durch die ANSSI, die französische Cybersicherheitsbehörde, vergleichbar mit der BSI-Zertifizierung für Penetrationstests.

