KI sicher nutzen.

Das Wichtigste in Kürze

Das Wichtigste in Kürze

1. 01KI lässt sich mit Text steuern – auch von Fremden.

   Gefährlich wird es, wenn ein Agent zugleich private Daten sieht, fremde Inhalte liest und nach außen senden kann. Quelle ↗

2. 02Das Problem ist nicht gelöst.

   OpenAI schreibt selbst, dass Prompt-Injection eine offene Herausforderung für Jahre bleibt. Quelle ↗

3. 032026 ist das Jahr der vergifteten Skills.

   Skills sind Zusatz-Fähigkeiten, die Sie in einem KI-Assistenten installieren. Auf dem Skill-Marktplatz ClawHub wurden 341 bösartige gefunden – getarnt als „Voraussetzungen“. Quelle ↗

4. 04Der EU AI Act gilt seit 2. August 2026 weitgehend.

   Die Pflichten für Hochrisiko-KI wurden per EU-Änderungspaket („AI Omnibus“) auf Dezember 2027 bzw. August 2028 verschoben. Quelle ↗

Was wirklich passiert ist

Sechs Vorfälle, die man kennen sollte.

1. Juni 2025EchoLeak

   Eine präparierte E-Mail reichte, um ohne einen Klick Daten aus Microsoft 365 Copilot abzuziehen.

   Quelle ↗
2. Aug. 2025Perplexity Comet

   Versteckter Text auf einer Webseite ließ den KI-Browser Einmal-Codes auslesen und versenden.

   Quelle ↗
3. Sept. 2025postmark-mcp

   Ein MCP-Server verbindet eine KI mit anderen Programmen, etwa Ihrem Mail-Konto. Der erste bekannte bösartige schickte heimlich eine Kopie jeder E-Mail an den Angreifer.

   Quelle ↗

1. Versteckte Befehle (Prompt-Injection)LLM01

   Versteckte Anweisungen in Webseiten oder Dokumenten ändern, was die KI tut.

   Was tunLassen Sie die KI nichts Wichtiges ohne Ihre Freigabe ausführen.

2. Datenlecks (Preisgabe sensibler Daten)LLM02

   Antworten verraten persönliche Daten, Zugangsdaten oder Firmenwissen.

   Was tunGeben Sie der KI nur Daten, die auch in einer Antwort stehen dürften.

3. Unsichere Bausteine (Lieferkette)LLM03

   Fremde Modelle, Daten oder Bibliotheken sind manipuliert oder schlecht geprüft.

   Was tunNutzen Sie geprüfte Quellen und sehen Sie in den Prüfbericht.

4. Vergiftetes Wissen (Data Poisoning)LLM04

   Manipulierte Trainingsdaten bauen Hintertüren oder Verzerrungen ein.

   Was tunPrüfen Sie, woher Modell und Trainingsdaten stammen.

5. Ungeprüfte Antworten (Output Handling)LLM05

   KI-Text wird ungeprüft weitergereicht – etwa als Code ausgeführt.

   Was tunBehandeln Sie KI-Antworten wie Eingaben von Fremden.

6. Zu viel Handlungsmacht (Excessive Agency)LLM06

   Die KI hat mehr Rechte, Werkzeuge oder Freiheit als nötig.

   Was tunVergeben Sie nur die Rechte, die die Aufgabe braucht.

7. Durchsickernde Anweisungen (System-Prompt-Leck)LLM07

   Interne Anweisungen werden sichtbar – sie taugen nicht als Schloss.

   Was tunKeine Passwörter oder Geheimnisse in die Anweisungen schreiben.

8. Undichte Wissensspeicher (RAG)LLM08

   Wissensspeicher, aus denen die KI ihre Antworten holt (RAG), lecken Daten oder werden vergiftet.

   Was tunLegen Sie fest, wer welche Dokumente über die KI sehen darf.

9. Falsche Antworten (Fehlinformation)LLM09

   Überzeugend klingende, aber falsche Antworten.

   Was tunWichtige Fakten immer an der Quelle prüfen.

10. Kostenfalle (unbegrenzter Verbrauch)LLM10

    Kostenexplosion oder Ausfall durch massenhafte Abfragen.

    Was tunSetzen Sie ein Ausgabenlimit beim Anbieter.

Chatbot angreifen lassen – Finden Sie Lücken, bevor es andere tun.

‹›

ppromptfooSicher machen · Promptfoo (OpenAI)KI-Funktionen testen wie normalen CodeOpen SourceVertrauen hoch, 97Für EntwicklerggarakSicher machen · NVIDIADein Sprachmodell gezielt angreifen lassenOpen SourceVertrauen hoch, 100Für EntwicklerPPyRITSicher machen · Microsoft (AI Red Team)Red Teaming für generative KI automatisierenOpen SourceVertrauen hoch, 100Für EntwicklerGGiskardSicher machen · GiskardLLM-Apps auf Halluzinationen und Lecks scannenOpen SourceVertrauen hoch, 100Für EntwicklerMMindgardSicher machen · MindgardDeine KI laufend angreifen lassen statt einmal prüfenKostenpflichtigVertrauen hoch, 100Für BetriebeAAktoSicher machen · AktoMCP-Server und APIs in der Firma finden und testenOpen SourceVertrauen hoch, 97Für EntwicklerTTrojAISicher machen · TrojAI (A10 Networks)KI-Modelle testen und Agenten-Verkehr überwachenKostenpflichtigVertrauen hoch, 100Für Betriebe

Ein- und Ausgaben absichern – Filter zwischen Nutzer und Modell.

‹›

NNeMo GuardrailsSicher machen · NVIDIAFeste Leitplanken für deinen ChatbotOpen SourceVertrauen hoch, 100Für EntwicklerLLakera GuardSicher machen · Lakera (Check Point Software)Prompt-Angriffe abfangen, bevor deine KI reagiertGratis-VersionVertrauen hoch, 100Für BetriebeMMeta PurpleLlama (Llama Guard 4, Prompt Guard 2, LlamaFirewall)Sicher machen · MetaKostenlose Schutzmodelle für deine eigene KIOpen SourceVertrauen hoch, 100Läuft offlineGGuardrails AISicher machen · Guardrails AI (Harvey)KI-Antworten prüfen, bevor sie weitergehenOpen SourceVertrauen hoch, 100Für EntwicklerMMicrosoft Prompt Shields (Azure AI Content Safety)Sicher machen · MicrosoftVersteckte Prompt-Angriffe in Dokumenten erkennenKostenpflichtigVertrauen hoch, 100Für EntwicklerGGoogle Cloud Model ArmorSicher machen · Google CloudEin Filter für Prompts und Antworten, für jedes ModellGratis-VersionVertrauen hoch, 100Für EntwicklerCCloudflare AI Security for Apps (früher Firewall for AI)Sicher machen · CloudflareKI-Endpunkte direkt an der Web-Firewall schützenKostenpflichtigVertrauen hoch, 100Für BetriebeFF5 AI Guardrails & AI Red Team (früher CalypsoAI)Sicher machen · F5 (CalypsoAI)Laufzeitschutz und Angriffstests für Firmen-KIKostenpflichtigVertrauen hoch, 100Für Betriebe

Skills, MCP & Modelle prüfen – Bevor Sie etwas einbauen.

‹›

CCisco Skill ScannerSicher machen · Cisco AI DefenseAgent-Skills prüfen, bevor du sie installierstOpen SourceVertrauen hoch, 100Für EntwicklerSSnyk Agent Scan (früher Invariant MCP-Scan)Sicher machen · Snyk (ex-Invariant Labs team)Installierte MCP-Server und Skills auf Fallen scannenOpen SourceVertrauen hoch, 100Für EntwicklerCCisco MCP ScannerSicher machen · Cisco AI DefenseMCP-Server vor dem Einbinden durchleuchtenOpen SourceVertrauen hoch, 100Für EntwicklerDDocker MCP GatewaySicher machen · DockerMCP-Server abgeschottet in Containern betreibenOpen SourceVertrauen hoch, 100Für EntwicklerMModelScanSicher machen · Protect AI (Palo Alto Networks)Modelldateien prüfen, bevor du sie lädstOpen SourceVertrauen hoch, 100Läuft offlineSSocketSicher machen · SocketBösartige Pakete stoppen, bevor sie im Code landenGratis-VersionEingeschränkt prüfbar · 2 PrüfungenFür Entwickler

Fälschungen erkennen – Stimmen, Videos, Bilder.

‹›

RReality DefenderSicher machen · Reality Defender Inc.Deepfakes in Stimme, Bild und Video erkennenGratis-VersionVertrauen hoch, 100Für EinsteigerHHive AI-Generated Content DetectionSicher machen · HiveSchnell prüfen, ob ein Bild oder Song KI-gemacht istGratis-VersionVertrauen hoch, 100Für EinsteigerSSensitySicher machen · SensityVerdächtige Medien forensisch prüfen lassenKostenpflichtigVertrauen hoch, 100Für Betriebe

Privat bleiben – KI, die lokal läuft oder laut Hersteller keine Daten speichert.

‹›

LLumo by ProtonSicher machen · Proton AGEin KI-Assistent, der deine Chats privat hältGratis-VersionVertrauen hoch, 100Für EinsteigerOOllamaSelbst bauen · OllamaSprachmodelle lokal starten, mit einem BefehlOpen SourceVertrauen hoch, 97Läuft offlineLLM StudioSofort nutzen · Element LabsOffene KI-Modelle finden, laden und lokal nutzenKostenlosEingeschränkt prüfbar · 3 PrüfungenLäuft offlineJJanSofort nutzen · Menlo ResearchEin KI-Assistent, der auf deinem Rechner läuftOpen SourceVertrauen hoch, 100Läuft offlineAAnythingLLMSofort nutzen · Mintplex LabsFrag deine eigenen Dokumente, wie in einem ChatOpen SourceVertrauen hoch, 97Läuft offline

Für Unternehmen – Plattformen für Teams und Konzerne.

‹›

PPrisma AIRSSicher machen · Palo Alto NetworksKI-Modelle, Apps und Agenten aus einer Hand absichernKostenpflichtigVertrauen hoch, 92Für BetriebeCCisco AI DefenseSicher machen · CiscoKI-Nutzung in der Firma sehen und absichernKostenpflichtigVertrauen hoch, 100Für BetriebeHHiddenLayer AISec PlatformSicher machen · HiddenLayerEigene Modelle und Agenten im Betrieb schützenKostenpflichtigVertrauen hoch, 100Für BetriebeZZenitySicher machen · ZenityFestlegen, was eure KI-Agenten dürfenKostenpflichtigVertrauen hoch, 100Für BetriebeNNoma SecuritySicher machen · Noma SecurityÜberblick und Kontrolle über alle KI-AgentenKostenpflichtigVertrauen hoch, 92Für BetriebeLLasso SecuritySicher machen · Lasso SecurityEigene KI-Apps und Agenten im Blick behaltenKostenpflichtigVertrauen hoch, 92Für BetriebePPillar SecuritySicher machen · Pillar SecurityAlle KI-Bausteine finden, testen und schützenKostenpflichtigVertrauen hoch, 92Für BetriebePPrompt SecuritySicher machen · Prompt Security (SentinelOne)Sehen, welche KI dein Team nutzt, und Daten schützenKostenpflichtigVertrauen hoch, 100Für BetriebeHHarmonic SecuritySicher machen · Harmonic SecurityFirmendaten aus fremden KI-Tools heraushaltenKostenpflichtigVertrauen hoch, 100Für Betriebe

Angaben zur Schutzwirkung stammen vom Hersteller. Der Vertrauenswert prüft öffentliche Signale wie Herkunft, Pflege und Erreichbarkeit – nicht, wie gut eine Software schützt.