Cisco veröffentlicht Open-Source-Tool zur Prüfung der KI-Modell-Herkunft

Cisco hat ein kostenloses Open-Source-Werkzeug veröffentlicht, das prüft, ob ein KI-Modell wirklich das ist, was es vorgibt zu sein. Das Model Provenance Kit erstellt technische Fingerabdrücke von KI-Modellen und deckt unerlaubte Modifikationen auf – ein konkreter Ansatz gegen Angriffe auf die KI-Lieferkette, die Unternehmen hierzulande zunehmend betreffen.

Das Problem

Auf Plattformen wie Hugging Face stehen über zwei Millionen Modelle zum Download bereit. Entwickler kopieren sie, trainieren sie weiter und stellen sie wieder online. In diesem Kreislauf lässt sich kaum nachvollziehen, wo ein Originalmodell endet und zweifelhafte Modifikationen beginnen. Angreifer können Modellgewichte so manipulieren, dass ein Modell unter bestimmten Bedingungen als Backdoor fungiert. Laut einer Studie von Anthropic reichen bereits 250 manipulierte Trainingsdokumente aus, um ein Sprachmodell zu kompromittieren – unabhängig von dessen Größe.

Das Werkzeug

Das Kit ist als Python-CLI implementiert und arbeitet in zwei Modi. Im compare-Modus vergleicht es zwei Modelle direkt miteinander und zeigt, ob eines vom anderen abstammt oder verändert wurde. Der scan-Modus durchsucht eine Fingerabdruck-Datenbank, die Cisco bereits mit rund 150 Basismodellen aus 45 Modellfamilien befüllt hat – von 135 Millionen bis 70 Milliarden Parametern.

Statt Dokumentation blind zu vertrauen, analysiert das System mehrere technische Merkmale gleichzeitig: Metadaten, Tokenizerstruktur, Embedding-Geometrie, Normalisierungsschichten und Energieprofile. Auf einem Testdatensatz mit 111 Modellpaaren – darunter destillierte, quantisierte und organisationsübergreifend feinabgestimmte Varianten – erreichte das Kit laut eSecurity Planet eine Genauigkeit von 96,4 Prozent bei einer Präzision von 98,1 Prozent. Der Code steht auf GitHub zur freien Verwendung bereit.

Relevanz für den deutschen Markt

Für Unternehmen in Deutschland ist die Herkunftsprüfung von KI-Modellen nicht nur eine Sicherheitsfrage. Der EU AI Act verpflichtet Betreiber von Hochrisiko-KI-Systemen ab August 2026 zur Transparenz über eingesetzte Modelle (Artikel 13). Ein nachvollziehbarer Herkunftsnachweis könnte die Beweislast bei Compliance-Prüfungen erheblich senken – sofern Behörden wie das Bundesamt für künstliche Intelligenz Open-Source-Werkzeuge als geeignete Nachweismittel anerkennen. Eine formale Anerkennung steht bislang aus.

Cisco hat parallel zum Toolkit eine Model Provenance Constitution veröffentlicht: ein Rahmenwerk, das definiert, wann ein Modell als Ableitung eines anderen gilt, und das auf Standards wie OWASP LLM Top 10 und MITRE ATLAS verweist. Das adressiert eine Lücke, die bislang die gesamte Branche hatte: eine einheitliche Definition von Modell-Herkunft fehlt bis heute.