Das Trainingssample, das nie auslieferte
Wie ein Modellanbieter eine unredigierte Nutzerkonversation aus einem öffentlichen Release heraushielt — und Trainingsdaten-Provenienz von einer Folie in ein Scan-Register verwandelte.
FREITAG, 18:30 — MODEL DROP
Das Fine-Tuning ist fertig. Für die Reproduzierbarkeit committet jemand das Eval-Set neben die Gewichte. Zeile 1.204 ist eine unredigierte Konversation mit einem echten Nutzer. Es ist Freitagabend; der Release-Tag ist 10 Minuten entfernt.
FREITAG, 18:30:09 — CI
Der Merge wird blockiert: unredigierte Nutzerinhalte in einem Trainingsartefakt, Provenienz-Regel benannt, nur maskierte Evidenz. Das Release shippt am Montag — mit bereinigtem Eval-Set und einem Register, das exakt zeigt, wann es gefangen wurde.
Das Modell shippte trotzdem. Zeile 1.204 nicht.
Vor dem Gate gab es die Provenienz-Frage
Wer Modelle trainiert und ausliefert, kennt diese Frage:
- „Was ist in Ihren Trainingsdaten?" hatte eine Folien-Antwort, keine Register-Antwort.
- Eval-Sets, Fixtures und Debug-Dumps reisten neben den Gewichten — committet von wem auch immer der Freitags-Deadline am nächsten war.
- Die GPAI-Pflichten machten aus Dokumentation eine Pflicht: Transparenz über Trainingsdaten — und Evidenz, dass Sie Ihre eigene Policy durchsetzen.
- Das Review fing, was Reviewer zufällig öffneten. Niemand öffnet Zeile 1.204 eines Eval-Sets am Freitag um 18:30.
Also hörte Provenienz auf, eine Folie zu sein — und wurde ein Merge-Check.
Die Tour — vom Commit zur Evidenz
Eine Regel, die Ihr Policy-Team lesen kann
Compliance-Regeln sind einfache Deklarationen — was erkannt wird, wo gesucht wird, was bei einem Treffer passiert. Ergänzen Sie eigene Signaturen für Nutzerinhalt-Marker und interne Dataset-Tags, ohne uns zu fragen.
Der Merge, der höflich scheitert
Ein Treffer lässt den Check scheitern — mit Datei, Zeile und Regel, und nur maskierter Evidenz. Der Reviewer sieht genug, um zu bereinigen; der Inhalt selbst verlässt Ihren CI-Runner nie.
Drift, bewertet zwischen den Releases
Stündliche Prozessregeln bewerten Dataset-Dokumentationsabdeckung und Review-Gewohnheiten gegen Ihre Jira- und GitHub-Aktivität — die Lücke zwischen Policy und Praxis zeigt sich als Trend, nicht erst beim nächsten Release.
Freigabe, die gesperrt bleibt
Was menschliches Urteil braucht — das Model-Card-Review, die Release-Risiko-Checkliste — bekommt einen benannten Reviewer und ein gesperrtes Gate. Das Ergebnis exportiert signiert und mit Zeitstempel: Evidenz statt Screenshots.
Dasselbe Release, einen Zyklus später
Vorher
- —„Was ist in Ihren Trainingsdaten?" — eine Folien-Antwort
- —Eval-Sets reisten ungescannt neben den Gewichten
- —Provenienz-Policy war ein Dokument, das niemand durchsetzte
- —Freitags-Releases waren ein Rennen gegen den letzten Commit
Nachher
- ✓Ein Scan-Register: jeder Artefakt-Merge seit v2.9, mit Regel-Treffern und Ausgang
- ✓Trainingsartefakte passieren dasselbe Gate wie Quellcode
- ✓Es ist ein blockierender Check mit benannter Regel
- ✓Der Tag wartet auf das Gate — Montag schlägt einen Takedown
Ein ehrlicher Fit-Check
Das passt, wenn
- ✓Sie fine-tunen oder trainieren Modelle und liefern sie aus (Gewichte, APIs oder beides)
- ✓Datasets, Eval-Sets und Fixtures laufen durch dieselben Repos wie Ihr Code
- ✓GPAI-Transparenzpflichten gelten für Sie — und „vertrauen Sie uns" ist keine Dokumentation
- ✓Sie blockieren lieber einen Merge, als ein veröffentlichtes Artefakt zu bereinigen
Und ehrlich gesagt, wenn
- ·Sie brauchen semantisches Urteil — „ist dieses Dataset ethisch beschafft?" ist eine menschliche Entscheidung. PulseCheck leitet sie an eine gesperrte, rollenbeschränkte Attestierung weiter, statt Erkennung vorzutäuschen.
- ·Ihre Trainingsdaten berühren nie ein Git-Repo oder CI — das Gate hat keinen Ansatzpunkt.
- ·Sie wollen Scorecards auf Entwickler-Ebene — bewusst nicht gebaut, und das bleibt so.
Beurteilungsfragen unabhängig anwaltlich prüfen lassen
Manche Fragen bleiben eine menschliche Entscheidung. Mit Expert Review können Sie sie zusätzlich einer unabhängigen, zugelassenen Anwältin oder einem zugelassenen Anwalt vorlegen, und die Einschätzung erscheint neben jeder Regel.
So funktioniert Expert Review →FAQ zur GPAI-Anbieter-Compliance
Kann PulseCheck einen Pull Request blockieren?
Ja. Die CI-Action prüft jeden Diff gegen das Regelwerk Ihrer Organisation und lässt die Prüfung fehlschlagen, wenn eine definierte Signatur (eine ungeschwärzte Trainingsdaten-Stichprobe, fest codierte Zugangsdaten) vorhanden ist — als erforderliche Statusprüfung konfiguriert, kann der PR dann nicht gemergt werden.
Liest PulseCheck unseren Quellcode?
Der Scan läuft innerhalb Ihres eigenen CI-Runners. Funde werden maskiert, bevor sie ihn verlassen — PulseChecks Server sehen ein Treffer/Kein-Treffer-Ergebnis und einen maskierten Ausschnitt, niemals Ihren Rohquellcode oder Trainingsdaten.
Erkennt es die Systemrisiko-Einstufung oder Modellsicherheitsprobleme?
Nein — ehrlich gesagt. Das ist eine Beurteilungsfrage, kein Musterabgleich. PulseCheck leitet sie an eine gesperrte Freigabeaufgabe weiter, die eine benannte Prüfperson ausdrücklich bestätigen muss, mit der Bestätigung in einem audit-fähigen Export festgehalten. Mit Expert Review können Sie diese Frage zusätzlich einer unabhängigen, zugelassenen Anwältin oder einem zugelassenen Anwalt vorlegen.
Wie hilft PulseCheck bei den GPAI-Pflichten der EU-KI-Verordnung?
PulseCheck liefert ein EU-KI-Verordnung-Regelpaket, das Modelldokumentations- und Transparenzpflichten abdeckt, stündlich gegen Ihre Jira-/GitHub-Aktivität ausgewertet, plus ein Compliance-Gate mit gesperrter Freigabeaufgabe und einem signierten, zeitgestempelten Export für Ihre Audit-Spur.
Welche Compliance-Frameworks gibt es als Vorlagen?
DSGVO, EU-KI-Verordnung, DORA und ein allgemeines QA-/Incident-Management-Paket sind als installationsfertige Regel-Vorlagen verfügbar — installieren Sie eine, und PulseCheck bewertet Ihre bestehenden Daten sofort dagegen.