KI-Funktionen können auf eine Weise driften, wie es klassische Software nicht tut — ein Anbieter erhöht still die Latenz, ein Modell regrediert bei einer bestimmten Frageklasse, Kosten schleichen sich bei einer metrierten API ein. Die KI-Überwachung ist die Oberfläche, in der die für die Einführung verantwortliche Person sieht, was die KI in der Organisation tatsächlich tut.
Jeder KI-Aufruf wird mit Prompt-Text, Antworttext, Funktionsname, Anbieter, Modell, Input/Output-Tokens, Dauer, Status, Fehlermeldung und Kosten in USD protokolliert. Das Protokoll lässt sich nach Benutzer, Instanz, Funktion, Status, Anbieter und Datumsbereich filtern — Untersuchungen werden schnell schmal, wenn etwas auffällig erscheint.
- Kostentransparenz. Kosten pro Aufruf, Summen pro Benutzer, pro Instanz, pro Funktion. Bring-your-own-key-Kunden sehen, was ihr Anbieter berechnet hätte; Kunden mit RaulWalter-gestelltem Key sehen exakt, was wir berechnet haben.
- Ludwig-Wirksamkeit. Die Wiederholungserkennung markiert Konversationen, in denen ein Benutzer dieselbe Frage innerhalb von fünf Minuten neu formuliert hat — eine hohe Wiederholungsrate bedeutet, dass Ludwig beim ersten Mal nicht befriedigt hat. Umgesetzt mit Jaccard-Ähnlichkeit über Inhalts-Tokens (mehrsprachige Stoppwörter entfernt), damit zwei wirklich unterschiedliche Fragen nicht als Wiederholungen gelten.
- Themen-Mix der Fragen. Jede Ludwig-Konversation wird nach den aufgerufenen Tools kategorisiert: Risiken, Controls, Richtlinien, Assets, Prozesse, Incidents, Aufgaben, Audit, Suche, Aktionen. Sie sehen, wofür Ihr Team die KI tatsächlich nutzt — nicht nur wie oft.
- Fehlersichtbarkeit. Fehlgeschlagene Aufrufe erscheinen mit ihrer Fehlermeldung, dem Anbieter und dem Modell — schnelles Feedback bei Provider-Ausfällen oder Kontingent-Grenzen.
Im Katalog gelistet, damit das Feature auffindbar bleibt, aber niemals separat berechnet — jede Cybsis-Installation enthält es. System-Admin-Scope: die Personen, die für die KI-Einführung verantwortlich sind, sehen die KI-Einführung.