Stand November 2026 · CODLAB Team
Kurzantwort: Produktive Sprachmodell- und RAG-Systeme versagen nicht nur über laute Serverabstürze, sondern oft schleichend über wachsende KV-Cache-Wartezeiten, veraltete Dokumentindizes und stille Themenverschiebungen. Belastbare KI-Observabilität trennt deshalb phasenbezogenes OpenTelemetry-Tracing und statistische Drift-Signale strikt von Klartext-Inhalten, sodass Betriebsteams Fehlerursachen präzise eingrenzen, ohne vertrauliche Eingaben datenschutzwidrig zu protokollieren.
Warum ein grüner HTTP-200-Status bei Sprachmodellen in die Irre führt
In klassischen Webanwendungen signalisiert ein Antwortcode HTTP 200 innerhalb akzeptabler Antwortzeit meist einen gesunden Dienst. Bei einer mehrstufigen Retrieval-Augmented-Generation-Pipeline (RAG) kann exakt derselbe Statuscode eine fachlich unbrauchbare Auslieferung verdecken: Der Vektorindex liefert nach einem Dokument-Update nur noch veraltete Randtreffer, ein langer Systemkontext blockiert die Grafikkarte während der Vorverarbeitung oder ein nachgelagerter Schema-Validator leitet Modellantworten im Stillen in die Ausweichroute um. In unserer Arbeit bei CODLAB für Souveräne KI & Daten sowie im laufenden Betrieb, Wartung & Weiterentwicklung entwerfen wir Observabilität daher als zweigeteilte Disziplin aus Systemtelemetrie und datensparsamer Qualitätsüberwachung.
Gleichzeitig birgt eine ungeprüfte Übernahme externer Cloud-Tracing-Dienste ein erhebliches Datenschutzrisiko: Während die OpenTelemetry-GenAI-Spezifikation Nachrichteninhalte bewusst als Opt-in behandelt, erfassen manche Drittanbieter-Wrapper oder unvorsichtig aktivierte Volltext-Optionen den System-Prompt, abgerufene Dokumentpassagen und Nutzereingaben im Klartext und leiten sie an externe Plattformen weiter. Auf diese Weise entsteht außerhalb der eigentlichen Mandanten- und Zugriffssteuerung (siehe Mandantentrennung in Django) eine ungeschützte Schattenkopie vertraulicher Unternehmensdaten.
Dieser Forschungsbeitrag zeigt, wie sich verteiltes Tracing nach offenen Standards, phasengetrennte Latenzmessung, statistische Drift-Erkennung und die Vorgaben aus DSGVO und EU AI Act in einer zweistufigen Telemetrie-Architektur vereinen lassen — anknüpfend an unsere Studien zu Datenpfaden zwischen On-Premise und EU-API sowie zu strukturierten LLM-Ausgaben und Domänen-Leitplanken.
1. Phasengetrenntes Tracing: Warum Gesamtlatenz Engpässe zwischen Prefill und Decode verdeckt
Eine einzelne Anfrage an einen Wissensassistenten durchläuft nacheinander Eingangsfilter, Embedding-Berechnung, hybride PostgreSQL-Suche, optionales Reranking, Sprachmodell-Inferenz und Ausgangsvalidierung. Um über Dienstgrenzen hinweg nachzuvollziehen, welche Teilstufe eine Verzögerung verursacht, propagieren wir durchgängig standardisierte Kontext-Header (traceparent und tracestate) gemäß der Empfehlung des World Wide Web Consortium (W3C Recommendation, Trace Context, 23.11.2021) und bilden Modellschnitte auf die im dedizierten GenAI-Repository gepflegten semantischen Konventionen von OpenTelemetry ab (OpenTelemetry, GenAI Semantic Conventions — Spans).
Für die LLM-Inferenz selbst reicht eine einfache Gesamtdauer pro Aufruf nicht aus. Wie Amey Agrawal et al. in ihrer Systemanalyse zu Sarathi-Serve darlegen, zerfällt jede Anfrage auf dem Beschleuniger in zwei physikalisch gegensätzliche Phasen: Die rechenintensive Prefill-Phase verarbeitet den gesamten Eingabe-Prompt parallel und bestimmt die Zeit bis zum ersten Token (Time-to-First-Token, TTFT), während die speicherbandbreitenbegrenzte Decode-Phase alle Folge-Token schrittweise erzeugt und den zeitlichen Abstand zwischen zwei Token (Time-Between-Tokens, TBT) bestimmt (Agrawal et al., OSDI 2024, arXiv:2403.02310). Werden große RAG-Kontexte ungesteuert in laufende Batches eingemischt, blockieren lange Prefill-Schübe die laufenden Decode-Iterationen anderer Nutzer und erzeugen spürbare Aussetzer im Antwortstrom.
Eine aussagekräftige Betriebstelemetrie erfasst deshalb mindestens vier getrennte Zeit- und Volumensignale pro Anfrage-Trace:
- Abruf- und Reranking-Dauer: Getrennte Messung von
pgvector-Distanzabfrage, Volltextfilter und Cross-Encoder-Laufzeit inklusive Anzahl gefundener Kandidaten. - Server-TTFT vs. Stream-Erstchunk (
gen_ai.response.time_to_first_chunk): Während die Engine-seitige TTFT Warteschlange und Prefill bis zum ersten erzeugten Token misst, erfasst das OpenTelemetry-Attribut die Sekunden vom Start der logischen Inferenzoperation bis zum ersten beim Client empfangenen Stream-Ereignis mit nicht-leerem Inhalt (reine Metadaten- oder Keep-alive-Ereignisse zählen nicht als Chunk; Authentifizierung, Wiederholungsversuche und Netzwerklaufzeit sind in der gemessenen Zeit enthalten) — ein Frühwarnsignal für mögliche Ursachen wie lange Prompts, Rückstau, kalten Prefix-Cache oder Transportverzögerungen. - Decode-Durchsatz und Abbruchgrund: Verhältnis aus
gen_ai.usage.output_tokenszur reinen Decode-Zeit sowie Auswertung vongen_ai.response.finish_reasons, um abgeschnittene Antworten nahe der Token-Grenze sofort zu erkennen. - Validierungs- und Enthaltungszähler: Deterministisches Flag, ob eine Antwort regulär ausgeliefert, wegen fehlender Quellnähe abgewiesen oder durch eine Nachprüfung eskaliert wurde.
2. Zweistufige Telemetrie ohne Klartext-Lecks: Code-Realität vs. Enterprise-Zielbild
Das zentrale Architekturprinzip datensparsamer KI-Observabilität lautet: Strukturmetriken sind standardmäßig aktiv, Klartext-Inhalte standardmäßig abgeschaltet. In den semantischen GenAI-Konventionen von OpenTelemetry stehen operative Metadaten wie gen_ai.operation.name, gen_ai.request.model, gen_ai.usage.input_tokens und gen_ai.usage.output_tokens neben inhaltsführenden Attributen wie gen_ai.input.messages, gen_ai.output.messages oder gen_ai.retrieval.query.text: Das OpenTelemetry-GenAI-Attributregister kennzeichnet Letztere als potenziell sensibel, und laut Abschnitt „Content capture configuration“ der GenAI-Span-Konventionen werden sie nur nach ausdrücklichem Opt-in erfasst.
Auch an dieser Stelle benennen wir transparent den Unterschied zwischen unserer Enterprise-Zielarchitektur für produktive Mandantensysteme und dem kompakten Referenz-Assistenten (ragbot) im Code von codlab.de (dessen öffentliche Chat-Demo seit Oktober 2026 abgeschaltet ist, während Code und Daten erhalten bleiben): In ragbot/models.py und ragbot/views.py speichert das Modell ChatLog die Client-IP zwar datensparsam ausschließlich als gesalzenen SHA-256-Hash (ip_hash), summiert total_input_tokens, total_output_tokens sowie error_count und begrenzt Sitzungen auf MAX_STORED_TURNS = 60; es persistiert jedoch zugleich den Verlauf der Fragen, Antworten und Quell-URLs im JSON-Feld messages sowie den auf 255 Zeichen gekürzten user_agent — ohne phasengetrennte Latenz-Spans, Kosinus-Distanzmetriken oder automatische Löschfrist.
Für vertrauliche Unternehmensprozesse ersetzen wir diese Klartext-Protokollierung in unserer Enterprise-Zielarchitektur durch ein zweistufiges Modell: Stufe eins schreibt im Regelbetrieb ausschließlich inhaltsfreie Spans mit gehashten Quellkennungen, Distanzwerten und Token-Zählern; Stufe zwei erlaubt zeitlich befristete, vorab maskierte Diagnosestichproben nur nach expliziter Freigabe für eng umgrenzte Fehlersuchen:
import hashlib
def build_redacted_rag_span(trace_id: str, model: str, distances: list[float],
chunk_ids: list[str], ttft_ms: float, tbt_ms: float,
tokens_in: int, tokens_out: int, abstained: bool) -> dict:
"""Emit operational GenAI telemetry without storing prompt or document cleartext."""
hashed_refs = [hashlib.sha256(cid.encode("utf-8")).hexdigest()[:16] for cid in chunk_ids]
return {
"trace_id": trace_id,
"gen_ai.request.model": model,
"gen_ai.usage.input_tokens": int(tokens_in),
"gen_ai.usage.output_tokens": int(tokens_out),
"rag.chunk_count": len(chunk_ids),
"rag.top_cosine_distance": round(min(distances), 4) if distances else None,
"rag.chunk_ref_hashes": hashed_refs,
"latency.ttft_ms": round(ttft_ms, 2),
"latency.tbt_ms": round(tbt_ms, 2),
"policy.abstained": bool(abstained),
}
3. Stille Drift erkennen, bevor Fachabteilungen das Vertrauen verlieren
Selbst wenn Infrastruktur und Antwortzeiten stabil bleiben, verändert sich die Eingangs- und Wissenswelt eines Assistenten kontinuierlich: Neue Produktlinien führen unbekannte Fachbegriffe ein, aktualisierte Richtlinien verschieben die Textverteilung im Index oder ein Anbieter aktualisiert stillschweigend Gewichte hinter einem API-Alias. Wie Stephan Rabanser, Stephan Günnemann und Zachary C. Lipton in ihrer Untersuchung Failing Loudly zeigen, versagen lernbasierte Systeme unter solchen Verteilungsänderungen (Dataset Shift) typischerweise lautlos, sofern keine explizite statistische Verschiebungserkennung über Dimensionsreduktion und Zweistichproben-Hypothesentests vorgeschaltet ist (Rabanser et al., NeurIPS 2019, arXiv:1810.11953).
Für RAG-Architekturen genügt zudem kein einzelner Qualitätswert: Wie Shahul Es et al. mit dem Evaluationsrahmen RAGAs herausarbeiten, müssen Abrufrelevanz des Kontexts, Quellentreue der generierten Aussage (Faithfulness) und Antwortrelevanz zur Frage getrennt betrachtet werden (Es et al., 2023, arXiv:2309.15217). Da im laufenden Betrieb keine manuellen Musterlösungen für Live-Anfragen vorliegen, überwachen wir auf unseren inhaltsfreien Stufe-eins-Metriken drei datenschutzfreundliche Frühindikatoren für Drift:
- Verschiebung der Kosinus-Distanzverteilung: Steigt der Median der besten Trefferdistanz über ein gleitendes Fenster signifikant gegenüber der Referenzperiode an, kann dies auf neue Fragethemen außerhalb des aktuellen Index oder veränderte Fachbegriffe hindeuten.
- Sprung der Enthaltungs- oder Schema-Ablehnungsrate: Ein plötzlicher Anstieg von Enthaltungen kann auf Indexlücken hindeuten, während ein Rückgang bei zugleich schlechteren Trefferdistanzen als Warnsignal für nachlassende Ablehnungsdisziplin nach einem Prompt- oder Modellwechsel dient.
- Konzentration abgerufener Quell-Hashes: Wenn wenige Dokumentblöcke unverhältnismäßig oft erscheinen oder neue Revisionen unter den Top-Treffern fehlen, liefert dies einen Hinweis auf mögliche Normalisierungs- oder Embedding-Abweichungen, die anschließend offline geprüft werden.
Schlägt einer dieser Indikatoren an, lösen wir gezielt unseren kuratierten Offline-Regressionstest aus (siehe RAG-Evaluation als Regressionstest sowie unsere Studie zur statistischen Bewertung über Mehrfachläufe), anstatt ungeprüft Live-Gespräche mitzulesen.
4. Rechtlicher Rahmen (Stand November 2026): DSGVO-Datenminimierung vs. Protokollpflichten im EU AI Act
In der technischen Diskussion steht mitunter die Annahme im Raum, europäische KI-Regulierung zwinge Unternehmen pauschal dazu, sämtliche Ein- und Ausgaben über Jahre im Klartext aufzubewahren. Ein Blick in die verbindlichen Gesetzestexte zeigt ein deutlich differenzierteres Bild:
- DSGVO — Datenminimierung, Technikgestaltung und Verarbeitungssicherheit: Sobald Prompts oder abgerufene Dokumente personenbezogene Angaben berühren, verlangen Artikel 5 (Datenminimierung und Speicherbegrenzung) und Artikel 25 DSGVO (Datenschutz durch Technikgestaltung und datenschutzfreundliche Voreinstellungen) die Beschränkung auf das für den Zweck erforderliche Maß, während Artikel 32 DSGVO risikoadäquate technische und organisatorische Sicherheitsmaßnahmen wie Pseudonymisierung und Verschlüsselung vorschreibt (Verordnung (EU) 2016/679). Ungefilterte Volltext-Logs in langlebigen Drittsystemen stehen diesen Vorgaben entgegen.
- EU AI Act (konsolidierte Fassung vom 27.07.2026) — präzise Trennung nach Risikoklasse: Die automatischen Ereignisprotokollierungspflichten nach Artikel 12 sowie die Aufbewahrungspflichten der Betreiber nach Artikel 26 gehören zu Kapitel III Abschnitt 2 und 3 für Hochrisiko-KI-Systeme (Verordnung (EU) 2024/1689, konsolidierter Stand 27.07.2026 einschließlich Änderungsverordnung (EU) 2026/1744 vom 08.07.2026). Nach dem geänderten Artikel 113 gelten diese Hochrisiko-Abschnitte erst gestaffelt ab 02.12.2027 beziehungsweise 02.08.2028, während allgemeine Pflichten wie KI-Kompetenz (Artikel 4, seit 02.02.2025) und Transparenzpflichten (Artikel 50, seit 02.08.2026; für vor dem 02.08.2026 in Verkehr gebrachte Systeme greift Artikel 50 Absatz 2 gemäß Artikel 111 Absatz 4 ab 02.12.2026) greifen. Für typische interne Wissensassistenten ohne Hochrisiko-Zweckbestimmung existiert daher keine gesetzliche Pflicht zur Volltext-Vorratsdatenspeicherung; strukturierte Ereignis-Spans zu Modellstand, Zeitstempel, Index-Hash und Prüfstatus dokumentieren den Systembetrieb nachvollziehbar und datensparsam zugleich. Eine strukturierte Arbeitshilfe für die Abstimmung mit Ihrer Rechts- und Datenschutzberatung bietet unser EU-AI-Act-Leitfaden (technische Orientierung, keine Rechtsberatung).
5. Reproduzierbares Betriebs- und Canary-Protokoll für mittelständische KI-Systeme
Methodischer Hinweis: Das folgende Betriebsszenario ist vollständig synthetisch und illustriert unser methodisches Überwachungsdesign in der angewandten Forschung; es beschreibt kein konkretes Kundenprojekt und keine gemessenen Kundenzahlen.
Angenommen, ein mittelständischer Technologiedienstleister betreibt einen internen Dokumentenassistenten für Service- und Qualitätsrichtlinien. Um sowohl schleichende Antwortzeitverluste als auch stille Retrieval-Drift ohne Klartext-Überwachung zu beherrschen, koppeln wir drei reproduzierbare Prüfmechanismen:
- Gleitender Verteilungsvergleich (7-Tage-Fenster gegen 30-Tage-Referenz): Täglicher automatischer Vergleich der Top-Trefferdistanzen, der Enthaltungsquote sowie der TTFT- und TBT-Perzentile allein auf Basis der inhaltsfreien Stufe-eins-Spans.
- Synthetische Canary-Läufe bei jeder Änderung: Vor und nach jedem Index-Import oder Modell-Update durchläuft ein fester Satz freigegebener synthetischer Prüffragen in 5 Wiederholungsläufen dieselbe Pipeline, um Latenz- und Trefferabweichungen unter kontrollierten Bedingungen sofort sichtbar zu machen.
- Strikte Lösch- und Zugriffsregeln für Diagnosefälle: Wird zur Aufklärung eines konkreten Fehlers ausnahmsweise ein einzelner Vorgang gemeldet, erfolgt die Analyse mandantengetrennt und zeitlich eng begrenzt statt über dauerhaft mitlaufende Klartext-Archive.
Weitere technische Einblicke in unsere Prüf- und Betriebsstandards finden Sie in den CODLAB Engineering Notes. Wenn Sie bestehende KI-Prototypen in einen stabilen, datenschutzkonformen Dauerbetrieb überführen möchten, erreichen Sie uns über Kontakt & Projektanfrage.
Weiterführend in dieser Forschungsreihe: Wie Sie Antwortvarianz und Enthaltungspräzision vor jedem Release über Wiederholungsläufe statistisch belastbar messen, zeigt unser Beitrag zur Bewertung stochastischer KI-Systeme; welche sieben Stationen des Datenpfads bei der Wahl zwischen eigenen GPUs und europäischen Cloud-Schnittstellen entscheidend sind, analysiert unsere Studie zu On-Premise-LLM vs. EU-API.
Verifizierte Primärquellen
- World Wide Web Consortium / W3C (2021): Trace Context — W3C Recommendation (23.11.2021), Hrsg. Kanzhelev, S., McLean, M., Reitbauer, A., Drutu, B., Molnar, N. & Shkuro, Y.
- OpenTelemetry Project: Semantic Conventions for Generative Client AI Spans sowie Gen AI Attribute Registry (
open-telemetry/semantic-conventions-genai, Cloud Native Computing Foundation). - Agrawal, A., Kedia, N., Panwar, A., Mohan, J., Kwatra, N., Gulavani, B. S., Tumanov, A. & Ramjee, R. (2024): Taming Throughput-Latency Tradeoff in LLM Inference with Sarathi-Serve (OSDI 2024, arXiv:2403.02310).
- Rabanser, S., Günnemann, S. & Lipton, Z. C. (2019): Failing Loudly: An Empirical Study of Methods for Detecting Dataset Shift (NeurIPS 2019, arXiv:1810.11953).
- Es, S., James, J., Espinosa-Anke, L. & Schockaert, S. (2023): RAGAs: Automated Evaluation of Retrieval Augmented Generation (arXiv:2309.15217).
- Amt für Veröffentlichungen der EU (Cellar): Verordnung (EU) 2016/679 (Datenschutz-Grundverordnung / DSGVO), insbesondere Artikel 5, 25 und 32.
- Amt für Veröffentlichungen der EU (Cellar): Verordnung (EU) 2024/1689 (KI-Verordnung), konsolidierte Fassung vom 27.07.2026 einschließlich Änderungsverordnung (EU) 2026/1744 vom 08.07.2026, insbesondere Artikel 4, 12, 26, 50, 111 und 113.
Häufig gestellte Fragen (FAQ)
Nein. Für Latenzanalyse, Kapazitätsplanung und Drift-Frühwarnung genügen inhaltsfreie Strukturmetriken wie Phasenlaufzeiten, Token-Zähler, Kosinus-Distanzen, gehashte Chunk-Referenzen und Validierungsflags. Das hält vertrauliche Inhalte aus zentralen Log-Systemen heraus.
Weil beide Kennzahlen völlig unterschiedliche Engpässe abbilden: Ein hoher TTFT-Wert weist auf lange Eingabekontexte oder Warteschlangen in der rechenintensiven Prefill-Phase hin, während steigende TBT-Werte auf Speicherbandbreiten-Grenzen oder Batch-Interferenzen während der Token-Ausgabe hindeuten.
Über statistische Verschiebungen auf inhaltsfreien Signalen: Steigt der Median der besten Kosinus-Distanzen über ein gleitendes Fenster an oder springt die Enthaltungsquote, deutet das auf neue Fragethemen oder veraltete Indizes hin und löst gezielt einen kuratierten Offline-Regressionstest aus.
Nein. Die spezifischen Ereignisprotokollierungspflichten aus Artikel 12 und 26 richten sich an Hochrisiko-KI-Systeme mit gestaffeltem Anwendungsbeginn nach Artikel 113. Für reguläre interne Wissensassistenten gibt die DSGVO-Datenminimierung den Ton an, ergänzt um strukturierte Betriebsmetadaten.
Ergänzender Praxisleitfaden im Blog: KI im Unternehmen einführen: Vom Arbeitsauftrag zur überprüfbaren Freigabe.