Aggiornato a novembre 2026 · CODLAB Team
Risposta diretta: I sistemi LLM e RAG in produzione non cedono soltanto per arresti improvvisi del server, ma spesso degradano silenziosamente per attese sul KV-cache, indici documentali obsoleti e deriva dei temi richiesti. Un'osservabilità solida separa il tracing OpenTelemetry e i segnali statistici di deriva dai testi in chiaro, diagnosticando i guasti senza accumulare prompt riservati.
Perché uno stato HTTP 200 non basta a certificare la salute di un sistema RAG
Nei servizi web tradizionali un codice HTTP 200 restituito entro i tempi previsti indica di norma un funzionamento regolare. In una catena Retrieval-Augmented Generation (RAG) articolata su più stadi lo stesso codice di successo può invece mascherare un disservizio sostanziale: l'indice vettoriale restituisce frammenti marginali dopo un aggiornamento documentale, contesti troppo estesi saturano la fase di pre-elaborazione sulla GPU oppure il validatore di dominio scarta silenziosamente le risposte verso il percorso di ripiego. Nella ricerca applicata di CODLAB su IA sovrana e dati e nei servizi di esercizio, manutenzione ed evoluzione progettiamo l'osservabilità coniugando telemetria infrastrutturale e controllo statistico privo di contenuti sensibili.
Al tempo stesso, l'adozione non verificata di strumenti esterni di tracciamento cloud per LLM comporta un concreto rischio per la protezione dei dati: mentre OpenTelemetry GenAI tratta i contenuti dei messaggi come opt-in, alcuni wrapper di terze parti o opzioni di log integrale attivate con leggerezza registrano prompt di sistema, passaggi estratti e domande dell'utente in chiaro inviandoli a piattaforme esterne. Si crea così una copia ombra di informazioni aziendali riservate sottratta alle regole di segregazione applicativa (si veda confini multi-tenant in Django).
Questo articolo mostra come integrare tracing distribuito basato su standard aperti, scomposizione delle latenze di inferenza, test statistici di deriva e rispetto di GDPR ed EU AI Act in un'architettura di telemetria a due livelli — completando gli studi su percorso dei dati tra On-Premise e API europee e su output strutturati LLM e guardrail di dominio.
1. Tracing per singolo stadio: perché la latenza totale nasconde il collo di bottiglia tra Prefill e Decode
Ogni richiesta inviata a un assistente documentale attraversa filtri di ingresso, calcolo dell'embedding, ricerca ibrida in PostgreSQL, eventuale reranking, generazione del modello e verifica finale. Per attribuire con precisione i rallentamenti tra servizi propaghiamo le intestazioni standard di contesto (traceparent e tracestate) definite dal World Wide Web Consortium (W3C Recommendation, Trace Context, 23.11.2021) mappando gli span del modello sulle convenzioni semantiche OpenTelemetry mantenute nel repository dedicato GenAI (OpenTelemetry, GenAI Semantic Conventions — Spans).
Nello stadio di inferenza del modello linguistico un singolo cronometro end-to-end occulta due regimi fisici opposti. Come dimostrano Amey Agrawal et al. nello studio su Sarathi-Serve, ogni richiesta sull'acceleratore si divide in una fase di prefill limitata dalla capacità di calcolo, che elabora in parallelo l'intero prompt generando il primo token di risposta (determinando il Time-to-First-Token, TTFT), e in una fase di decode limitata dalla banda di memoria, che emette i token successivi uno alla volta (determinando il Time-Between-Tokens, TBT) (Agrawal et al., OSDI 2024, arXiv:2403.02310). Se contesti RAG molto lunghi entrano nei batch attivi senza segmentazione, le iterazioni di prefill bloccano la decodifica degli altri utenti causando interruzioni percepibili nello streaming.
Una telemetria operativa rigorosa rileva quindi almeno quattro famiglie distinte di indicatori per ogni traccia di richiesta:
- Durata di retrieval e reranking: misurazione separata della ricerca vettoriale
pgvector, dei filtri lessicali e del riordinamento cross-encoder insieme al numero di candidati estratti. - TTFT lato server vs. primo chunk dello stream (
gen_ai.response.time_to_first_chunk): mentre il TTFT del motore misura coda e prefill fino al primo token generato, l'attributo OpenTelemetry rileva i secondi dall'avvio dell'operazione logica d'inferenza fino alla ricezione lato client del primo evento dello stream con output non vuoto (gli eventi di soli metadati o keep-alive non contano come chunk, mentre autenticazione, retry e rete sono inclusi) — un segnale di preallarme verso possibili cause come prompt estesi, accodamento, cache prefissi fredda o latenza di trasporto. - Cadenza di decodifica e motivo di arresto: rapporto tra
gen_ai.usage.output_tokense durata pura di decodifica abbinato agen_ai.response.finish_reasonsper individuare subito risposte troncate. - Contatori di validazione e astensione: flag deterministico che registra se la risposta ha superato i controlli, ha attivato l'astensione per scarsa prossimità delle fonti o è passata a revisione.
2. Telemetria a due livelli senza testo in chiaro: realtà del codice vs. architettura aziendale
Il principio cardine dell'osservabilità IA orientata alla minimizzazione è netto: metriche strutturali attive per impostazione predefinita, contenuti in chiaro disattivati per impostazione predefinita. Nelle convenzioni semantiche GenAI di OpenTelemetry i metadati operativi come gen_ai.operation.name, gen_ai.request.model, gen_ai.usage.input_tokens e gen_ai.usage.output_tokens affiancano gli attributi contenutistici come gen_ai.input.messages, gen_ai.output.messages e gen_ai.retrieval.query.text: il registro degli attributi OpenTelemetry GenAI segnala questi ultimi come potenzialmente sensibili, mentre la sezione «Content capture configuration» delle convenzioni sugli span GenAI ne subordina la raccolta a un esplicito opt-in dell'utente.
Anche su questo punto dichiariamo con trasparenza la differenza tra la nostra architettura aziendale di destinazione per ambienti multi-tenant e il compatto assistente di riferimento (ragbot) presente nel codice di codlab.de (la cui demo pubblica di chat è spenta da ottobre 2026, mentre codice e dati restano conservati): in ragbot/models.py e ragbot/views.py la tabella ChatLog protegge l'indirizzo IP tramite hash SHA-256 con sale (ip_hash), totalizza total_input_tokens, total_output_tokens ed error_count e limita la sessione a MAX_STORED_TURNS = 60; tuttavia salva in chiaro domande, risposte e URL citati nel campo JSON messages oltre alla stringa user_agent troncata a 255 caratteri, senza span di latenza per fase, distribuzioni di distanza o scadenza automatica.
Nei sistemi aziendali riservati sostituiamo la registrazione continua dei dialoghi in chiaro con un modello a due livelli: il primo livello emette in esercizio continuo solo span privi di testo contenenti hash dei frammenti, distanze vettoriali e contatori di token; il secondo livello consente campionamenti diagnostici mascherati e a scadenza breve esclusivamente su autorizzazione esplicita per indagini circoscritte:
import hashlib
def build_redacted_rag_span(trace_id: str, model: str, distances: list[float],
chunk_ids: list[str], ttft_ms: float, tbt_ms: float,
tokens_in: int, tokens_out: int, abstained: bool) -> dict:
"""Emit operational GenAI telemetry without storing prompt or document cleartext."""
hashed_refs = [hashlib.sha256(cid.encode("utf-8")).hexdigest()[:16] for cid in chunk_ids]
return {
"trace_id": trace_id,
"gen_ai.request.model": model,
"gen_ai.usage.input_tokens": int(tokens_in),
"gen_ai.usage.output_tokens": int(tokens_out),
"rag.chunk_count": len(chunk_ids),
"rag.top_cosine_distance": round(min(distances), 4) if distances else None,
"rag.chunk_ref_hashes": hashed_refs,
"latency.ttft_ms": round(ttft_ms, 2),
"latency.tbt_ms": round(tbt_ms, 2),
"policy.abstained": bool(abstained),
}
3. Rilevare la deriva silenziosa prima che i reparti perdano fiducia nello strumento
Anche a parità di infrastruttura e tempi di risposta, il contesto informativo attorno a un assistente muta nel tempo: nuove linee di prodotto introducono sigle inedite, procedure aggiornate modificano la densità dei passaggi oppure un fornitore esterno aggiorna i pesi dietro un alias di modello. Come dimostrano Stephan Rabanser, Stephan Günnemann e Zachary C. Lipton nello studio Failing Loudly, i sistemi di apprendimento automatico esposti a traslazioni della distribuzione dei dati (Dataset Shift) tendono a degradare senza generare eccezioni di sistema, a meno di affiancare rilevatori statistici basati su riduzione dimensionale e test d'ipotesi a due campioni (Rabanser et al., NeurIPS 2019, arXiv:1810.11953).
Nei sistemi RAG, inoltre, la qualità non è riassumibile in un unico indice: come formalizzato da Shahul Es et al. con il framework RAGAs, pertinenza del contesto recuperato, fedeltà della risposta alle fonti estratte (Faithfulness) e pertinenza rispetto alla domanda possono deteriorarsi in modo indipendente (Es et al., 2023, arXiv:2309.15217). Poiché sul traffico reale non esistono risposte di riferimento annotate manualmente, sorvegliamo sugli span privi di testo del primo livello tre segnali statistici di preallarme:
- Traslazione delle distanze coseno: un aumento statisticamente significativo della distanza mediana del miglior frammento su finestra mobile può indicare nuovi temi assenti nell'indice attuale o variazioni terminologiche.
- Variazione del tasso di astensione o scarto: un picco di astensioni può indicare lacune nell'indice, mentre un calo associato a distanze peggiori funge da segnale di allerta per una minore disciplina di rifiuto dopo una modifica di prompt o modello.
- Concentrazione degli hash dei blocchi estratti: se pochi frammenti monopolizzano i recuperi o se le nuove revisioni non compaiono tra i primi candidati, ciò fornisce un indizio di possibili anomalie di normalizzazione o di embedding da verificare offline.
Quando uno di questi indicatori supera la soglia di guardia attiviamo la batteria offline di test di regressione (si veda valutazione RAG come test di regressione e lo studio sulla valutazione statistica su esecuzioni multiple), evitando l'ispezione indiscriminata delle conversazioni reali.
4. Quadro normativo (novembre 2026): minimizzazione GDPR contro obblighi di log nell'EU AI Act
Nel dibattito tecnico-normativo circola talvolta l'ipotesi che la regolamentazione europea sull'IA imponga a qualunque azienda di conservare integralmente in chiaro tutti i prompt e le risposte per anni. L'esame puntuale delle fonti normative mostra invece una distinzione rigorosa:
- GDPR — Minimizzazione, protezione fin dalla progettazione e sicurezza del trattamento: ogni volta che prompt o estratti toccano dati personali, gli articoli 5 (minimizzazione e limitazione della conservazione) e 25 del GDPR (protezione fin dalla progettazione e per impostazione predefinita) impongono di limitare il trattamento alle finalità, mentre l'articolo 32 del GDPR prescrive misure di sicurezza adeguate al rischio incluse pseudonimizzazione e cifratura (Regolamento (UE) 2016/679). L'archiviazione massiva in chiaro su piattaforme esterne contrasta con tali obblighi.
- EU AI Act (testo consolidato del 27.07.2026) — perimetro distinto per classe di rischio: i requisiti di registrazione automatica degli eventi dell'articolo 12 e gli obblighi di conservazione dei log dell'articolo 26 appartengono al Capo III, Sezioni 2 e 3 dedicati ai sistemi di IA ad alto rischio (Regolamento (UE) 2024/1689, versione consolidata del 27.07.2026 comprensiva del Regolamento di modifica (UE) 2026/1744 dell'08.07.2026). In base all'articolo 113 modificato, tali sezioni per l'alto rischio si applicano in modo scaglionato dal 02.12.2027 e dal 02.08.2028, mentre gli obblighi generali di alfabetizzazione in materia di IA (articolo 4, dal 02.02.2025) e trasparenza (articolo 50, dal 02.08.2026; per i sistemi immessi sul mercato prima del 02.08.2026 l'articolo 50, paragrafo 2, si applica dal 02.12.2026 ai sensi dell'articolo 111, paragrafo 4) sono operativi. Per gli ordinari assistenti documentali interni non ad alto rischio non sussiste quindi alcun obbligo legale di conservazione integrale delle conversazioni in chiaro; gli span strutturati su versione del modello, marche temporali, hash dell'indice ed esiti di verifica assicurano tracciabilità tecnica e minimizzazione. Per strutturare il confronto con i vostri consulenti legali è disponibile la nostra Guida EU AI Act (strumento di lavoro ingegneristico, non consulenza legale).
5. Protocollo operativo e Canary riproducibile per sistemi IA nelle PMI
Nota metodologica: lo scenario operativo seguente è interamente sintetico e illustra il nostro metodo di ricerca applicata; non descrive un incarico cliente né metriche rilevate presso clienti.
Supponiamo che un'impresa di servizi tecnici gestisca un assistente interno sulle procedure di qualità e manutenzione. Per intercettare sia rallentamenti di inferenza sia derive silenziose del recupero senza registrare domande riservate in chiaro, combiniamo tre cicli riproducibili di controllo:
- Confronto distributivo su finestra mobile (finestra di 7 giorni contro riferimento di 30 giorni): verifica giornaliera automatica delle distanze coseno dei migliori risultati, del tasso di astensione e dei percentili TTFT e TBT calcolati unicamente sugli span privi di contenuto del primo livello.
- Esecuzioni Canary sintetiche a ogni rilascio: prima e dopo ogni aggiornamento dell'indice o cambio di modello, un catalogo fisso di quesiti sintetici approvati attraversa la medesima pipeline per 5 esecuzioni ripetute, rendendo subito visibili regressioni di latenza o di recupero.
- Regole rigorose di accesso e scadenza sulle segnalazioni puntuali: quando un utente segnala esplicitamente una singola risposta anomala per verifica tecnica, l'analisi avviene nel perimetro isolato del tenant e con scadenza temporale ristretta, senza archivi permanenti in chiaro.
Ulteriori criteri tecnici di verifica e conduzione operativa sono raccolti nelle CODLAB Engineering Notes. Se intendete portare prototipi IA verso un esercizio continuativo stabile e rispettoso della riservatezza, potete contattarci tramite Contatto e richiesta progetto.
Approfondimenti nella serie di ricerca: per misurare in modo statisticamente rigoroso varianza delle risposte e precisione di astensione prima del rilascio rimandiamo allo studio sulla valutazione dei sistemi IA stocastici; per l'analisi completa delle sette stazioni del flusso dati tra GPU locali e API cloud europee si veda l'articolo su LLM On-Premise contro API europee.
Fonti primarie verificate
- World Wide Web Consortium / W3C (2021): Trace Context — W3C Recommendation (23.11.2021), a cura di Kanzhelev, S., McLean, M., Reitbauer, A., Drutu, B., Molnar, N. & Shkuro, Y.
- OpenTelemetry Project: Semantic Conventions for Generative Client AI Spans e Gen AI Attribute Registry (
open-telemetry/semantic-conventions-genai, Cloud Native Computing Foundation). - Agrawal, A., Kedia, N., Panwar, A., Mohan, J., Kwatra, N., Gulavani, B. S., Tumanov, A. & Ramjee, R. (2024): Taming Throughput-Latency Tradeoff in LLM Inference with Sarathi-Serve (OSDI 2024, arXiv:2403.02310).
- Rabanser, S., Günnemann, S. & Lipton, Z. C. (2019): Failing Loudly: An Empirical Study of Methods for Detecting Dataset Shift (NeurIPS 2019, arXiv:1810.11953).
- Es, S., James, J., Espinosa-Anke, L. & Schockaert, S. (2023): RAGAs: Automated Evaluation of Retrieval Augmented Generation (arXiv:2309.15217).
- Ufficio delle pubblicazioni dell'UE (Cellar): Regolamento (UE) 2016/679 (Regolamento generale sulla protezione dei dati / GDPR), in particolare articoli 5, 25 e 32.
- Ufficio delle pubblicazioni dell'UE (Cellar): Regolamento (UE) 2024/1689 (AI Act), versione consolidata del 27.07.2026 comprensiva del Regolamento di modifica (UE) 2026/1744 dell'08.07.2026, in particolare articoli 4, 12, 26, 50, 111 e 113.
Domande frequenti (FAQ)
No. Per diagnosticare colli di bottiglia di latenza, pianificare la capacità e intercettare derive bastano metriche strutturali prive di testo come durate per stadio, contatori di token, distanze coseno, hash dei frammenti estratti ed esiti dei guardrail.
Perché misurano due limiti fisici opposti: un TTFT elevato segnala prompt molto lunghi o code di attesa nella fase di prefill legata al calcolo, mentre un aumento del TBT indica saturazione della banda di memoria o interferenze di batching durante la decodifica sequenziale.
Monitorando variazioni statistiche sui segnali privi di contenuto: un aumento della distanza coseno mediana dei migliori risultati su finestra mobile o sbalzi nel tasso di astensione indicano nuovi argomenti o indici obsoleti e attivano una batteria curata di test offline.
No. Gli obblighi specifici di registrazione automatica degli eventi degli articoli 12 e 26 riguardano i sistemi di IA ad alto rischio con applicazione scaglionata secondo l’articolo 113. Per gli ordinari assistenti interni prevale la minimizzazione del GDPR, soddisfatta tramite metadati operativi strutturati.
Guida operativa correlata (in tedesco): KI im Unternehmen einführen: Vom Arbeitsauftrag zur überprüfbaren Freigabe.