Nota 01 / RAG · Valutazione
Valutare RAG: retrieval e risposte separati
Recall, hit rate e correttezza della risposta misurano cose diverse. Un esempio minimo e un piano di verifica riproducibile.
Una risposta plausibile non è una prova
Quando un sistema RAG risponde male, l’errore può nascere in due stadi: il retriever non trova il testo rilevante oppure il generatore usa male il testo trovato. Un solo punteggio nasconde la differenza. Verifica prima le fonti recuperate e poi la risposta.
Un caso di valutazione contiene una domanda, gli ID dei documenti o passaggi rilevanti e i criteri della risposta accettabile. Granularità e versione degli ID devono restare stabili. Se cambi il chunking, potresti vedere una regressione che deriva soltanto dal riferimento di valutazione.
Non confondere recall e hit rate
Recall@k è la quota di elementi rilevanti presenti fra i primi k risultati univoci. Hit rate@k indica solo se c’è almeno un elemento rilevante. Reciprocal rank considera la posizione del primo risultato rilevante. Con più documenti pertinenti puoi avere un buon hit rate e un recall basso.
def retrieval_metrics(expected, ranked, k):
if not expected or k < 1:
raise ValueError("non-empty expected set and positive k required")
# Elimina gli ID duplicati prima di calcolare le metriche.
top = list(dict.fromkeys(ranked))[:k]
hits = len(set(top) & expected)
first = next((rank for rank, doc in enumerate(top, 1)
if doc in expected), None)
return {
"recall": hits / len(expected),
"hit_rate": float(hits > 0),
"reciprocal_rank": 1 / first if first else 0.0,
}
# Test funzionale sintetico, non un benchmark di produzione.
expected = {"doc-a", "doc-b"}
ranked = ["doc-x", "doc-a", "doc-a", "doc-b"]
result = retrieval_metrics(expected, ranked, k=2)
assert result == {"recall": 0.5, "hit_rate": 1.0,
"reciprocal_rank": 0.5}
I numeri nell’assert sono risultati attesi di una fixture sintetica. Non descrivono la qualità di un sistema RAG servito. Su un dataset calcoli le metriche per ogni domanda rispondibile e poi le medie, fra cui recall medio e Mean Reciprocal Rank.
Verifica delle risposte e regressione
Le domande prive di una risposta supportata appartengono a un set separato. Un insieme vuoto di fonti rilevanti non equivale a recall zero: è un altro caso, in cui verifichi se il sistema riconosce l’assenza di una base. Per le domande rispondibili controlla anche che le citazioni sostengano le affermazioni e che la risposta affronti la domanda.
Versiona domande, corpus, modello di embedding, chunking e configurazione del generatore insieme ai risultati. Definisci i criteri di approvazione prima del confronto. Il test Python locale verifica risultati duplicati, assenza di risultati rilevanti e input invalidi; non avvia un LLM e non è un benchmark di produzione.
Limiti del set di test
Un set piccolo non copre in modo affidabile gli errori rari. Aggiungi i casi falliti, conserva un set di controllo separato e rileggi a campione anche risposte invariate. Un LLM usato come valutatore richiede calibrazione e confronto umano. Per le latenze documenta hardware, carico, lunghezza degli input, confini della misura e ripetizioni; questa nota non pubblica tali misure.