Engineering Notes

Nota 01 / RAG · Valutazione

Valutare RAG: retrieval e risposte separati

Recall, hit rate e correttezza della risposta misurano cose diverse. Un esempio minimo e un piano di verifica riproducibile.

Una risposta plausibile non è una prova

Quando un sistema RAG risponde male, l’errore può nascere in due stadi: il retriever non trova il testo rilevante oppure il generatore usa male il testo trovato. Un solo punteggio nasconde la differenza. Verifica prima le fonti recuperate e poi la risposta.

Un caso di valutazione contiene una domanda, gli ID dei documenti o passaggi rilevanti e i criteri della risposta accettabile. Granularità e versione degli ID devono restare stabili. Se cambi il chunking, potresti vedere una regressione che deriva soltanto dal riferimento di valutazione.

Non confondere recall e hit rate

Recall@k è la quota di elementi rilevanti presenti fra i primi k risultati univoci. Hit rate@k indica solo se c’è almeno un elemento rilevante. Reciprocal rank considera la posizione del primo risultato rilevante. Con più documenti pertinenti puoi avere un buon hit rate e un recall basso.

Python · metriche su ID sintetici
def retrieval_metrics(expected, ranked, k):
    if not expected or k < 1:
        raise ValueError("non-empty expected set and positive k required")
    # Elimina gli ID duplicati prima di calcolare le metriche.
    top = list(dict.fromkeys(ranked))[:k]
    hits = len(set(top) & expected)
    first = next((rank for rank, doc in enumerate(top, 1)
                  if doc in expected), None)
    return {
        "recall": hits / len(expected),
        "hit_rate": float(hits > 0),
        "reciprocal_rank": 1 / first if first else 0.0,
    }

# Test funzionale sintetico, non un benchmark di produzione.
expected = {"doc-a", "doc-b"}
ranked = ["doc-x", "doc-a", "doc-a", "doc-b"]
result = retrieval_metrics(expected, ranked, k=2)
assert result == {"recall": 0.5, "hit_rate": 1.0,
                  "reciprocal_rank": 0.5}

I numeri nell’assert sono risultati attesi di una fixture sintetica. Non descrivono la qualità di un sistema RAG servito. Su un dataset calcoli le metriche per ogni domanda rispondibile e poi le medie, fra cui recall medio e Mean Reciprocal Rank.

Verifica delle risposte e regressione

Le domande prive di una risposta supportata appartengono a un set separato. Un insieme vuoto di fonti rilevanti non equivale a recall zero: è un altro caso, in cui verifichi se il sistema riconosce l’assenza di una base. Per le domande rispondibili controlla anche che le citazioni sostengano le affermazioni e che la risposta affronti la domanda.

Versiona domande, corpus, modello di embedding, chunking e configurazione del generatore insieme ai risultati. Definisci i criteri di approvazione prima del confronto. Il test Python locale verifica risultati duplicati, assenza di risultati rilevanti e input invalidi; non avvia un LLM e non è un benchmark di produzione.

Limiti del set di test

Un set piccolo non copre in modo affidabile gli errori rari. Aggiungi i casi falliti, conserva un set di controllo separato e rileggi a campione anche risposte invariate. Un LLM usato come valutatore richiede calibrazione e confronto umano. Per le latenze documenta hardware, carico, lunghezza degli input, confini della misura e ripetizioni; questa nota non pubblica tali misure.