CODLAB / Blog · IA e integrazione

Ingestione documentale per il RAG: analisi del layout PDF, classi di errore OCR e conservazione delle tabelle

14 nov 2026 CODLAB Team 13 min

Aggiornato a novembre 2026 · CODLAB Team

Risposta diretta: L'affidabilità di un sistema Retrieval-Augmented Generation (RAG) su archivi aziendali si decide prima del chunking, nella fase di ingestione documentale: solo ricostruendo l'ordine di lettura del layout PDF, attivando l'OCR selettivamente sulle scansioni, serializzando le tabelle con le intestazioni e versionando le pagine tramite SHA-256 il recupero ibrido riceve dati integri.

Perché la qualità di un sistema RAG si decide nel parser PDF prima del primo embedding

Nelle discussioni architetturali sugli assistenti documentali interni l'attenzione si concentra spesso su indici vettoriali, modelli di embedding e istruzioni di sistema. Tuttavia, non appena la pipeline deve indicizzare archivi aziendali reali — manuali di manutenzione, certificati di collaudo, schede di sicurezza, capitolati tecnici o scansioni storiche — una causa di errore spesso sottovalutata si colloca a monte del recupero stesso: nell'ingestione documentale. Nel lavoro di ricerca applicata e ingegneria di CODLAB su IA sovrana e gestione dei dati trattiamo perciò il parsing di formati eterogenei come uno stadio progettuale autonomo, sottoposto a metriche di accettazione verificabili.

Il motivo è intrinseco al formato dei file: mentre HTML o Markdown rappresentano titoli, paragrafi e celle di tabella in modo esplicito nel codice sorgente, il Portable Document Format (PDF) nasce per garantire la fedeltà tipografica di stampa. Come osservano Lukas Blecher et al. nello studio sulla comprensione ottica dei documenti accademici, il formato PDF comporta la perdita di struttura semantica, in particolare per le espressioni matematiche (Blecher et al., 2023, Nougat, arXiv:2308.13418). Estrarre il flusso grezzo dei caratteri riga per riga e inviarlo direttamente a un modello vettoriale significa indicizzare colonne mescolate, note a piè di pagina scollegate e righe numeriche prive di intestazione: un danno informativo che nessun reranker successivo può correggere.

Questo articolo completa la nostra analisi su chunking strutturale, retrieval ibrido e reranking cross-encoder esaminando la catena di ingresso a monte dell'indice: come progettare e collaudare analisi del layout, riconoscimento ottico dei caratteri (OCR), ricostruzione delle tabelle e presidi di sicurezza sui PDF prima dell'indicizzazione.

1. Coordinate grafiche invece di flusso logico: segmentazione del layout su pagine eterogenee

I PDF generati da software tecnici o gestionali raramente memorizzano paragrafi logici; posizionano invece sequenze di glifi e tracciati vettoriali tramite coordinate bidimensionali sulla pagina. Un estrattore lineare legge questi caratteri nell'ordine interno in cui sono stati scritti nel file, generando tre tipiche distorsioni strutturali:

  • Intreccio tra colonne: nelle schede tecniche o nelle norme impaginate su due colonne, le righe poste alla stessa quota verticale nella colonna sinistra e destra vengono fuse in un unico periodo privo di senso.
  • Contaminazione da testatine e piè di pagina: codici documento ripetuti, diciture di approvazione e numeri di pagina finiscono nel mezzo delle frasi che proseguono tra una pagina e la successiva.
  • Separazione di note e avvertenze: riquadri laterali di sicurezza o note esplicative poste sotto le tabelle di tolleranza perdono il legame logico con la clausola a cui si riferiscono.

Le pipeline documentali moderne antepongono quindi all'estrazione del testo una segmentazione visivo-geometrica del layout. Come dimostrato da Birgit Pfitzmann et al. con il dataset DocLayNet su 80863 pagine annotate manualmente in 11 classi strutturali, i modelli addestrati unicamente su articoli accademici uniformi subiscono un forte calo di precisione quando vengono applicati a bilanci finanziari, manuali, brevetti, testi normativi o bandi di gara (Pfitzmann et al., KDD 2022, arXiv:2206.01062). Architetture multimodali come LayoutLMv3 affrontano questa variabilità combinando nel pre-addestramento token testuali, coordinate dei riquadri e porzioni d'immagine tramite obiettivi unificati di mascheramento e allineamento parola-immagine (Huang et al., ACM Multimedia 2022, arXiv:2204.08387).

In termini ingegneristici, prima di qualsiasi taglio in chunk la pipeline classifica ogni regione della pagina (titolo, corpo del testo, tabella, didascalia, testatina/piè di pagina, nota), scarta il rumore tipografico ripetitivo e ricostruisce un ordine di lettura deterministico tra colonne e cambi pagina.

2. Archivi scansionati e propagazione asimmetrica degli errori OCR nel retrieval ibrido

Negli archivi stratificati coesistono PDF nativi, scansioni raster — verbali firmati, certificati timbrati, allegati storici — e file con livelli OCR difettosi da vecchi scanner. La pipeline non deve né fidarsi ciecamente del testo incorporato né applicare l'OCR a ogni pagina nativa.

Nella nostra architettura di destinazione la pipeline valuta invece ogni pagina in due stadi: se espone un flusso nativo con densità plausibile e font validi, il testo viene estratto direttamente; se manca il flusso o compaiono glifi non mappati, solo quella pagina passa all'OCR. Gli errori residui — misurati tramite Character Error Rate (CER) e Word Error Rate (WER) — colpiscono in modo asimmetrico i due canali del retrieval ibrido:

  1. Fragilità del canale lessicale esatto: nella ricerca full-text di PostgreSQL basata su tsvector e indici GIN (PostgreSQL Documentation, Chapter 12: Full Text Search), una singola sostituzione ottica in un codice componente — come confondere 0 con O oppure 1 con I — azzera la corrispondenza esatta se non intervengono indici a trigrammi o regole di normalizzazione.
  2. Deriva silenziosa dei vettori tecnici: i modelli bi-encoder densi (Karpukhin et al., 2020, arXiv:2004.04906) proiettano query e passaggi in uno spazio vettoriale continuo; già i refusi nelle query possono ridurre sensibilmente l'efficacia di recupero e ranking in assenza di addestramento dedicato (Zhuang & Zuccon, EMNLP 2021, arXiv:2108.12139). Quanto le sillabazioni a fine riga o le unità tecniche alterate dall'OCR incidano sul recall di uno specifico archivio è un'ipotesi empirica che il protocollo della sezione 5 misura.

Nella nostra architettura di destinazione registriamo quindi il metodo di estrazione di ogni pagina (flusso nativo PDF contro OCR) insieme a una normalizzazione deterministica delle sillabazioni a fine riga e delle unità Unicode. L'integrazione tra metadati relazionali e ricerca vettoriale è approfondita nella nota pgvector con Django: verificare filtri e recall.

3. Preservare la topologia delle tabelle: legare intestazioni di riga e colonna a ogni cella

Nelle schede tecniche, nei piani di manutenzione o nei listini i dati decisivi risiedono in tabelle bidimensionali anziché nei paragrafi narrativi. Appiattire una tabella in parole separate da spazi lascia i numeri nel frammento ma recide il legame con intestazione, unità e condizione di riga: davanti a una domanda sulla pressione ammessa per un diametro, il modello riceve cifre prive di etichette e rischia di leggere la colonna adiacente.

La ricerca nel Document AI separa perciò l'estrazione testuale dal riconoscimento della struttura tabellare (Table Structure Recognition). Brandon Smock et al. hanno introdotto PubTables-1M con una procedura di canonizzazione per eliminare la sovra-segmentazione nelle annotazioni ground-truth dei dataset precedenti, incluse le intestazioni multilinea e unite (Smock et al., CVPR 2022, arXiv:2110.00061). TableFormer di Ahmed Nassar et al. abbina un decoder transformer per la griglia a un rilevatore di celle che nei PDF programmatici preleva il testo direttamente dal flusso PDF evitando errori OCR (Nassar et al., CVPR 2022, arXiv:2203.01017). Docling integra analisi DocLayNet e TableFormer su hardware standard (Auer et al., 2024, arXiv:2408.09869).

Anche qui distinguiamo tra la nostra architettura aziendale di destinazione e il compatto assistente di riferimento (ragbot) nel codice di codlab.de (la cui demo pubblica è spenta da ottobre 2026, con codice e dati conservati): rag_ingest indicizza solo pagine HTML del sito, rimuove la navigazione con BeautifulSoup, appiattisce il testo e taglia blocchi fino a 900 caratteri con 150 di sovrapposizione — senza parser PDF, OCR o tabelle, ma con controllo SHA-256 in content_hash.

Nell'architettura di destinazione estendiamo questo principio SHA-256 ai blocchi tabellari: ogni gruppo ripete identificativo documento, intestazioni e pagina, calcolando l'hash sulla struttura JSON canonica delle celle e mascherando pipe e ritorni a capo nel Markdown:

import hashlib, json

def _md_cell(val):
    txt = str(val).strip().replace("\\", "\\\\").replace("|", "\\|")
    return txt.replace("\r\n", "\\n").replace("\r", "\\n").replace("\n", "\\n")

def serialize_table_blocks(doc_id, rev, page_no, section_path, headers, rows, group_size=12):
    """Hash canonical cell structure and emit pipe-safe Markdown row groups."""
    hdrs = [str(h).strip() for h in headers]
    header_line = " | ".join(_md_cell(h) for h in hdrs)
    sep_line = " | ".join("---" for _ in hdrs)
    blocks = []
    for start in range(0, len(rows), group_size):
        batch = [[str(c).strip() for c in r] for r in rows[start:start + group_size]]
        if any(len(r) != len(hdrs) for r in batch):
            raise ValueError("Row width does not match table headers")
        canon = {"doc_id": doc_id, "rev": rev, "page": page_no,
                 "section": section_path, "headers": hdrs, "rows": batch}
        digest = hashlib.sha256(
            json.dumps(canon, ensure_ascii=False, sort_keys=True).encode("utf-8")
        ).hexdigest()
        body_lines = [" | ".join(_md_cell(c) for c in r) for r in batch]
        markdown_table = "\n".join([
            f"Fonte: {doc_id} (Rev. {rev}, p. {page_no}) — {section_path}",
            header_line, sep_line, *body_lines,
        ])
        blocks.append({"page": page_no, "content": markdown_table, "sha256": digest})
    return blocks

4. Confini di sicurezza e gestione delle revisioni sull'importazione di file non attendibili

L'ingestione documentale rappresenta contemporaneamente un filtro di qualità e una barriera di sicurezza. Ogni volta che un'impresa indicizza automaticamente certificati di fornitori esterni, bandi di gara, fascicoli ricevuti o allegati e-mail, dati di terze parti non attendibili entrano nel bacino di recupero del modello. L'Ufficio federale tedesco per la sicurezza informatica (BSI) classifica espressamente questa minaccia come Indirect Prompt Injection (rischio R28) veicolata da fonti informative esterne (BSI, Generative KI-Modelle, Versione 2.0, 17.01.2025).

La struttura interna dei file PDF offre superfici di occultamento invisibili a una semplice lettura a schermo: testo bianco su sfondo bianco, stringhe con corpo carattere pari a zero, livelli testuali coperti da elementi grafici oppure campi modulo e metadati nascosti. Un estrattore testuale ingenuo legge queste istruzioni occulte insieme al testo visibile e le consegna intatte al prompt del modello. Le difese a valle nel recupero e nella costruzione del prompt sono descritte nella nota RAG: le fonti come dati non attendibili e nell'articolo su Indirect Prompt Injection e confini tra le fonti.

Nella nostra architettura di destinazione lo stadio di ingestione prevede perciò tre controlli strutturali:

  • Scarto degli oggetti testuali invisibili: le sequenze di glifi collocate fuori dai margini visibili della pagina, con dimensione prossima allo zero o opacità nulla vengono scartate o segnalate durante il parsing anziché finire silenziosamente nell'indice.
  • Metadati relazionali obbligatori di revisione: ogni frammento registra in PostgreSQL identificativo del documento, codice di revisione, stato di approvazione e numero di pagina, così da archiviare in modo deterministico le versioni superate all'arrivo di un aggiornamento.
  • Quarantena sulle anomalie di parsing: contenitori cifrati, script incorporati o forti discrepanze tra resa visiva della pagina e flusso di caratteri bloccano l'importazione automatica spostando il file in una coda di verifica isolata.

5. Protocollo sperimentale di verifica pre-indicizzazione per decisori tecnici

Nota metodologica: lo scenario descritto di seguito è interamente sintetico e illustra il nostro metodo di ricerca applicata; non rappresenta un incarico cliente né metriche rilevate presso clienti.

Supponiamo che un costruttore di impianti industriali voglia verificare, prima di sviluppare un assistente RAG interno, se il proprio archivio PDF eterogeneo — direttive costruttive (tedesco), certificati di collaudo scansionati di fornitori (italiano) e datasheet elettronici (inglese) — possa essere acquisito senza perdita di integrità. Prima ancora di collegare un modello generativo eseguiamo un collaudo in quattro passaggi:

  1. Campione stratificato di pagine (da 30 a 50 pagine): selezione mirata di pagine critiche tratte da tutte le 3 classi documentali, includendo impaginazioni a due colonne, tabelle con intestazioni unite, note a piè di pagina e scansioni inclinate con timbri.
  2. Definizione della trascrizione di riferimento: redazione verificata dell'output atteso sul campione — testo lineare pulito privo di testatine e coppie chiave-valore esatte di riga e colonna per ciascuna tabella.
  3. Misurazione separata delle varianti di parsing: rilevazione del tasso di errore sui caratteri (CER) per le scansioni, della percentuale di testatine residue nel testo e della quota di celle tabellari che conservano intestazione di colonna e unità di misura.
  4. Verifica dell'impatto sul retrieval in PostgreSQL: esecuzione delle medesime domande tecniche su valori limite e codici articolo confrontando l'estrazione lineare ingenua con i blocchi strutturati, misurando direttamente lo scarto di Recall sulle fonti attese.

Le modalità operative con cui impostiamo queste verifiche preliminari e i successivi piloti sono illustrate nella pagina Assistenti documentali e nella raccolta CODLAB Engineering Notes. Per valutare quale architettura di ingestione e ricerca sia adatta al vostro patrimonio documentale potete scriverci tramite Contatto e richiesta progetto.

Approfondimenti nella serie di ricerca: per esaminare come ricerca ibrida in PostgreSQL, reranking cross-encoder e soglie di distanza operino sui blocchi documentali puliti rimandiamo allo studio su architettura RAG applicata; per i presidi contro istruzioni ostili annidate nei file estratti si veda l'analisi su sicurezza RAG e Indirect Prompt Injection.

Fonti primarie verificate

Domande frequenti (FAQ)

Perché la semplice estrazione di testo dai PDF non basta per un sistema RAG tecnico?

Perché i file PDF memorizzano la posizione grafica dei caratteri sulla pagina anziché paragrafi logici e tabelle relazionali. Senza analisi del layout e delle tabelle le colonne si mescolano, testatine e piè di pagina spezzano le frasi e i valori numerici perdono intestazioni e unità di misura.

Conviene applicare l’OCR indistintamente a tutte le pagine di tutti i PDF aziendali?

No. Quando una pagina possiede già un flusso di testo nativo integro, l’estrazione diretta è più rapida ed evita sostituzioni ottiche su codici ricambio e simboli tecnici. L’OCR va attivato selettivamente sulle pagine scansionate o con codifica font corrotta.

Come vanno suddivise le grandi tabelle tecniche per l’indicizzazione vettoriale?

Invece di convertire la tabella in testo piatto si ricostruisce la griglia di righe e colonne e la si divide in piccoli gruppi di righe. Ogni blocco ripete identificativo del documento, numero di pagina e tutte le intestazioni di colonna, mantenendo intatto il significato di ogni cella.

Quali rischi di sicurezza nascono già durante l’importazione di PDF esterni?

I PDF provenienti da terzi possono contenere livelli di testo invisibili — come testo bianco su sfondo bianco o caratteri a dimensione zero — che veicolano istruzioni ostili di Indirect Prompt Injection (BSI R28). La pipeline di ingestione deve filtrare gli oggetti invisibili prima dell’indicizzazione.

Guida operativa correlata (in tedesco): KI Dokumentenextraktion mit OCR: strukturierte Daten aus Rechnungen, Verträgen und Formularen — lokal statt Cloud.

Condividi questo articolo

Commenti

Nessun commento ancora. Sii il primo a commentare!

Lascia un commento

Non sarà pubblicata

Articoli Correlati

Hai un progetto in mente?

Sviluppiamo software personalizzato e soluzioni IA. Iniziamo insieme il tuo prossimo progetto.

Primo colloquio gratuito