CODLAB / Blog · KI & Integration

Dokumenten-Ingestion für RAG: PDF-Layoutanalyse, OCR-Fehlerklassen und Tabellenerhaltung

14 Nov 2026 CODLAB Team 13 min

Stand November 2026 · CODLAB Team

Kurzantwort: Belastbare Retrieval-Augmented-Generation-Systeme (RAG) auf Unternehmensunterlagen entscheiden sich bereits vor dem Chunking in der Dokumenten-Ingestion: Nur wenn Layoutanalyse mehrspaltige Lesereihenfolgen rekonstruiert, OCR-Wege gezielt für Scans greifen, Tabellen samt Kopfzeilen strukturiert serialisiert werden und Seitenmetadaten deterministisch über SHA-256 versioniert bleiben, erhält die Suchstufe verlässliche Fakten statt Textfragmente.

Warum die RAG-Qualität vor dem ersten Embedding im PDF-Parser entschieden wird

In Architekturdebatten über interne Wissensassistenten stehen meist Vektorindizes, Embedding-Modelle und Prompt-Vorlagen im Mittelpunkt. Sobald ein System jedoch reale Unternehmensbestände erschließen soll — Wartungshandbücher, Prüfprotokolle, Sicherheitsdatenblätter, Leistungsverzeichnisse oder gescannte Altarchive — liegt eine häufig unterschätzte Fehlerquelle eine Stufe vor dem eigentlichen Retrieval: in der Dokumenten-Ingestion. In unserer angewandten Forschungs- und Entwicklungsarbeit bei CODLAB im Bereich Souveräne KI & Daten behandeln wir die Aufbereitung heterogener Quelldateien deshalb als eigenständige Ingenieurdisziplin mit messbaren Qualitätskriterien.

Der Grund ist struktureller Natur: Während Webseiten oder Markdown-Dokumente Überschriften, Absätze und Tabellen explizit im Quelltext auszeichnen, dient das Portable Document Format (PDF) primär der druckidentischen Seitendarstellung. Wie Lukas Blecher et al. in ihrer Untersuchung zur optischen Rekonstruktion wissenschaftlicher Dokumente festhalten, führt das PDF-Format zum Verlust semantischer Strukturinformationen, insbesondere bei mathematischen Ausdrücken (Blecher et al., 2023, Nougat, arXiv:2308.13418). Wer PDF-Dateien über naive Textextraktoren zeilenweise ausliest und direkt in ein Vektormodell speist, indiziert ineinander verschobene Spalten, abgetrennte Fußnoten und zahlenlose Tabellenköpfe — ein Defekt, den nachgelagertes Reranking nicht mehr heilen kann.

Dieser Beitrag ergänzt unsere Architekturstudie zu strukturellem Chunking, hybridem Retrieval und Reranking um die vorgelagerte Eingangsstrecke: Wie lassen sich Layoutstruktur, Texterkennung (OCR), komplexe Fachtabellen und Sicherheitsgrenzen beim Einlesen technischer PDF-Bestände systematisch auslegen und vor der Indexierung prüfen?

1. Koordinaten statt Lesefluss: Layout-Segmentierung auf heterogenen Unternehmensseiten

Programmatisch erzeugte PDFs speichern meist keine logischen Absätze, sondern positionieren einzelne Zeichenläufe (Glyph-Runs) und Linien über zweidimensionale Seitenkoordinaten. Ein einfacher Stream-Extraktor liest diese Zeichen in der Reihenfolge aus, in der das erzeugende Layoutprogramm sie in die Datei geschrieben hat. In technischen Dokumenten entstehen dadurch drei charakteristische Strukturbrüche:

  • Spaltenvermischung: Bei zweispaltigen Datenblättern oder Normtexten werden linke und rechte Spalte auf gleicher vertikaler Höhe zu einer einzigen, inhaltlich sinnlosen Textzeile verkettet.
  • Kontamination durch Kolumnentitel und Fußzeilen: Wiederkehrende Kopfzeilen, Dokumentnummern, Freigabevermerke und Seitenzahlen rutschen mitten in laufende Sätze, die über einen Seitenumbruch hinweggehen.
  • Entkoppelte Randnotizen und Warnhinweise: Sicherheitshinweise in Seitenkästen oder Fußnoten unter Grenzwerttabellen verlieren ihren räumlichen Bezug zur Hauptaussage.

Moderne Dokumenten-Pipelines schalten der Textextraktion daher eine explizite visuell-geometrische Layout-Segmentierung vor. Wie Birgit Pfitzmann et al. am Datensatz DocLayNet mit 80863 manuell annotierten Seiten über 11 Layoutklassen zeigen, bricht die Erkennungsgenauigkeit deutlich ein, wenn Layoutmodelle ausschließlich auf gleichförmigen wissenschaftlichen Artikeln trainiert wurden und anschließend auf Finanzberichte, Handbücher, Patente, Gesetzestexte oder Ausschreibungen treffen (Pfitzmann et al., KDD 2022, arXiv:2206.01062). Multimodale Architekturen wie LayoutLMv3 verknüpfen Text-Token, Positionsrahmen und Bildausschnitte bereits im Pre-Training über einheitliche Maskierungs- und Wort-Bild-Ausrichtungsziele (Huang et al., ACM Multimedia 2022, arXiv:2204.08387).

Für den praktischen Einsatz im Mittelstand bedeutet das: Bevor ein einziger Absatz geschnitten wird, klassifiziert die Eingangsstrecke jede Seitenregion (Überschrift, Fließtext, Tabelle, Abbildungstext, Kopf-/Fußzeile, Fußnote), verwirft redaktionelles Seitenrauschen wie laufende Seitenzahlen und rekonstruiert eine deterministische Lesereihenfolge über Spalten- und Seitengrenzen hinweg.

2. Gescannte Bestände und asymmetrische OCR-Fehlerausbreitung im hybriden Retrieval

In gewachsenen Dokumentenarchiven liegen Abnahmeprotokolle, unterschriebene Nachträge oder ältere Prüfzertifikate häufig als Rasterbild-PDF ohne eingebettete Textschicht vor — oder sie enthalten eine fehlerhafte Altexport-Textschicht aus früheren Scannerläufen. Eine produktionsreife Ingestion-Strecke darf deshalb weder blind auf eingebetteten PDF-Text vertrauen noch pauschal jede Seite durch eine optische Zeichenerkennung (OCR) schicken.

In unserer Zielarchitektur bewertet die Pipeline jede Seite zweistufig: Liegt ein programmatischer Textstrom mit plausibler Zeichendichte und gültiger Zeichenkodierung vor, wird dieser direkt genutzt; fehlen Zeichenströme oder treten defekte Font-Mappings (etwa nicht auflösbare Ersatzzeichen) auf, wechselt die Pipeline gezielt für diese Seite in den OCR-Pfad. Entscheidend für die RAG-Forschung ist dabei, dass sich Erkennungsfehler — gemessen über Zeichenfehlerrate (Character Error Rate, CER) und Wortfehlerrate (Word Error Rate, WER) — auf die beiden Kanäle eines hybriden Suchsystems unterschiedlich auswirken:

  1. Empfindlichkeit des lexikalischen Pfads: In der Volltextsuche von PostgreSQL über tsvector und GIN-Indizes (PostgreSQL Documentation, Chapter 12: Full Text Search) führt bereits eine einzige Zeichenverwechslung in einer Bauteilkennung — etwa 0 statt O oder I statt 1 in einem Code — zum vollständigen Ausfall des exakten Treffers, sofern keine ergänzende Trigramm-Ähnlichkeit oder Normalisierung greift.
  2. Stille Drift im semantischen Vektorpfad: Dichte Bi-Encoder-Modelle (Karpukhin et al., 2020, arXiv:2004.04906) bilden Anfrage und Passage auf kontinuierliche Vektoren ab; bereits Tippfehler in Anfragen können ihre Abruf- und Ranking-Qualität ohne spezielles Training deutlich senken (Zhuang & Zuccon, EMNLP 2021, arXiv:2108.12139). Inwieweit zerrissene Fachkomposita am Zeilenende oder verstümmelte Einheiten aus OCR-Läufen die Trefferquote auf einem konkreten Fachkorpus verschieben, behandeln wir als empirische Hypothese, die das Prüfprotokoll in Abschnitt 5 misst.

Aus diesem Grund führen wir in unserer Zielarchitektur das Extraktionsverfahren (nativer PDF-Text vs. OCR-Lauf) sowie einen Normalisierungsschritt für Zeilenumbruch-Bindestriche und Unicode-Einheiten als explizites Seitenmetadatum mit. Wie sich Vorfilter und Metadaten anschließend mit der Vektorsuche verbinden lassen, beschreiben wir ergänzend in unserer technischen Notiz pgvector mit Django: Filter und Recall prüfen.

3. Tabellenstruktur erhalten: Spalten- und Zeilenköpfe fest an jede Zelle binden

In technischen Spezifikationen, Preislisten, Wartungsplänen oder Dosiertabellen steckt das entscheidende Fachwissen fast nie im Fließtext, sondern in zweidimensionalen Matrizen. Wird eine solche Tabelle als flache Wortfolge extrahiert, stehen Zahlenwerte zwar weiterhin im Chunk, verlieren aber die Zuordnung zu ihrer Spaltenüberschrift, ihrer Einheit und ihrer Zeilenbedingung. Fragt ein Anwender dann nach dem zulässigen Prüfdruck einer bestimmten Nennweite, erhält das Sprachmodell eine lose Zahlenreihe und rät im schlechtesten Fall die Nachbarspalte.

Die Dokumentenforschung trennt deshalb klar zwischen bloßer Texterkennung und Tabellenstrukturerkennung (Table Structure Recognition). Brandon Smock et al. beheben mit PubTables-1M über ein Kanonisierungsverfahren die Übersegmentierung in den Ground-Truth-Annotationen früherer Datensätze, etwa bei mehrzeiligen und zusammengefügten Tabellenköpfen (Smock et al., CVPR 2022, arXiv:2110.00061). Das Modell TableFormer von Ahmed Nassar et al. kombiniert einen Transformer-Strukturdecoder mit einem Objekterkennungs-Decoder für Tabellenzellen, sodass sich bei programmatischen PDFs der exakte Zellinhalt direkt aus dem PDF-Quellstrom übernehmen lässt, ohne unnötige OCR-Fehler einzuschleusen (Nassar et al., CVPR 2022, arXiv:2203.01017). Offene Konvertierungspipelines wie Docling bündeln genau diese Bausteine — Layoutanalyse auf Basis von DocLayNet und Tabellenerkennung über TableFormer — für die Ausführung auf Standard-Hardware (Auer et al., 2024, arXiv:2408.09869).

Auch hier ziehen wir eine transparente Grenze zwischen unserer Enterprise-Zielarchitektur für Dokumentenbestände und dem bewusst kompakten Referenz-Assistenten (ragbot) im Code von codlab.de (dessen öffentliche Chat-Demo seit Oktober 2026 abgeschaltet ist, während Code und Daten erhalten bleiben): Das dortige Einlesekommando rag_ingest verarbeitet ausschließlich kuratierte HTML-Seiten der eigenen Website, entfernt Navigationselemente über BeautifulSoup, flacht den Hauptinhalt auf Leerzeichen-getrennten Fließtext ab und schneidet Fenster bis 900 Zeichen bei 150 Zeichen Überlappung — ohne PDF-Parser, OCR-Weiche oder Tabellenrekonstruktion. Direkt im Code von ragbot umgesetzt ist hingegen die deterministische Änderungsprüfung über einen SHA-256-content_hash.

In unserer Enterprise-Zielarchitektur übertragen wir dieses SHA-256-Prinzip auf strukturierte Tabellensegmente: Jede erkannte Tabelle wird in selbstbeschreibende Zeilengruppen zerlegt, die Dokumentkennung, Spaltenköpfe und Seitennummer explizit wiederholen; der Hash wird über die kanonische JSON-Zellenstruktur berechnet, während Pipe- und Zeilenumbruchzeichen im Markdown-Text maskiert werden:

import hashlib, json

def _md_cell(val):
    txt = str(val).strip().replace("\\", "\\\\").replace("|", "\\|")
    return txt.replace("\r\n", "\\n").replace("\r", "\\n").replace("\n", "\\n")

def serialize_table_blocks(doc_id, rev, page_no, section_path, headers, rows, group_size=12):
    """Hash canonical cell structure and emit pipe-safe Markdown row groups."""
    hdrs = [str(h).strip() for h in headers]
    header_line = " | ".join(_md_cell(h) for h in hdrs)
    sep_line = " | ".join("---" for _ in hdrs)
    blocks = []
    for start in range(0, len(rows), group_size):
        batch = [[str(c).strip() for c in r] for r in rows[start:start + group_size]]
        if any(len(r) != len(hdrs) for r in batch):
            raise ValueError("Row width does not match table headers")
        canon = {"doc_id": doc_id, "rev": rev, "page": page_no,
                 "section": section_path, "headers": hdrs, "rows": batch}
        digest = hashlib.sha256(
            json.dumps(canon, ensure_ascii=False, sort_keys=True).encode("utf-8")
        ).hexdigest()
        body_lines = [" | ".join(_md_cell(c) for c in r) for r in batch]
        markdown_table = "\n".join([
            f"Quelle: {doc_id} (Rev. {rev}, S. {page_no}) — {section_path}",
            header_line, sep_line, *body_lines,
        ])
        blocks.append({"page": page_no, "content": markdown_table, "sha256": digest})
    return blocks

4. Sicherheits- und Revisionsgrenzen beim Einlesen nicht vertrauenswürdiger Dateien

Dokumenten-Ingestion ist nicht nur ein Qualitäts-, sondern auch ein Sicherheitsfilter. Sobald ein Unternehmen externe Lieferantendokumente, Bewerbungsunterlagen, Ausschreibungsdateien oder E-Mail-Anhänge automatisiert in einen Wissensindex übernimmt, gelangen potenziell manipulierte Fremddaten in den Kontext des Sprachmodells. Das Bundesamt für Sicherheit in der Informationstechnik (BSI) führt diese Gefährdung ausdrücklich als Indirect Prompt Injection (Risiko R28) über externe Informationsquellen (BSI, Generative KI-Modelle, Version 2.0, 17.01.2025).

Gerade das PDF-Format bietet Angreifern subtile Verstecke, die bei einer rein optischen Sichtprüfung unbemerkt bleiben: weißer Text auf weißem Hintergrund, Textobjekte mit Schriftgröße null, überdeckte Ebenen hinter Grafiken oder unsichtbare Formular- und Metadatenfelder. Ein naiver PDF-Textextraktor liest solche unsichtbaren Zeichenströme gleichberechtigt mit dem sichtbaren Dokumenttext aus und übergibt sie später ungefiltert an das Sprachmodell. Welche nachgelagerten Schutzmechanismen in Retrieval und Prompt-Aufbau nötig sind, behandeln wir in unserer Notiz RAG: Quellen als nicht vertrauenswürdige Daten sowie im Forschungsbeitrag zu Indirect Prompt Injection und Quellengrenzen.

In unserer Zielarchitektur sieht die Ingestion-Stufe deshalb drei technische Kontrollen vor:

  • Filterung unsichtbarer Textobjekte: Zeichenläufe außerhalb des sichtbaren Seitenrahmens, mit verschwindender Schriftgröße oder ohne Deckkraft werden beim Parsen verworfen oder zur manuellen Prüfung markiert, statt stillschweigend in den Suchindex zu wandern.
  • Strikte Revisions- und Gültigkeitsmetadaten: Jedes Fragment speichert Dokumentkennung, Revisionsstand, Freigabestatus und Seitennummer als relationale Pflichtfelder in PostgreSQL, damit abgelöste Versionen beim Einlesen eines Nachfolgedokuments deterministisch archiviert werden.
  • Quarantäne bei Parser-Anomalien: Verschlüsselte Container, eingebettete Skripte oder extrem abweichende Zeichen-zu-Bild-Verhältnisse stoppen den automatischen Import der betroffenen Datei in einem isolierten Prüfstatus.

5. Reproduzierbares Prüfprotokoll für die Dokumenten-Ingestion im Mittelstand

Methodischer Hinweis: Das folgende Prüfszenario ist vollständig synthetisch und beschreibt unser methodisches Vorgehen in der angewandten Forschung; es stellt kein konkretes Kundenprojekt und keine gemessenen Kundenzahlen dar.

Angenommen, ein mittelständischer Anlagenbauer möchte vor dem Aufbau eines internen Wissensassistenten klären, ob sein heterogener PDF-Bestand aus konstruktiven Richtlinien (Deutsch), gescannten Werkszeugnissen von Zulieferern (Italienisch) und Elektronik-Datenblättern (Englisch) zuverlässig eingelesen werden kann. Bevor überhaupt ein Sprachmodell angebunden wird, prüfen wir die Ingestion-Qualität in einem vierschrittigen Experiment:

  1. Geschichtete Seitenstichprobe (30 bis 50 Seiten): Gezielte Auswahl schwieriger Originalseiten aus allen 3 Dokumentklassen — darunter mehrspaltige Seiten, Tabellen mit verbundenen Kopfzellen, Fußnoten sowie schief eingezogene Scans mit Stempeln.
  2. Referenz-Transkription definieren: Für diese Stichprobe wird einmalig die exakte Soll-Struktur (bereinigter Fließtext ohne Kopf-/Fußzeilen sowie korrekte Zeilen-Spalten-Paare der Tabellen) festgehalten.
  3. Parser-Varianten getrennt vermessen: Messung der Zeichenfehlerrate (CER) auf Scanseiten, der Rate fälschlich übernommener Kolumnentitel sowie des Anteils vollständig erhaltener Tabellenzellen samt Spaltenkopf und Einheit.
  4. Auswirkung auf das Retrieval gegenprüfen: Dieselben Fachfragen zu Grenzwerten und Bauteilcodes werden in PostgreSQL einmal auf naiv extrahiertem Text und einmal auf strukturerhaltend aufbereiteten Blöcken ausgeführt, um den Unterschied in der Trefferquote der erwarteten Fundstellen direkt sichtbar zu machen.

Wie wir solche belastbaren Vorprüfungen und anschließenden Pilotprojekte technisch umsetzen, erfahren Sie auf unserer Leistungsseite Dokumentenassistenten auf eigenen Unterlagen sowie im Überblick unter CODLAB Engineering Notes. Wenn Sie für Ihren eigenen Dokumentbestand prüfen lassen möchten, welcher Aufbereitungs- und Suchpfad wirtschaftlich sinnvoll ist, erreichen Sie uns direkt über Kontakt & Projektanfrage.

Weiterführend in dieser Forschungsreihe: Wie nach einer sauberen Dokumentaufbereitung hybrides Retrieval, Cross-Encoder-Reranking und Distanzschwellen in PostgreSQL zusammenspielen, zeigt unser Grundlagenbeitrag zu angewandter RAG-Architektur; wie abgerufene Fremddokumente gegen eingebettete Befehle abgesichert werden, vertieft die Analyse zu RAG-Sicherheit und Indirect Prompt Injection.

Verifizierte Primärquellen

Häufig gestellte Fragen (FAQ)

Warum genügt eine einfache PDF-Textextraktion für technische RAG-Systeme meistens nicht?

Weil PDFs Zeichen über Seitenkoordinaten statt über logische Absätze und Tabellenstrukturen speichern. Ohne Layout- und Tabellenerkennung geraten zweispaltige Texte durcheinander, Kopf- und Fußzeilen zerschneiden Sätze und Zahlenwerte verlieren ihre Spaltenüberschriften und Einheiten.

Sollte ein Unternehmen alle PDF-Seiten pauschal per OCR einlesen?

Nein. Wenn eine Seite bereits einen sauberen programmatischen Textstrom besitzt, ist die direkte Übernahme schneller und vermeidet unnötige Zeichenverwechslungen bei Bauteilnummern oder Einheiten. OCR sollte gezielt auf gescannten Seiten oder bei defekten Schriftkodierungen greifen.

Wie lassen sich große Spezifikationstabellen für die Vektorsuche sinnvoll aufteilen?

Statt Tabellen als flachen Fließtext auszulesen, wird ihre Zeilen- und Spaltenstruktur rekonstruiert und in überschaubare Zeilengruppen zerlegt. Jede Gruppe wiederholt explizit Dokumentkennung, Seitennummer und sämtliche Spaltenköpfe, sodass jeder Zahlenwert seinen Kontext behält.

Welche Sicherheitsrisiken entstehen bereits beim Einlesen externer PDF-Dateien?

Fremde PDFs können unsichtbare Textschichten wie weißen Text auf weißem Grund oder Schriftgröße null enthalten, über die manipulierte Anweisungen (Indirect Prompt Injection, BSI R28) in den Suchindex gelangen. Die Ingestion muss unsichtbare Textobjekte daher vor der Indexierung ausfiltern.

Ergänzender Praxisleitfaden im Blog: KI Dokumentenextraktion mit OCR: strukturierte Daten aus Rechnungen, Verträgen und Formularen — lokal statt Cloud.

Teilen Sie diesen Artikel

Kunden

Noch keine Kommentare. Schreiben Sie den ersten!

Einen Kommentar hinterlassen

Wird nicht veröffentlicht

Verwandte Artikel

Projekt im Kopf?

Wir entwickeln maßgeschneiderte Software und KI-Lösungen. Lassen Sie uns gemeinsam Ihr nächstes Projekt starten.

Kostenloses Erstgespräch