Stand November 2026 · Redaktion CODLAB
Kurzantwort: Eine KI-Dokumentensuche prüfen Sie mit vier Fällen: einer Frage mit belegbarer Antwort, einer Frage ohne Quelle, einem aktualisierten Dokument und einem verweigerten Zugriff. Nutzen Sie dafür freigegebene oder synthetische Dokumente, legen Sie die Kriterien vorher fest und lassen Sie Ihr Team beurteilen, ob Fundstelle und Antwort zusammenpassen.
1. Was eine Dokumentensuche mit KI leisten soll
Ein Assistent für die eigenen Unterlagen hat zwei Aufgaben: passende Fundstellen zeigen und die vorhandenen Zugriffsrechte beachten. Technisch steckt dahinter meist Retrieval-Augmented Generation (RAG): Das System sucht zuerst Textstellen in Ihren Dokumenten und formuliert dann eine Antwort auf dieser Grundlage. Daraus folgt die wichtigste Prüfregel: Suche und Antwort werden getrennt bewertet. Eine gut formulierte Antwort auf der Grundlage der falschen Fundstelle ist kein Erfolg.
2. Die vier Fälle der Probe
- Belegte Antwort: Eine typische Frage, deren Antwort in einem bestimmten Dokument steht. Erwartet werden die Antwort und die richtige Fundstelle.
- Frage ohne Quelle: Eine Frage, zu der es in den Unterlagen nichts gibt, etwa nach einer nicht dokumentierten Ausnahme. Erwartet wird der Hinweis auf die fehlende Grundlage, nicht eine plausible Erfindung.
- Aktualisiertes Dokument: Eine Regel wurde geändert. Erwartet wird, dass die Antwort der gültigen Fassung folgt und nicht einer veralteten.
- Verweigerter Zugriff: Eine Person ohne Berechtigung fragt nach Inhalten aus einem gesperrten Bereich. Erwartet wird, dass weder Antwort noch Fundstelle diese Inhalte preisgeben.
Zur Probe gehört auch die Gegenprobe: Wenn der Assistent bei der Frage ohne Quelle trotzdem eine Antwort liefert, ist das ein klares Ergebnis – und ein wertvolles.
3. Zugriffsrechte gehören in die Suche, nicht erst in die Antwort
Vermeiden sollten Sie einen Konstruktionsfehler: Berechtigungen erst nach der Suche zu prüfen. Dann können gesperrte Inhalte bereits in die Auswahl der Textstellen geraten und sich in der Formulierung der Antwort wiederfinden. Sicherer ist es, die Rechte schon bei der Suche anzuwenden: Nur Dokumente, die die fragende Person sehen darf, kommen überhaupt in Betracht. Benennen Sie deshalb vor der Probe die Bereiche, die für bestimmte Rollen gesperrt bleiben müssen, und auch veraltete Fassungen, die nicht mehr verwendet werden sollen.
4. Eine Fundstelle macht prüfbar, nicht richtig
Quellenangaben sind wertvoll, weil sie eine Antwort überprüfbar machen. Eine Quellenangabe allein bestätigt die Richtigkeit einer Antwort aber nicht: Die zitierte Stelle kann falsch verstanden, unvollständig oder für den konkreten Fall nicht einschlägig sein. Die fachliche Prüfung bleibt bei Ihrem Team. Bewerten Sie in der Probe deshalb zwei Dinge getrennt: Passt die Fundstelle zur Frage, und folgt die Antwort wirklich aus der Fundstelle?
5. Ergebnisse vergleichbar machen
Sprachmodelle antworten nicht bei jedem Durchlauf gleich. Ein einziger guter Durchlauf beweist deshalb wenig. Stellen Sie dieselben Fragen mehrfach, halten Sie die erwarteten Fundstellen schriftlich fest und notieren Sie, welcher Korrekturaufwand bleibt. Wie man solche Bewertungen methodisch aufbaut, beschreiben unsere Beiträge zur Bewertung stochastischer KI und zur RAG-Architektur sowie die Engineering-Notiz zur RAG-Evaluation.
6. Was Sie für ein erstes Gespräch brauchen
Für das erste Gespräch genügen die Dokumentarten, eine typische Suchfrage und eine Beschreibung der Zugriffsrechte. Vertrauliche Unterlagen sind dafür nicht nötig. Für eine vereinbarte Probe wählen wir freigegebene oder synthetische Dokumente und halten fest, wer die erwarteten Fundstellen beurteilt. Klaus, unser Dokumentenassistent, setzt auf Mistral; Datenwege und Verarbeitungsorte werden im konkreten Angebot festgehalten. Individuelle Assistenten mit offenen Modellen laufen auf Ihrer Hardware oder gewählter europäischer Infrastruktur. Mehr dazu auf unserer Seite Dokumentenassistenten.
Häufig gestellte Fragen (FAQ)
Mit einer Probe aus vier Fällen: belegte Antwort, Frage ohne Quelle, aktualisiertes Dokument und verweigerter Zugriff. Legen Sie die Kriterien vorher fest, nutzen Sie freigegebene oder synthetische Dokumente und lassen Sie Ihr Team die Fundstellen beurteilen.
Nein. Eine Quellenangabe macht eine Antwort prüfbar, bestätigt aber nicht ihre Richtigkeit. Die zitierte Stelle kann falsch verstanden oder für den Fall nicht einschlägig sein; die fachliche Prüfung bleibt beim Team.
Nein. Für das erste Gespräch genügen Dokumentarten, eine typische Suchfrage und eine Beschreibung der Zugriffsrechte. Für die Probe eignen sich freigegebene oder synthetische Dokumente.