pgvector ergänzt PostgreSQL um Vektorsuche. Für ein RAG-System müssen Index, Dokumentaufteilung und Berechtigungen zusammenpassen. Die Zahl der Vektoren allein entscheidet weder über die passende Suchstrategie noch über eine erreichbare Antwortzeit.
Eine exakte Suche als Vergleich behalten
Prüfen Sie zunächst die passenden Treffer mit einer exakten Suche. Sie liefert einen Vergleich für näherungsweise Indizes. Messen Sie beide anhand repräsentativer Fragen, Daten und Filter. Trefferqualität und Laufzeit sind getrennte Größen.
HNSW und IVFFlat anhand der Aufgabe wählen
HNSW organisiert Vektoren in einer Graphstruktur. IVFFlat verwendet Listen von Vektoren und benötigt passende Daten für den Indexaufbau. Die Verfahren unterscheiden sich im Aufbau, Ressourcenbedarf und Suchverhalten. Wählen Sie die Parameter anhand Ihres Bestands statt anhand einer pauschalen Größenklasse.
Prüfen Sie Änderungen am Bestand und die laufende Pflege des Index. Es gibt ohne passende Messungen keinen festen Geschwindigkeitsfaktor und keinen garantierten Recall für eine bestimmte Parametereinstellung.
Filter und Berechtigungen besonders testen
Bei näherungsweisen Indizes kann ein Filter die tatsächlich gefundenen Ergebnisse beeinflussen. Auch berechtigte Kandidaten können dadurch in der Ergebnisliste fehlen. Iterative Scans können abhängig von Version und Konfiguration die Suche ausweiten; sie heben Grenzen der Abfrage nicht grundsätzlich auf.
Die Anwendung darf nur freigegebene Dokumente in den Modellkontext übernehmen. Prüfen Sie Suchresultate mit starken Filtern, verschiedenen Tenants und wenigen erlaubten Dokumenten. Eine semantisch gute Fundstelle darf eine Berechtigungsgrenze nicht umgehen.
Dokumentaufteilung aus den Fragen ableiten
Schneiden Sie Abschnitte so, dass sie eine fachlich sinnvolle Information mit ausreichend Kontext enthalten. Überschriften, Dokumentversion und Herkunft sollten erhalten bleiben. Zu kleine Abschnitte können Zusammenhänge verlieren; zu große Abschnitte können relevante Stellen überdecken.
Testen Sie verschiedene Aufteilungen anhand derselben Fragen. Eine feste Tokenzahl oder Überlappung ist ohne diesen Vergleich keine allgemeine Empfehlung. Planen Sie auch die Aktualisierung und Löschung bereits eingelesener Abschnitte.
Hybrid-Suche und Reranking gezielt ergänzen
Volltext- und Vektorsuche können unterschiedliche Treffer liefern. Eine Kombination ist besonders dann zu prüfen, wenn exakte Bezeichner und sinngemäße Fragen gemeinsam vorkommen. Ein nachgelagertes Reranking ist eine zusätzliche Verarbeitung mit eigenen Kosten und möglichen Fehlern.
Vergleichen Sie die gesamte Kette bis zur geprüften Antwort. Halten Sie Datenstand, Parameter und Messbedingungen fest. Nur damit lassen sich Suchqualität und Ressourcenbedarf Ihres RAG-Systems nachvollziehbar beurteilen.
Weiterführende Dokumentation: pgvector: offizielle Projektdokumentation.