Chunking
Auch bekannt als: Text-Chunking, Dokumenten-Zerlegung
Chunking ist das Zerlegen großer Dokumente in kleinere Stücke für die Verarbeitung in RAG-Systemen. Die Chunk-Größe und -Strategie bestimmen maßgeblich die Qualität der Suche und der Antworten.
Ein 100-seitiges Dokument kann nicht als Ganzes in eine Vektor-Datenbank. Es wird in Chunks zerlegt, Absätze, Abschnitte oder Seiten. Jeder Chunk bekommt ein eigenes Embedding.
Warum die Größe entscheidend ist
Zu große Chunks: Die Suche findet den richtigen Chunk, aber er enthält zu viel irrelevanten Kontext. Die Antwort wird verwässert.
Zu kleine Chunks: Zusammenhänge gehen verloren. Ein Fakt steht in Chunk A, der Kontext in Chunk B. Das Modell sieht nur einen davon.
Die Praxis
Die meisten RAG-Implementierungen experimentieren mit verschiedenen Chunk-Größen (300-1000 Tokens) und Overlap-Strategien (20-30% Überlappung), bis die Ergebnisqualität stimmt.