Löst RAG alle Wissensprobleme von KI?
Nein. RAG ist nur so gut wie die eingespeisten Dokumente. „Garbage in, garbage out" gilt genauso. Schlechte Dokumentenqualität, falsche Chunking-Strategie oder unpassende Embeddings machen RAG-Systeme ungenauer, nicht präziser.
RAG ist heute das dominierende Muster, um generative KI mit Unternehmenswissen zu koppeln. Und es wird gerne als Wundermittel verkauft. Die Realität: RAG löst ein Problem und schafft mehrere neue.
Was RAG löst
- Antworten auf aktuellem oder proprietärem Wissen statt nur Trainingsdaten
- Zitations-Möglichkeit: Antworten mit Quellenangabe
- Updates ohne Modell-Retraining: neue Dokumente indexieren reicht
- Weniger Halluzinationen bei belegbaren Fakten
Was RAG neu schafft
Qualität der Quellen: Das System antwortet nur so gut wie die Dokumente, die es findet. Veraltete, widersprüchliche oder schlecht strukturierte Dokumente verschlechtern die Antwortqualität systematisch.
Chunking-Problem: Wie Dokumente in Stücke geschnitten werden, bestimmt, was gefunden wird. Zu große Chunks = unfokussierte Antworten. Zu kleine Chunks = Kontext geht verloren. Die richtige Chunk-Strategie ist aufwändig zu entwickeln.
Retrieval-Qualität: Das Embedding-Modell entscheidet, welche Dokumente als „relevant" klassifiziert werden. Schwaches Embedding = das System findet die falschen Dokumente und antwortet selbstbewusst falsch.
Evaluation: Wie testest du, ob RAG gut funktioniert? Ohne systematische Evals weißt du es nicht.
Kosten: RAG läuft pro Anfrage ab. Embedding, Vektor-DB, Retrieval, LLM, alles summiert sich.
Die Realitätsprüfung
RAG-Projekte scheitern selten am LLM. Sie scheitern an Dokumentenqualität, unklarer Chunking-Strategie und fehlender Evaluation. Wer RAG plant, plant zu 80 Prozent diese Dinge, nicht das Modell.