Ratgeber · Begriffe
Was bedeutet RAG? Wie eine KI mit den eigenen Unterlagen arbeitet
Von Kevin Grundmann · 21. November 2026 · 6 Minuten Lesezeit
RAG steht für Retrieval-Augmented Generation, auf Deutsch etwa: Antworten mit vorherigem Nachschlagen. Bevor die KI antwortet, sucht sie in Ihren Unterlagen die passenden Stellen heraus und legt sie sich auf den Schreibtisch. Sie antwortet anhand dieser Stellen und kann sie als Quelle nennen. Auswendig lernt das Modell Ihre Unterlagen dabei nicht, es schlägt jedes Mal neu nach.
Nachschlagen statt raten
Im Beitrag Was ist Context Engineering? habe ich das Bild vom Schreibtisch benutzt: Die KI arbeitet nur mit dem, was vor ihr liegt. RAG beantwortet die Frage, wer die Unterlagen auf den Tisch legt. Bei RAG tun Sie das nicht mehr von Hand. Eine Suche erledigt es vor jeder Antwort.
Stellen Sie sich eine Kollegin vor, die auf eine Frage nicht aus dem Gedächtnis antwortet. Sie steht auf, blättert im Ordner, findet die Seite und sagt dann: „Steht im Handbuch, Abschnitt 4.” Genau so arbeitet RAG.
So läuft eine Frage mit RAG ab
KI-Schritt Mensch
Daraus folgt etwas Wichtiges: Findet die Suche die falsche Stelle, antwortet die KI gewissenhaft anhand der falschen Stelle.
Anhängen, RAG oder nachtrainieren
Es gibt drei Wege, einer KI eigenes Wissen mitzugeben. Der dritte heißt Fine-Tuning: Ein Modell wird mit eigenen Beispielen weitertrainiert.
| Weg | Was passiert | Passt, wenn |
|---|---|---|
| Datei von Hand anhängen | Sie legen die Unterlage selbst dazu. | es um wenige, überschaubare Dokumente geht |
| RAG | Eine Suche legt vor jeder Antwort die passenden Stellen dazu. | die Ablage groß ist und sich laufend ändert |
| Fine-Tuning | Das Modell wird mit Beispielen nachtrainiert. | ein fester Stil oder ein festes Format gefragt ist |
Für aktuelles Fachwissen ist Fine-Tuning selten der richtige Weg. Ändert sich eine Unterlage, müsste neu trainiert werden. Eine Quelle kann das Modell danach auch nicht nennen. Für kleine und mittlere Betriebe sind fast immer die ersten beiden Wege gemeint.
Wie Sie RAG heute bekommen
Selbst bauen müssen Sie dafür meist nichts. Stand November 2026 steckt das Verfahren in vielen Programmen, oft ohne dass der Begriff fällt. Die Büro-Assistenten der großen Anbieter durchsuchen die angebundene Dokumentenablage. Chat-Programme bieten Projekte oder Wissenssammlungen. Manche wechseln selbstständig vom vollständigen Einlesen zum gezielten Heraussuchen, sobald die hinterlegte Menge zu groß wird. Daneben gibt es Lösungen, die vollständig auf eigenen Rechnern laufen.
Machen große Kontextfenster RAG überflüssig?
Der Schreibtisch der Modelle ist stark gewachsen. Manche fassen inzwischen ganze Aktenordner auf einmal. Darüber wird in der Fachwelt gestritten. Ich gebe beide Seiten wieder.
Für das vollständige Einlesen spricht: Es ist einfach, die Suche kann nichts übersehen und die KI erkennt Zusammenhänge über ein ganzes Dokument hinweg.
Für das Heraussuchen spricht: Jede Frage über einen vollen Schreibtisch dauert länger und kostet mehr. Mehrere Untersuchungen zeigen außerdem, dass Modelle mit wachsender Textmenge unzuverlässiger werden. Die Firma Chroma hat das 2025 an 18 Modellen geprüft. Sie bietet selbst Suchtechnik an, was man beim Lesen im Hinterkopf behalten darf.
Mein Fazit: Bei einem Dutzend Dokumenten spricht wenig gegen das Anhängen. Bei einer gewachsenen Ablage bleibt die Suche sinnvoll. Viele Programme mischen beides.
Weniger Fehler, aber nicht null
RAG wird gern als Mittel gegen erfundene Angaben beworben. Das stimmt zum Teil. Forschende der Universität Stanford prüften 2024 juristische Recherche-Werkzeuge, die nach diesem Prinzip arbeiten, mit über 200 Testfragen. Die Werkzeuge irrten seltener als ein allgemeiner Chatbot. Je nach Werkzeug enthielt trotzdem mehr als jede sechste Antwort einen Fehler, bei einem Werkzeug war es rund jede dritte. Die Fragen waren bewusst schwierig, zudem wurden die Werkzeuge seither weiterentwickelt. Die Richtung der Aussage halte ich für übertragbar.
Die Quellenangabe ist deshalb der eigentliche Gewinn: Sie können nachsehen. Wie das im Alltag schnell geht, steht im Beitrag Wie erkenne ich, ob eine KI-Antwort falsch ist?.
Wovon die Qualität abhängt
Fünf Dinge, die über die Antwort entscheiden
Zu den Zugriffsrechten: Die verbreiteten Büro-Assistenten halten sich an die Freigaben, die in der Ablage schon gelten. Das schützt nur, wenn diese Freigaben stimmen. Ein Ordner, der versehentlich für alle offen ist, fällt im Alltag kaum auf. Mit einer KI-Suche findet ihn plötzlich jeder.
Ein Beispiel aus dem Ingenieurbüro
Tom arbeitet im Ingenieurbüro. Normen, interne Richtlinien und Projektunterlagen füllen mehrere Laufwerke. Er fragt: „Welche Vorgabe gilt bei uns für die Prüfung von Fremdplänen?” Die KI nennt die Regel und verweist auf die Büro-Richtlinie, Abschnitt 3.
Tom öffnet die Stelle und stutzt. Zitiert wird die Fassung von 2022, die neue liegt in einem anderen Ordner. Der Fehler lag in der Ablage. Das Büro verschiebt alte Fassungen ins Archiv und nimmt das Archiv aus der Suche. Die Entscheidung im Projekt trifft weiterhin Tom, die KI hat ihm das Blättern abgenommen.
Datenschutz in Kürze
Wer Unterlagen einbindet, trifft zwei Entscheidungen. Erstens: Wohin wandern sie, in die Cloud eines Anbieters oder auf einen eigenen Rechner? Zweitens: Wer kann über die KI darauf zugreifen? Was dabei für Geschäftstarife und personenbezogene Daten gilt, lesen Sie unter Ist ChatGPT im Unternehmen erlaubt?.
Typische Fehler
Die ganze Ablage auf einmal anbinden. Das wirkt gründlich, weil dann nichts fehlt. Damit kommen aber auch alle Altlasten in die Suche. Beginnen Sie mit einem gepflegten Bereich, etwa dem Handbuch.
Die Quellenangabe für einen Beweis halten. Eine genannte Quelle wirkt verlässlich. Die KI kann die Stelle trotzdem falsch zusammenfassen. Öffnen Sie die Fundstelle, wenn etwas davon abhängt.
Annehmen, die KI kenne jetzt alles. Sie sieht pro Frage nur wenige Abschnitte. Für Fragen wie „Fassen Sie alle Projekte des Jahres zusammen” ist das Heraussuchen einzelner Stellen der falsche Weg.
Scans und Tabellen vergessen. In der Ablage sehen sie aus wie jedes andere Dokument. Prüfen Sie mit zwei, drei Testfragen, ob Inhalte daraus überhaupt gefunden werden.
Rechte erst nachher prüfen. Die Freigaben sind über Jahre gewachsen, niemand hat sie im Kopf. Sehen Sie die Freigaben der eingebundenen Ordner vor dem Start durch.
Wann RAG sich nicht lohnt
Haben Sie nur eine Handvoll Dokumente, hängen Sie sie einfach an. Das ist schneller eingerichtet. Ist Ihre Ablage ungeordnet, räumen Sie zuerst auf. Eine KI-Suche macht aus Durcheinander keine Ordnung, sie macht es nur schneller auffindbar. Soll die KI in Ihren Programmen nicht nur lesen, sondern auch handeln, geht es um ein anderes Thema: Was ist ein KI-Agent?.
Das Wichtigste in Kürze
- RAG heißt: erst in den eigenen Unterlagen nachschlagen, dann antworten, mit Quellenangabe.
- Das Modell lernt Ihre Unterlagen nicht. Es bekommt bei jeder Frage die passenden Stellen vorgelegt.
- Die Qualität hängt vor allem an der Ablage: aktuell, ohne Dubletten, mit lesbarem Text und stimmigen Zugriffsrechten.
- RAG verringert Fehler, beseitigt sie aber nicht. Die Fundstelle zu öffnen bleibt Ihre Aufgabe.
- Bei wenigen Dokumenten genügt das Anhängen.