Zum Inhalt springen

Ratgeber · Begriffe

Was bedeutet RAG? Wie eine KI mit den eigenen Unterlagen arbeitet

Von Kevin Grundmann · 21. November 2026 · 6 Minuten Lesezeit

RAG steht für Retrieval-Augmented Generation, auf Deutsch etwa: Antworten mit vorherigem Nachschlagen. Bevor die KI antwortet, sucht sie in Ihren Unterlagen die passenden Stellen heraus und legt sie sich auf den Schreibtisch. Sie antwortet anhand dieser Stellen und kann sie als Quelle nennen. Auswendig lernt das Modell Ihre Unterlagen dabei nicht, es schlägt jedes Mal neu nach.

Nachschlagen statt raten

Im Beitrag Was ist Context Engineering? habe ich das Bild vom Schreibtisch benutzt: Die KI arbeitet nur mit dem, was vor ihr liegt. RAG beantwortet die Frage, wer die Unterlagen auf den Tisch legt. Bei RAG tun Sie das nicht mehr von Hand. Eine Suche erledigt es vor jeder Antwort.

Stellen Sie sich eine Kollegin vor, die auf eine Frage nicht aus dem Gedächtnis antwortet. Sie steht auf, blättert im Ordner, findet die Seite und sagt dann: „Steht im Handbuch, Abschnitt 4.” Genau so arbeitet RAG.

So läuft eine Frage mit RAG ab

Einmalig vorabUnterlagen einlesen und in Abschnitte teilen
FrageSie fragen wie gewohnt
SuchenDie passenden Abschnitte werden herausgesucht
DazulegenFrage und Fundstellen kommen auf den Schreibtisch
AntwortKI antwortet mit Quellenangabe

KI-Schritt Mensch

Die KI sieht nie die ganze Ablage. Sie sieht nur die Abschnitte, die die Suche für diese eine Frage gefunden hat.

Daraus folgt etwas Wichtiges: Findet die Suche die falsche Stelle, antwortet die KI gewissenhaft anhand der falschen Stelle.

Anhängen, RAG oder nachtrainieren

Es gibt drei Wege, einer KI eigenes Wissen mitzugeben. Der dritte heißt Fine-Tuning: Ein Modell wird mit eigenen Beispielen weitertrainiert.

WegWas passiertPasst, wenn
Datei von Hand anhängenSie legen die Unterlage selbst dazu.es um wenige, überschaubare Dokumente geht
RAGEine Suche legt vor jeder Antwort die passenden Stellen dazu.die Ablage groß ist und sich laufend ändert
Fine-TuningDas Modell wird mit Beispielen nachtrainiert.ein fester Stil oder ein festes Format gefragt ist

Für aktuelles Fachwissen ist Fine-Tuning selten der richtige Weg. Ändert sich eine Unterlage, müsste neu trainiert werden. Eine Quelle kann das Modell danach auch nicht nennen. Für kleine und mittlere Betriebe sind fast immer die ersten beiden Wege gemeint.

Wie Sie RAG heute bekommen

Selbst bauen müssen Sie dafür meist nichts. Stand November 2026 steckt das Verfahren in vielen Programmen, oft ohne dass der Begriff fällt. Die Büro-Assistenten der großen Anbieter durchsuchen die angebundene Dokumentenablage. Chat-Programme bieten Projekte oder Wissenssammlungen. Manche wechseln selbstständig vom vollständigen Einlesen zum gezielten Heraussuchen, sobald die hinterlegte Menge zu groß wird. Daneben gibt es Lösungen, die vollständig auf eigenen Rechnern laufen.

Machen große Kontextfenster RAG überflüssig?

Der Schreibtisch der Modelle ist stark gewachsen. Manche fassen inzwischen ganze Aktenordner auf einmal. Darüber wird in der Fachwelt gestritten. Ich gebe beide Seiten wieder.

Für das vollständige Einlesen spricht: Es ist einfach, die Suche kann nichts übersehen und die KI erkennt Zusammenhänge über ein ganzes Dokument hinweg.

Für das Heraussuchen spricht: Jede Frage über einen vollen Schreibtisch dauert länger und kostet mehr. Mehrere Untersuchungen zeigen außerdem, dass Modelle mit wachsender Textmenge unzuverlässiger werden. Die Firma Chroma hat das 2025 an 18 Modellen geprüft. Sie bietet selbst Suchtechnik an, was man beim Lesen im Hinterkopf behalten darf.

Mein Fazit: Bei einem Dutzend Dokumenten spricht wenig gegen das Anhängen. Bei einer gewachsenen Ablage bleibt die Suche sinnvoll. Viele Programme mischen beides.

Weniger Fehler, aber nicht null

RAG wird gern als Mittel gegen erfundene Angaben beworben. Das stimmt zum Teil. Forschende der Universität Stanford prüften 2024 juristische Recherche-Werkzeuge, die nach diesem Prinzip arbeiten, mit über 200 Testfragen. Die Werkzeuge irrten seltener als ein allgemeiner Chatbot. Je nach Werkzeug enthielt trotzdem mehr als jede sechste Antwort einen Fehler, bei einem Werkzeug war es rund jede dritte. Die Fragen waren bewusst schwierig, zudem wurden die Werkzeuge seither weiterentwickelt. Die Richtung der Aussage halte ich für übertragbar.

Die Quellenangabe ist deshalb der eigentliche Gewinn: Sie können nachsehen. Wie das im Alltag schnell geht, steht im Beitrag Wie erkenne ich, ob eine KI-Antwort falsch ist?.

MerksatzRAG ist so gut wie die Ablage, in der es sucht.

Wovon die Qualität abhängt

Fünf Dinge, die über die Antwort entscheiden

Ordnung und AktualitätKlare Ordner und Dateinamen, gültiger Stand.
Doppelte FassungenEntwurf und Endfassung liegen nebeneinander. Die Suche kennt den Unterschied nicht.
Scans ohne TextEin eingescanntes Blatt ist zunächst nur ein Bild. Ohne Texterkennung bleibt es unsichtbar.
TabellenBeim Teilen in Abschnitte reißen Zeilen und Überschriften leicht auseinander.
ZugriffsrechteDarf jede Person jede Stelle sehen? Die KI zeigt, was freigegeben ist.
Vier der fünf Punkte sind Aufgaben der Ablage. Mit dem KI-Modell haben sie wenig zu tun.

Zu den Zugriffsrechten: Die verbreiteten Büro-Assistenten halten sich an die Freigaben, die in der Ablage schon gelten. Das schützt nur, wenn diese Freigaben stimmen. Ein Ordner, der versehentlich für alle offen ist, fällt im Alltag kaum auf. Mit einer KI-Suche findet ihn plötzlich jeder.

Ein Beispiel aus dem Ingenieurbüro

Tom arbeitet im Ingenieurbüro. Normen, interne Richtlinien und Projektunterlagen füllen mehrere Laufwerke. Er fragt: „Welche Vorgabe gilt bei uns für die Prüfung von Fremdplänen?” Die KI nennt die Regel und verweist auf die Büro-Richtlinie, Abschnitt 3.

Tom öffnet die Stelle und stutzt. Zitiert wird die Fassung von 2022, die neue liegt in einem anderen Ordner. Der Fehler lag in der Ablage. Das Büro verschiebt alte Fassungen ins Archiv und nimmt das Archiv aus der Suche. Die Entscheidung im Projekt trifft weiterhin Tom, die KI hat ihm das Blättern abgenommen.

Datenschutz in Kürze

Wer Unterlagen einbindet, trifft zwei Entscheidungen. Erstens: Wohin wandern sie, in die Cloud eines Anbieters oder auf einen eigenen Rechner? Zweitens: Wer kann über die KI darauf zugreifen? Was dabei für Geschäftstarife und personenbezogene Daten gilt, lesen Sie unter Ist ChatGPT im Unternehmen erlaubt?.

Typische Fehler

Die ganze Ablage auf einmal anbinden. Das wirkt gründlich, weil dann nichts fehlt. Damit kommen aber auch alle Altlasten in die Suche. Beginnen Sie mit einem gepflegten Bereich, etwa dem Handbuch.

Die Quellenangabe für einen Beweis halten. Eine genannte Quelle wirkt verlässlich. Die KI kann die Stelle trotzdem falsch zusammenfassen. Öffnen Sie die Fundstelle, wenn etwas davon abhängt.

Annehmen, die KI kenne jetzt alles. Sie sieht pro Frage nur wenige Abschnitte. Für Fragen wie „Fassen Sie alle Projekte des Jahres zusammen” ist das Heraussuchen einzelner Stellen der falsche Weg.

Scans und Tabellen vergessen. In der Ablage sehen sie aus wie jedes andere Dokument. Prüfen Sie mit zwei, drei Testfragen, ob Inhalte daraus überhaupt gefunden werden.

Rechte erst nachher prüfen. Die Freigaben sind über Jahre gewachsen, niemand hat sie im Kopf. Sehen Sie die Freigaben der eingebundenen Ordner vor dem Start durch.

Wann RAG sich nicht lohnt

Haben Sie nur eine Handvoll Dokumente, hängen Sie sie einfach an. Das ist schneller eingerichtet. Ist Ihre Ablage ungeordnet, räumen Sie zuerst auf. Eine KI-Suche macht aus Durcheinander keine Ordnung, sie macht es nur schneller auffindbar. Soll die KI in Ihren Programmen nicht nur lesen, sondern auch handeln, geht es um ein anderes Thema: Was ist ein KI-Agent?.

Das Wichtigste in Kürze

  • RAG heißt: erst in den eigenen Unterlagen nachschlagen, dann antworten, mit Quellenangabe.
  • Das Modell lernt Ihre Unterlagen nicht. Es bekommt bei jeder Frage die passenden Stellen vorgelegt.
  • Die Qualität hängt vor allem an der Ablage: aktuell, ohne Dubletten, mit lesbarem Text und stimmigen Zugriffsrechten.
  • RAG verringert Fehler, beseitigt sie aber nicht. Die Fundstelle zu öffnen bleibt Ihre Aufgabe.
  • Bei wenigen Dokumenten genügt das Anhängen.

Kurz gefragt

Ihre Frage ist nicht dabei? Schreiben Sie mir.

Wofür steht RAG?

Für Retrieval-Augmented Generation. Die KI sucht vor der Antwort passende Stellen aus hinterlegten Unterlagen heraus und formuliert ihre Antwort anhand dieser Stellen.

Lernt die KI dabei meine Unterlagen?

Nein. Das Modell selbst bleibt unverändert. Es bekommt die passenden Stellen bei jeder Frage neu vorgelegt. Ändern Sie ein Dokument, gilt nach dem erneuten Einlesen die neue Fassung.

Macht RAG die Antworten fehlerfrei?

Nein. Untersuchungen zeigen, dass RAG Fehler verringert, aber nicht beseitigt. Die Quellenangabe hilft beim Prüfen, sie ersetzt das Prüfen nicht.

Brauche ich RAG, wenn mein KI-Programm sehr lange Texte verarbeiten kann?

Bei wenigen Dokumenten oft nicht, dann genügt das Anhängen. Bei einer großen Ablage bleibt das gezielte Heraussuchen sinnvoll, weil es schneller, günstiger und meist treffsicherer ist.

Weiterlesen

Lassen Sie uns 30 Minuten sprechen.

Kostenlos und unverbindlich. Sie schildern, wo es hakt, ich sage Ihnen ehrlich, ob und wie KI dabei hilft.

Lieber kurz per WhatsApp schreiben

Einen Teil meiner Arbeit erledige ich mit KI-Unterstützung: lokal mit Gemma 4 und Qwen 3, für die Konzeption mit Claude von Anthropic. Claude dient nur der Konzeption. Es erhält keine Informationen zu Unternehmen und keine sensiblen Daten. Jede Antwort prüfe ich selbst.

Ohne diese Zustimmung bearbeite ich Ihre Nachricht nicht. Sie können die Zustimmung jederzeit widerrufen.