Was ist RAG (Retrieval Augmented Generation)?

Q: Verlassen meine Daten bei RAG das Unternehmen?

Die Dokumente bleiben in der eigenen Datenhaltung; an das Sprachmodell werden nur die zur Frage passenden Textausschnitte übergeben. Alternativ lässt sich das Sprachmodell in der EU-Cloud oder On-Premise betreiben.

Q: Halluziniert ein RAG-System gar nicht mehr?

Deutlich seltener, aber nicht null. Professionelle RAG-Systeme arbeiten deshalb mit Quellenangaben, der Anweisung bei fehlenden Informationen 'weiß ich nicht' zu sagen, und laufender Qualitätsmessung.

Kurz erklärt: RAG (Retrieval Augmented Generation) ist ein Verfahren, bei dem eine KI vor dem Antworten zuerst in einer definierten Wissensquelle nachschlägt – zum Beispiel in den Dokumenten, Verträgen oder Handbüchern eines Unternehmens. Die Antwort entsteht dann nicht aus dem vagen Trainingswissen des KI-Modells, sondern aus den tatsächlich gefundenen Textstellen – nachvollziehbar und mit Quellenangabe.

Das Problem: ChatGPT kennt Ihre Firma nicht

Sprachmodelle wie ChatGPT oder Claude wirken allwissend – sind es aber nicht. Sie wurden mit öffentlich verfügbaren Texten trainiert und wissen deshalb nichts über Ihre Verträge, Ihre Preislisten, Ihre internen Prozesse oder das Protokoll vom letzten Teammeeting. Fragt man sie trotzdem danach, passiert eines von zwei Dingen: Sie sagen ehrlich, dass sie es nicht wissen – oder sie erfinden eine plausibel klingende Antwort. Beides hilft im Arbeitsalltag nicht weiter.

Genau dieses Problem löst RAG: Es verbindet die Sprachfähigkeit eines KI-Modells mit dem Wissen, das in Ihrem Unternehmen bereits vorhanden ist.

So funktioniert RAG – Schritt für Schritt

Am einfachsten versteht man RAG an einem konkreten Beispiel. Klicken Sie sich durch die vier Schritte – oder schauen Sie einfach zu, die Animation läuft automatisch weiter:

rag — so entsteht eine antwort

Wie lange ist die Kündigungsfrist in unserem Wartungsvertrag mit der Firma Berger?

1. Die Frage: Ein Mitarbeiter stellt eine ganz normale Frage – so, wie er sie auch einem Kollegen stellen würde. Kein Suchbegriff-Raten, keine Ordnersuche.

📄 Wartungsvertrag Berger✓ Treffer: §7 Abs. 2 📄 Angebot 2023 📄 E-Mail-Verlauf Berger✓ Treffer: Verlängerung 📄 Handbuch Produkt A

2. Die Suche (Retrieval): Das System durchsucht die Wissensbasis – nicht nach Stichworten, sondern nach Bedeutung. Es findet die relevanten Textstellen, auch wenn dort „Vertragsbeendigung“ statt „Kündigungsfrist“ steht.

§7 Abs. 2 E-Mail v. 12.03. + die Frage

↓

Sprachmodell (LLM)

3. Der Kontext (Augmentation): Die gefundenen Textstellen werden dem Sprachmodell zusammen mit der Frage übergeben – mit der Anweisung: „Antworte nur auf Basis dieser Quellen.“

Die Kündigungsfrist beträgt 3 Monate zum Quartalsende (§7 Abs. 2). Laut E-Mail vom 12.03. wurde der Vertrag zuletzt bis 31.12. verlängert – nächster möglicher Kündigungstermin: 30.09.
Wartungsvertrag §7E-Mail 12.03.

4. Die Antwort (Generation): Das Sprachmodell formuliert eine präzise Antwort – mit Quellenangaben, die jeder per Klick prüfen kann. Kein Raten, kein Erfinden.

Warum nicht einfach das KI-Modell mit den eigenen Daten trainieren?

Das ist die häufigste Rückfrage – und der Vergleich lohnt sich. Ein Modell mit eigenen Daten nachzutrainieren (Fine-Tuning) ist teuer, dauert lange und muss bei jeder Änderung wiederholt werden. Bei RAG bleibt das Modell unverändert: Ändert sich ein Vertrag, wird einfach der Suchindex aktualisiert – die nächste Antwort ist sofort auf dem neuesten Stand. Dazu kommen drei praktische Vorteile:

Nachvollziehbarkeit: Jede Antwort nennt ihre Quellen. Bei Fine-Tuning weiß niemand, woher eine Aussage stammt.
Zugriffsrechte: RAG kann berücksichtigen, wer was sehen darf – die Geschäftsführung bekommt andere Antworten als der Praktikant.
Datenhoheit: Die Dokumente bleiben in Ihrer Datenhaltung und werden nur anfragebezogen an das Modell übergeben.

Beispiele aus der Praxis

Interner Wissensassistent

Mitarbeiter fragen in normaler Sprache nach Prozessen, Richtlinien oder technischen Details – statt in Ordnerstrukturen, Intranets und alten E-Mails zu suchen. Besonders wertvoll beim Onboarding neuer Kollegen.

Kundenservice-Unterstützung

Der Assistent schlägt Support-Mitarbeitern Antworten vor, die auf Handbüchern und früheren Fällen basieren. Die Antwortzeit sinkt, die Qualität bleibt konsistent – und der Mensch behält die Kontrolle.

Vertrags- und Dokumentenrecherche

„In welchen Verträgen haben wir eine Haftungsobergrenze unter 100.000 €?“ – Fragen, die früher Stunden gekostet haben, beantwortet ein RAG-System in Sekunden, mit Fundstellen.

Tutor im E-Learning

Lernende stellen Fragen zum Kursinhalt und bekommen Antworten, die ausschließlich auf dem geprüften Lehrmaterial basieren – ideal für Prüfungsvorbereitung und Compliance-Schulungen.

Was braucht man für ein RAG-System?

Technisch besteht ein RAG-System aus drei Bausteinen: einer Wissensbasis (Ihre Dokumente, aufbereitet und in einer sogenannten Vektordatenbank durchsuchbar gemacht), einem Sprachmodell (z. B. GPT oder Claude – per Schnittstelle angebunden oder auf eigenen Servern betrieben) und der Integration in Ihre Arbeitsumgebung, etwa als Chat im Intranet, im CRM oder in Ihrer Fachanwendung. Der Aufwand hängt vor allem davon ab, wie verstreut und wie strukturiert Ihre Inhalte heute sind.

Übrigens: Die Qualität eines RAG-Systems steht und fällt mit der Aufbereitung der Wissensbasis – dem Zerlegen der Dokumente in sinnvolle Abschnitte und einer sauberen Suche. Genau hier steckt die eigentliche Ingenieursarbeit, nicht im KI-Modell selbst.

Häufige Fragen zu RAG

Ist RAG dasselbe wie ein Chatbot?

Nein. Ein Chatbot ist die Benutzeroberfläche – RAG ist die Technik dahinter, die dafür sorgt, dass die Antworten aus Ihren echten Inhalten stammen statt aus dem allgemeinen Trainingswissen des KI-Modells. Es gibt Chatbots ohne RAG (die raten öfter) und RAG-Systeme ganz ohne Chat, etwa zur automatischen Dokumentenauswertung.

Welche Dokumente eignen sich für RAG?

Praktisch alles, was Text enthält: PDFs, Word-Dateien, Wikis, E-Mails, Tickets, Datenbankinhalte. Wichtig ist weniger das Format als die Qualität – veraltete oder widersprüchliche Dokumente führen zu entsprechenden Antworten. Eine Bereinigung der Wissensbasis gehört deshalb zu jedem RAG-Projekt.

Verlassen meine Daten das Unternehmen?

Das ist eine Architektur-Entscheidung. Die Dokumente selbst bleiben in Ihrer Datenhaltung; an das Sprachmodell werden nur die zur jeweiligen Frage passenden Textausschnitte übergeben. Wer auch das nicht möchte, betreibt das Sprachmodell in der EU-Cloud oder komplett auf eigener Hardware (On-Premise).

Halluziniert ein RAG-System gar nicht mehr?

Deutlich seltener, aber nicht null. Deshalb gehören zu einem professionellen RAG-System Quellenangaben (jede Aussage ist prüfbar), die Anweisung, bei fehlenden Informationen „weiß ich nicht“ zu sagen, und eine laufende Qualitätsmessung mit echten Testfragen.

Was kostet ein RAG-System?

Ein Proof of Concept mit begrenztem Dokumentenbestand ist oft in wenigen Wochen machbar. Die Gesamtkosten hängen von Datenlage, Rechtekonzept und Integrationstiefe ab. Ein seriöser erster Schritt: ein kleiner Pilot mit echten Daten, an dem sich Qualität und Nutzen messen lassen – bevor größer investiert wird.