Retrieval Augmented Generation (RAG): Definition, Funktionsweise und Einsatz für KMU

Retrieval Augmented Generation (RAG) ist ein Verfahren, das KI-Sprachmodelle mit externen Wissensquellen verbindet. Bevor das Modell eine Antwort formuliert, sucht das System relevante Informationen aus Unternehmensdaten – etwa Dokumenten, Wikis oder Datenbanken – und übergibt sie dem Modell als Kontext. Das Ergebnis: Antworten basieren auf aktuellen, firmeneigenen Fakten statt nur auf Trainingswissen. RAG reduziert Halluzinationen deutlich, macht Quellen nachvollziehbar und ist die technische Grundlage von Lösungen wie Microsoft 365 Copilot. Für KMU ist RAG der praktikabelste Weg, KI mit eigenem Unternehmenswissen zu nutzen – ohne teures Modelltraining.

‍

KI-Assistenten beantworten allgemeine Fragen beeindruckend gut – doch sobald es um interne Prozesse, Produkte oder Verträge geht, stoßen sie an ihre Grenzen. Denn dieses Wissen steckt nicht im Trainingsmaterial der Modelle. Retrieval Augmented Generation schließt genau diese Lücke: Das Verfahren verbindet die Sprachfähigkeit großer KI-Modelle mit den Daten Ihres Unternehmens. In diesem Artikel erfahren Sie, was RAG ist, wie die Technologie funktioniert und wann sie für mittelständische Unternehmen die richtige Wahl ist.

‍

Was ist Retrieval Augmented Generation? Definition und Einordnung

Retrieval Augmented Generation (RAG) – auf Deutsch etwa „abrufgestützte Generierung" – ist eine Architektur, die zwei Schritte kombiniert: das gezielte Abrufen (Retrieval) relevanter Informationen aus einer Wissensbasis und das anschließende Generieren einer Antwort durch ein KI-Sprachmodell. Statt sich ausschließlich auf das im Training erlernte Wissen zu verlassen, erhält das Modell zu jeder Anfrage passende Fakten aus definierten Quellen mitgeliefert.

Die Grundlage bilden Large Language Models (LLMs), die natürliche Sprache verstehen und erzeugen. LLMs haben jedoch zwei strukturelle Schwächen: Ihr Wissen endet mit dem Trainingszeitpunkt, und sie kennen keine internen Unternehmensdaten. Fehlen Informationen, neigen sie dazu, plausibel klingende, aber falsche Antworten zu erfinden – sogenannte Halluzinationen. RAG begegnet beiden Problemen, indem es dem Modell zur Laufzeit geprüfte Informationen zur Verfügung stellt.

Wichtig ist die Abgrenzung zu verwandten Ansätzen: Beim Fine-Tuning wird das Modell selbst mit zusätzlichen Daten nachtrainiert – aufwendig, teuer und bei jeder Datenänderung zu wiederholen. Beim Prompt Engineering werden lediglich die Eingaben optimiert, ohne neue Wissensquellen anzubinden. RAG hingegen lässt das Modell unverändert und ergänzt es um eine dynamische Wissensschicht, die sich jederzeit aktualisieren lässt.

‍

Wie funktioniert RAG? Die vier Komponenten

Ein RAG-System besteht aus mehreren Bausteinen, die bei jeder Anfrage zusammenspielen. Der gesamte Prozess dauert in der Praxis nur wenige Sekunden.

1. Wissensbasis und Indexierung

Zunächst werden die Unternehmensdaten aufbereitet: Dokumente, Intranet-Seiten, Tickets oder Datenbankeinträge werden in kleinere Abschnitte (Chunks) zerlegt und in sogenannte Embeddings umgewandelt – numerische Repräsentationen, die die inhaltliche Bedeutung eines Textes abbilden. Diese Embeddings werden in einer Vektordatenbank oder einem Suchindex gespeichert, etwa in Azure AI Search. Ein sauber gepflegtes Dokumentenmanagement zahlt sich hier doppelt aus, denn die Qualität der Wissensbasis bestimmt die Qualität der Antworten.

2. Retrieval: die semantische Suche

Stellt ein Nutzer eine Frage, wird auch diese in ein Embedding umgewandelt. Das System sucht dann die inhaltlich ähnlichsten Abschnitte aus der Wissensbasis – nicht nur nach exakten Begriffen, sondern nach Bedeutung. Eine Frage nach „Urlaubsanspruch" findet so auch Dokumente, die von „Erholungszeiten" sprechen. Moderne Systeme kombinieren dabei Vektorsuche und klassische Volltextsuche (Hybrid Search) für die besten Treffer.

3. Augmentation: der angereicherte Prompt

Die gefundenen Textabschnitte werden zusammen mit der ursprünglichen Frage in einen Prompt eingebettet. Das Sprachmodell erhält also die Anweisung: „Beantworte diese Frage auf Basis der folgenden Quellen." Damit wird das Modell auf die bereitgestellten Fakten verpflichtet – man spricht auch von Grounding.

4. Generation: die Antwort mit Quellenangabe

Das LLM formuliert aus Frage und Kontext eine natürlichsprachliche Antwort. Gute RAG-Systeme geben dabei die verwendeten Quellen mit an, sodass Nutzer jede Aussage im Originaldokument nachprüfen können. Genau dieses Prinzip nutzt auch Microsoft 365 Copilot: Er durchsucht über den Microsoft Graph E-Mails, Dateien und Chats des Anwenders und zitiert die Fundstellen – wie im Beitrag zur SharePoint-Wissensbasis für Copilot ausführlich beschrieben.

‍

RAG vs. Fine-Tuning vs. Prompt Engineering im Vergleich

Welcher Ansatz passt zu welchem Ziel? Die folgende Übersicht zeigt die wichtigsten Unterschiede:

KriteriumRAGFine-TuningPrompt EngineeringZielAktuelles Firmenwissen einbindenVerhalten und Stil des Modells anpassenAusgaben durch bessere Eingaben steuernAufwandMittel (Datenaufbereitung, Suchindex)Hoch (Trainingsdaten, GPU-Ressourcen)GeringAktualitätSofort, bei jeder DatenänderungNur durch erneutes TrainingKeine neuen WissensquellenKostenLaufende Infrastrukturkosten, gut planbarHohe Einmalkosten, teures HostingNahezu keineNachvollziehbarkeitHoch (Quellenangaben möglich)GeringGering

In der Praxis schließen sich die Ansätze nicht aus: Viele Systeme kombinieren RAG für Faktenwissen mit sorgfältigem Prompt Engineering – und nur in Spezialfällen kommt Fine-Tuning hinzu.

‍

Praktische Beispiele: RAG im Mittelstand

RAG ist keine Zukunftstechnologie, sondern längst im Arbeitsalltag angekommen. Typische Einsatzszenarien:

• Interner Wissensassistent: Ein Handelsunternehmen mit 80 Mitarbeitenden macht Richtlinien, Prozessdokumente und Produktdatenblätter per Chat durchsuchbar. Statt durchschnittlich 20 Minuten Suchzeit pro Anfrage liefert der Assistent Antworten in Sekunden – inklusive Link zum Quelldokument.
• IT-Helpdesk-Entlastung: Ein Systemhaus-Kunde beantwortet mit einem RAG-Chatbot rund 40 Prozent der wiederkehrenden Support-Anfragen (Passwort-Reset, VPN-Einrichtung, Drucker) automatisiert auf Basis der eigenen Knowledge Base – die Bearbeitungszeit im First-Level-Support sinkt spürbar.
• Angebots- und Vertragsrecherche: Ein Projektdienstleister durchsucht mit RAG hunderte Altangebote und Verträge semantisch. Die Erstellung neuer Angebote beschleunigt sich um 30 bis 50 Prozent, weil passende Textbausteine und Kalkulationen sofort auffindbar sind.
• Microsoft 365 Copilot: Die einfachste Form von RAG für KMU. Copilot greift per Retrieval auf Mails, Dateien und Meetings im eigenen Tenant zu – ohne dass ein eigenes System entwickelt werden muss. Mehr dazu im Ratgeber zu Microsoft 365 Copilot.

‍

Kosten und Aufwand: Womit müssen KMU rechnen?

Die gute Nachricht: RAG ist deutlich günstiger als Modelltraining. Die Kosten setzen sich typischerweise aus drei Blöcken zusammen:

• Suchinfrastruktur: Ein verwalteter Suchdienst wie Azure AI Search startet im Basic-Tarif bei rund 70 bis 80 Euro pro Monat; für größere Datenmengen liegt der Standard-Tarif bei etwa 230 bis 250 Euro monatlich.
• Modellnutzung: Abgerechnet wird pro verarbeitetem Token. Effiziente Modelle kosten nur Bruchteile eines Cents pro Anfrage – bei einigen hundert Anfragen täglich bleiben die Modellkosten meist im zweistelligen Monatsbereich.
• Aufbau und Pflege: Ein Pilotprojekt mit klar umrissener Wissensbasis lässt sich in vier bis acht Wochen umsetzen. Plattformen wie Microsoft Foundry und Copilot Studio senken den Entwicklungsaufwand erheblich, da Retrieval-Pipelines dort als fertige Bausteine bereitstehen.

Fertige Lösungen wie Microsoft 365 Copilot verlagern diese Kosten in eine Lizenz pro Nutzer und Monat – für viele KMU der wirtschaftlichste Einstieg.

‍

Best Practices für erfolgreiche RAG-Projekte

• Mit einem klaren Anwendungsfall starten: Ein Wissensgebiet, eine Zielgruppe, messbarer Nutzen – statt „alles auf einmal" durchsuchbar zu machen.
• Datenqualität vor Datenmenge: Veraltete oder widersprüchliche Dokumente vor der Indexierung aussortieren. Ein RAG-System ist nur so gut wie seine Wissensbasis.
• Berechtigungen respektieren: Das Retrieval muss bestehende Zugriffsrechte durchsetzen. Nutzer dürfen nur Antworten aus Dokumenten erhalten, die sie auch öffnen dürften.
• Quellenangaben verpflichtend machen: Jede Antwort sollte auf die Originaldokumente verweisen. Das schafft Vertrauen und macht Fehler sofort erkennbar.
• Chunking und Suche testen: Die Größe der Textabschnitte und die Kombination aus Vektor- und Volltextsuche haben großen Einfluss auf die Antwortqualität – hier lohnt sich systematisches Ausprobieren.
• Antwortqualität messen: Mit einem festen Fragenkatalog regelmäßig prüfen, ob das System korrekt, vollständig und quellentreu antwortet.
• Mitarbeitende schulen: Anwender sollten verstehen, was das System kann, wo seine Grenzen liegen und wie sie Ergebnisse verifizieren.

‍

Häufige Fehler vermeiden

• Ungeprüfte Datenbasis: Wer das gesamte Dateichaos indexiert, erhält Antworten aus veralteten Entwürfen und Duplikaten. Kuratieren geht vor Indexieren.
• Berechtigungen ignorieren: Ohne saubere Rechteprüfung im Retrieval werden vertrauliche Inhalte plötzlich per Chat auffindbar – ein erhebliches Compliance-Risiko. Worauf es dabei ankommt, zeigt der Beitrag zu Copilot, Datenschutz und DSGVO.
• RAG mit Fine-Tuning verwechseln: Wer aktuelle Fakten einbinden will, braucht kein Modelltraining. Diese Verwechslung führt zu unnötig teuren Projekten.
• Halluzinationen unterschätzen: RAG reduziert erfundene Antworten deutlich, eliminiert sie aber nicht vollständig. Kritische Aussagen gehören weiterhin geprüft.
• Fehlende Pflegeprozesse: Eine Wissensbasis ohne Verantwortliche veraltet schleichend. Aktualisierung muss als dauerhafter Prozess eingeplant werden.
• Zu große Erwartungen an den ersten Wurf: Die erste Version liefert selten perfekte Antworten. Erfolgreiche Projekte planen Iterationen auf Basis von Nutzerfeedback ein.

‍

Häufige Fragen rund um Retrieval Augmented Generation

Was ist RAG einfach erklärt?

RAG ist ein Verfahren, bei dem eine KI vor dem Antworten zunächst in definierten Wissensquellen nachschlägt – ähnlich wie ein Mitarbeiter, der vor einer Auskunft kurz im richtigen Ordner nachsieht. Die gefundenen Informationen fließen in die Antwort ein, wodurch diese aktuell, unternehmensspezifisch und nachprüfbar wird.

Welche Vorteile bietet RAG gegenüber einem reinen LLM?

Ein reines Sprachmodell kennt nur sein Trainingswissen und keine internen Daten. RAG ergänzt aktuelle Unternehmensinformationen, reduziert Halluzinationen erheblich, ermöglicht Quellenangaben und setzt Zugriffsrechte durch. Zudem lassen sich Inhalte jederzeit aktualisieren, ohne das Modell anzufassen.

Ist RAG datenschutzkonform einsetzbar?

Ja – entscheidend ist die Architektur. Werden Wissensbasis und Modell in einer kontrollierten Umgebung betrieben, etwa im eigenen Microsoft-365-Tenant oder in europäischen Azure-Regionen, bleiben die Daten unter Kontrolle des Unternehmens und werden nicht für das Training fremder Modelle verwendet. Wichtig sind saubere Berechtigungskonzepte und klare Regeln, welche Datenquellen eingebunden werden.

Brauchen KMU eine eigene RAG-Entwicklung?

In vielen Fällen nicht. Microsoft 365 Copilot bringt RAG auf die eigenen Tenant-Daten fertig mit, und mit Copilot Studio lassen sich eigene Assistenten mit individuellen Wissensquellen ohne tiefes Entwicklungsprojekt erstellen. Eine maßgeschneiderte RAG-Lösung lohnt sich vor allem bei speziellen Datenquellen, Fachanwendungen oder Kundenportalen.

Was ist der Unterschied zwischen RAG und generativer KI?

Generative KI ist der Oberbegriff für Systeme, die neue Inhalte erzeugen. RAG ist eine Methode, diese Systeme mit externem Wissen zu versorgen. Vereinfacht: Generative KI ist der Motor, RAG der Zugang zum richtigen Treibstoff – den eigenen Unternehmensdaten.

‍

Fazit: RAG macht KI zum Experten für Ihr Unternehmen

Retrieval Augmented Generation verwandelt generische Sprachmodelle in Assistenten, die das eigene Unternehmen kennen. Das Verfahren ist wirtschaftlicher als Modelltraining, hält Wissen aktuell und macht Antworten nachvollziehbar – Eigenschaften, die gerade im Mittelstand über Akzeptanz und Nutzen von KI entscheiden. Der Einstieg gelingt am besten mit einem klar umrissenen Anwendungsfall und einer gepflegten Datenbasis.

computech unterstützt Sie dabei – von der Bewertung Ihrer Datenlandschaft über die Einführung von Microsoft 365 Copilot bis zum eigenen RAG-Assistenten auf Basis von Azure und Copilot Studio, passend zu den Anforderungen Ihres Mittelstandsbetriebs.