Was ist der Unterschied zwischen RAG und dem Training eines eigenen Modells?

Beim Training oder Feintuning wird das Modell selbst verändert, was teuer ist, Fachwissen braucht und bei jeder Änderung der Dokumente wiederholt werden müsste. Bei RAG bleibt das Modell unverändert; es bekommt bei jeder Frage die passenden Textstellen aus Ihren Dokumenten mitgeliefert. Neue oder geänderte Dokumente sind sofort verfügbar. Für fast alle Anwendungen im Mittelstand ist RAG der richtige Weg.

Lernt das Sprachmodell aus unseren Dokumenten und gibt sie an andere weiter?

Nein, bei einem korrekt aufgesetzten System nicht. Die Dokumente liegen in Ihrer eigenen Datenbank, und das Modell sieht bei jeder Anfrage nur die Ausschnitte, die zur Frage passen. Mit einem Geschäftstarif oder einem Modell auf eigener Infrastruktur werden diese Ausschnitte nicht zum Training verwendet. Welcher Anbieter und welcher Vertrag dafür nötig sind, sollte vor dem Projekt geklärt werden.

Kann ein RAG-System trotzdem falsche Antworten geben?

Ja, aber seltener und nachvollziehbarer. Fehler entstehen, wenn die Suche die falsche Stelle findet, wenn das Dokument selbst veraltet ist oder wenn das Modell die gefundene Stelle falsch zusammenfasst. Ein gutes System zeigt deshalb immer die Quelle an und sagt, wenn es nichts gefunden hat, statt zu raten. Die Prüfung der Antwort an der Quelle bleibt beim Menschen.

Welche Dokumente eignen sich als Grundlage für einen Wissensassistenten?

Alles, was als Text vorliegt und regelmäßig nachgeschlagen wird: Handbücher, Arbeitsanweisungen, Verträge, Angebote, Servicehinweise, Protokolle, Wiki-Seiten und Tickets. Schlecht geeignet sind Dokumente, die niemand pflegt, Scans in schlechter Qualität und Tabellen, deren Bedeutung nur mit Kontext verständlich ist. Oft ist das Projekt der Anlass, die Ablage einmal aufzuräumen.

Wie werden Zugriffsrechte in einem RAG-System berücksichtigt?

Das System muss für jede Anfrage prüfen, welche Dokumente die fragende Person sehen darf, und nur aus diesen suchen. Dazu werden die Berechtigungen aus den Quellsystemen, etwa der Dokumentenablage oder dem Intranet, übernommen. Ein Assistent, der allen Mitarbeitenden Gehaltslisten oder Geschäftsführungsprotokolle zugänglich macht, ist ein häufiger und vermeidbarer Fehler in schlecht geplanten Projekten.

Wie lange dauert es, einen Assistenten auf Firmenwissen einzuführen?

Für einen klar abgegrenzten Bereich, etwa die technische Dokumentation im Service oder die Verträge im Einkauf, sind sechs bis zwölf Wochen bis zum produktiven Einsatz realistisch. Davon entfällt ein großer Teil auf die Sichtung und Anbindung der Datenquellen und die Prüfung der Antworten durch die Fachabteilung. Die reine Technik ist meist in zwei bis drei Wochen aufgebaut.

Was kostet ein RAG-System im laufenden Betrieb?

Die laufenden Kosten setzen sich aus der Nutzung des Sprachmodells, die nach Textmenge abgerechnet wird, der Datenbank für die Dokumente und dem Betrieb zusammen. Für einen Assistenten, den 50 bis 100 Personen täglich nutzen, sind das überschaubare monatliche Beträge; genaue Werte hängen von Modell, Anbieter und Nutzungsintensität ab und sollten vor dem Projekt für Ihr Volumen geschätzt werden.

RAG einfach erklärt: KI auf Basis Ihres Firmenwissens

Wer ChatGPT nach der Kündigungsfrist im Rahmenvertrag mit einem bestimmten Lieferanten fragt, bekommt eine allgemeine Antwort oder eine erfundene. Das Modell kennt den Vertrag nicht. RAG löst genau dieses Problem: Es verbindet ein Sprachmodell mit Ihren eigenen Dokumenten, sodass Antworten auf dem beruhen, was in Ihrem Unternehmen tatsächlich gilt. Dieser Artikel erklärt, wie das funktioniert, ohne technisches Vorwissen vorauszusetzen. Er zeigt, wo die Grenzen liegen, welche Datenquellen sich eignen, warum Berechtigungen der wichtigste Punkt sind und wie ein Projekt typischerweise abläuft.

Die Analogie: Ein kluger neuer Mitarbeiter mit Zugang zum Archiv

Stellen Sie sich einen neuen Mitarbeiter vor, der ausgezeichnet formulieren kann, in jedem Fachgebiet ein solides Allgemeinwissen mitbringt und sehr schnell liest. Er hat aber an seinem ersten Tag keine Ahnung von Ihrem Unternehmen: keine Verträge, keine Produkte, keine Abläufe. Wenn Sie ihn nach dem Rahmenvertrag fragen, wird er entweder zugeben, dass er es nicht weiß, oder etwas Plausibles erfinden. Letzteres ist das, was Sprachmodelle tun, wenn man sie ohne Kontext befragt.

Jetzt geben Sie ihm Zugang zum Archiv und eine gute Archivarin an die Seite. Bei jeder Frage sucht die Archivarin die zwei oder drei Seiten heraus, die zur Frage passen, und legt sie ihm auf den Tisch. Er liest sie, formuliert eine Antwort und sagt dazu, auf welcher Seite er das gefunden hat. Er hat nichts auswendig gelernt; er hat nachgeschlagen.

Das ist RAG. Die Archivarin ist die Suche (Retrieval), der Mitarbeiter ist das Sprachmodell (Generation), und die Seiten auf dem Tisch sind der Kontext, mit dem die Antwort angereichert wird (Augmented). Das Modell selbst wird dabei nicht verändert. Es bekommt bei jeder Frage nur die passenden Ausschnitte mitgeliefert.

Wie der Ablauf technisch aussieht

Vier Schritte laufen bei jeder Frage ab. Die Darstellung ist vereinfacht, aber in der Sache korrekt.

Schritt	Was passiert	In der Analogie
Vorbereitung (einmalig)	Ihre Dokumente werden in Abschnitte zerlegt und so abgelegt, dass sie nach Bedeutung durchsuchbar sind, nicht nur nach Stichwort	Das Archiv wird sortiert und verschlagwortet
Suche	Die Frage wird mit den Abschnitten verglichen; die passendsten werden herausgesucht, üblicherweise drei bis zehn	Die Archivarin holt die relevanten Seiten
Anreicherung	Frage und gefundene Abschnitte werden zusammen an das Sprachmodell übergeben, mit der Anweisung, nur auf dieser Grundlage zu antworten	Die Seiten liegen auf dem Tisch
Antwort	Das Modell formuliert die Antwort und nennt die Fundstellen	Der Mitarbeiter antwortet und zeigt die Seite

Der Begriff „nach Bedeutung durchsuchbar“ verdient einen Satz: Eine klassische Volltextsuche findet nur Dokumente, in denen das gesuchte Wort vorkommt. Die Suche in einem RAG-System findet auch Abschnitte, die dasselbe mit anderen Worten sagen. Wer nach „Kündigungsfrist“ fragt, findet auch den Abschnitt, in dem von „Laufzeit und Beendigung“ die Rede ist. Das ist der Grund, warum solche Systeme in der Praxis deutlich besser funktionieren als die Suche im Dateisystem.

Ein Beispiel aus dem Service eines Maschinenbauers

Ein Hersteller von Verpackungsmaschinen mit 350 Mitarbeitenden betreibt eine Service-Hotline mit vier Technikern. Die Dokumentation umfasst Handbücher für 40 Maschinentypen in mehreren Versionen, Servicebulletins der letzten 15 Jahre und rund 20.000 abgeschlossene Tickets. Ruft ein Kunde mit einer Fehlermeldung an, sucht der Techniker im Handbuch, prüft, ob es ein Bulletin dazu gibt, und erinnert sich, ob ein Kollege den Fall schon einmal hatte. Das dauert bei bekannten Fehlern fünf bis zehn Minuten, bei seltenen deutlich länger, und wenn der erfahrenste Techniker im Urlaub ist, bleibt mancher Fall liegen.

Mit einem Assistenten auf diesem Wissen gibt der Techniker Maschinentyp und Fehlermeldung ein. Das System findet den Abschnitt im richtigen Handbuch, das passende Bulletin und drei frühere Tickets mit derselben Meldung, und fasst zusammen, was in diesen Fällen die Ursache war. Jede Aussage trägt einen Verweis auf die Quelle. Der Techniker prüft die Quellen, entscheidet und antwortet dem Kunden. Die Recherche dauert unter einer Minute, und das Wissen des erfahrensten Kollegen steckt in den Tickets, die er über die Jahre geschrieben hat.

Zwei Dinge an diesem Beispiel sind typisch. Erstens: Der Techniker entscheidet, nicht das System. Zweitens: Der größte Aufwand im Projekt war nicht die Technik, sondern die Frage, welche Handbuchversion für welche Seriennummer gilt. Diese Information lag in einer Excel-Liste, die zuerst in Ordnung gebracht werden musste. Mehr zu diesem Anwendungsfeld unter Kundenservice und Maschinen- und Anlagenbau.

Welche Datenquellen sich eignen

Grundsätzlich eignet sich alles, was als Text vorliegt oder in Text umgewandelt werden kann. In der Praxis unterscheiden sich die Quellen stark in Aufwand und Nutzen.

Gut geeignet sind Dokumente, die regelmäßig nachgeschlagen werden und gepflegt sind: Handbücher, Arbeitsanweisungen, Verträge, Angebote, Servicehinweise, Richtlinien, Protokolle, Wiki-Seiten, abgeschlossene Tickets und Projektdokumentation. Auch E-Mail-Postfächer von Sammeladressen können wertvoll sein, etwa das Support-Postfach.

Mit Einschränkungen geeignet sind Scans, deren Texterkennung Fehler enthält, Tabellen ohne erklärende Überschriften, Präsentationen, in denen die Aussage im Vortrag lag und nicht auf der Folie, und sehr alte Dokumente, bei denen niemand weiß, ob sie noch gelten.

Nicht geeignet sind Daten, die eigentlich in eine strukturierte Abfrage gehören. Die Frage „Wie viele offene Aufträge hat Kunde X?“ beantwortet das ERP besser als ein Sprachmodell, das Dokumente liest. Ein guter Assistent kombiniert beides: Er schlägt in Dokumenten nach und fragt bei Zahlen das System. Diese Anbindung ist Teil der KI-Implementierung.

Berechtigungen: Der wichtigste und am häufigsten vernachlässigte Punkt

Ein Assistent, der alle Dokumente des Unternehmens durchsucht, beantwortet auch Fragen, die nicht jeder stellen darf. Ein Sachbearbeiter, der fragt „Was verdient mein Kollege?“, darf keine Antwort aus der Gehaltsliste bekommen, auch wenn sie irgendwo in der Ablage liegt. Dasselbe gilt für Geschäftsführungsprotokolle, Personalakten und Verträge mit Vertraulichkeitsklauseln.

Die Lösung ist, dass das System bei jeder Anfrage prüft, welche Dokumente die fragende Person im Quellsystem sehen darf, und nur aus diesen sucht. Das setzt voraus, dass die Berechtigungen in der Dokumentenablage, im Intranet oder im Ticketsystem sauber gepflegt sind. In vielen Unternehmen sind sie es nicht; es gibt Ordner, auf die seit Jahren alle Zugriff haben, weil niemand aufgeräumt hat. Ein Assistent macht aus diesem Zustand ein Problem, weil er die Dokumente nicht nur zugänglich, sondern auffindbar macht.

Deshalb gehört zu jedem Projekt eine Prüfung der Berechtigungen in den Quellsystemen, bevor sie angebunden werden. Und es gehört dazu, mit einem abgegrenzten Bereich zu beginnen, etwa der technischen Dokumentation, statt mit „allen Dokumenten“. Was dabei zum Datenschutz zu beachten ist, beschreibt der Artikel ChatGPT im Unternehmen datenschutzkonform einführen; die Einordnung nach dem AI Act ist für solche Assistenten in der Regel unkritisch, wie der Artikel EU AI Act: Was Mittelständler jetzt tun müssen zeigt.

Wo RAG an Grenzen stößt

RAG ist der richtige Ansatz für die meisten Wissensfragen im Unternehmen, aber nicht für alles. Vier Grenzen sollten Sie kennen, bevor Sie Erwartungen formulieren.

Das System findet nur, was da ist. Wenn die Antwort in keinem Dokument steht, kann der Assistent sie nicht geben. Ein gut gebautes System sagt das dann auch, statt zu raten. Ein schlecht gebautes füllt die Lücke mit Allgemeinwissen, und das ist gefährlicher als keine Antwort.

Die Suche kann danebengreifen. Bei sehr ähnlichen Dokumenten, etwa Handbüchern in zehn Versionen, findet die Suche möglicherweise die falsche Version. Deshalb braucht es Metadaten wie Gültigkeit, Maschinentyp oder Datum, nach denen gefiltert wird, und die Quellenangabe, damit der Mensch prüfen kann.

Zusammenfassungen können Nuancen verlieren. Wenn ein Vertrag eine Ausnahme von der Ausnahme enthält, kann das Modell sie beim Zusammenfassen übergehen. Für rechtlich verbindliche Aussagen ist der Blick in die Quelle Pflicht.

Zahlen und Berechnungen sind nicht die Stärke. Fragen nach Summen, Durchschnitten oder Beständen gehören an das ERP oder das Reporting, nicht an ein System, das Texte liest. Welche Prozesse sich stattdessen für Automatisierung eignen, zeigt der Artikel Prozessautomatisierung: 10 Prozesse, die sich fast immer lohnen.

Diese Grenzen sind kein Grund gegen RAG. Sie bestimmen nur, wie das System gebaut werden muss: mit Quellenangabe, mit einer ehrlichen „Nicht gefunden“-Antwort, mit Filtern nach Metadaten und mit einem Menschen, der entscheidet.

Wie ein RAG-Projekt typischerweise abläuft

Für einen abgegrenzten Bereich hat sich ein Ablauf über sechs bis zwölf Wochen bewährt.

In der ersten Phase, etwa ein bis zwei Wochen, wird der Bereich festgelegt und die Datenquellen werden gesichtet: Welche Dokumente, in welchen Systemen, in welchem Zustand, mit welchen Berechtigungen. Gleichzeitig sammelt die Fachabteilung 30 bis 50 echte Fragen mit den Antworten, die sie heute geben würde. Diese Liste ist der Maßstab für alles Weitere.

In der zweiten Phase, zwei bis drei Wochen, wird das System aufgebaut: Dokumente werden angebunden und aufbereitet, Sprachmodell und Suche werden eingerichtet, die Berechtigungen werden übernommen. Am Ende beantwortet das System die 30 bis 50 Fragen, und die Fachabteilung bewertet jede Antwort.

In der dritten Phase, zwei bis drei Wochen, werden die Schwachstellen behoben, die diese Bewertung zeigt: Dokumente, die fehlen oder veraltet sind, Fragen, bei denen die Suche danebengreift, Formulierungen, die zu unsicher oder zu selbstsicher sind. Diese Phase entscheidet über die Qualität, und sie braucht die Fachabteilung mehr als die Technik.

In der vierten Phase, zwei bis vier Wochen, arbeitet eine Pilotgruppe mit dem System im Alltag. Jede Antwort kann bewertet werden, und die Bewertungen fließen in Korrekturen ein. Erst danach wird der Assistent für den gesamten Bereich freigegeben.

Nach dem Go-live beginnt der Teil, der am häufigsten unterschätzt wird: Neue Dokumente müssen angebunden, veraltete entfernt, Modelle aktualisiert und Antworten stichprobenartig geprüft werden. Ein Assistent, der nach einem Jahr auf dem Wissensstand des Go-live-Tages steht, wird nicht mehr genutzt. Deshalb gehört die Frage nach Betreuung und Betrieb von Anfang an ins Projekt.

Fazit

RAG ist die Technik, mit der ein Sprachmodell auf Ihrem Firmenwissen arbeitet, ohne dass das Modell verändert wird. Sie eignet sich für fast alle Fragen, die heute durch Nachschlagen in Handbüchern, Verträgen, Protokollen oder Tickets beantwortet werden. Entscheidend für den Erfolg sind nicht die Technik, sondern die Auswahl eines abgegrenzten Bereichs, der Zustand der Dokumente, saubere Berechtigungen und ein Mensch, der an der Quelle prüft. Wer diese vier Punkte ernst nimmt, bekommt in zwei bis drei Monaten einen Assistenten, den die Fachabteilung tatsächlich benutzt. Beispiele für Einsatzbereiche finden Sie unter Wissensassistent.