Wie funktioniert RAG?
Ein RAG-System arbeitet in zwei Schritten. Zuerst werden Ihre Dokumente vorbereitet: Handbücher, Preislisten, Verträge, Wissensartikel oder Ihre Website werden in kurze Abschnitte zerlegt und so gespeichert, dass sie nach ihrer Bedeutung durchsuchbar sind – nicht nur nach exakten Wörtern.
Stellt jemand eine Frage, sucht das System die Abschnitte heraus, die inhaltlich am besten passen, und gibt sie zusammen mit der Frage an das Sprachmodell. Die Anweisung lautet sinngemäß: Antworte nur auf Basis dieser Quellen, und sag, wenn sie die Frage nicht beantworten.
- Retrieval: passende Stellen in Ihren Dokumenten finden
- Augmented: die Frage um diese Stellen ergänzen
- Generation: das Sprachmodell formuliert die Antwort – mit Quelle
Warum nicht einfach ChatGPT benutzen?
ChatGPT und andere Assistenten kennen Ihr Unternehmen nicht: keine internen Abläufe, keine aktuellen Preise, keine Verträge. Fragt man trotzdem, erfinden sie im schlimmsten Fall eine plausible Antwort. Außerdem dürfen viele interne Unterlagen aus Datenschutzgründen nicht einfach in ein öffentliches Chatfenster kopiert werden.
RAG löst beides: Die KI bekommt gezielt nur die Stellen, die sie für die Antwort braucht, Berechtigungen bleiben erhalten, und jede Antwort lässt sich anhand der Quelle prüfen.
Ich habe an synaplan mitgearbeitet, einer quelloffenen KI-Plattform, die genau das macht: Dokumente durchsuchbar machen und Fragen dazu beantworten, auf Servern, die der Betrieb selbst kontrolliert. Die meiste Arbeit steckte dort nicht im Modell, sondern im Zerlegen und Aktualisieren der Dokumente. Das ist bei jedem RAG-Projekt so.
RAG oder eigenes KI-Modell trainieren?
Für fast alle Unternehmensanwendungen ist RAG die bessere Wahl. Ein eigenes Training (Feintuning) ist teurer, dauert länger und muss bei jeder Änderung Ihrer Unterlagen wiederholt werden. Bei RAG genügt es, das geänderte Dokument neu einzulesen.
Feintuning lohnt sich nur in Spezialfällen – etwa wenn ein Modell einen ganz bestimmten Schreibstil oder ein Fachformat zuverlässig beherrschen soll. Oft wird dann beides kombiniert.
Wofür nutzen Unternehmen RAG?
Typische Einsatzfälle im Mittelstand:
- Interner Wissensassistent: Mitarbeiter fragen nach Abläufen, Richtlinien oder Produktdetails
- KI-Chatbot auf der Website, der aus Ihren Leistungsbeschreibungen und FAQ antwortet
- Support: Antwortvorschläge aus Handbüchern und früheren Tickets
- Vertrieb: Angebote und Produktvergleiche aus Datenblättern vorbereiten
- Einarbeitung neuer Mitarbeiter ohne dauerndes Nachfragen
Wie zuverlässig ist RAG?
RAG senkt das Risiko erfundener Antworten deutlich, schließt es aber nicht vollständig aus. Entscheidend sind drei Dinge: saubere Dokumente, eine gute Suche und Tests mit echten Fragen vor dem Livegang. Ein gutes System sagt lieber „dazu finde ich nichts“, als zu raten.
Deshalb gehört zu jedem RAG-Projekt eine Auswertung: Stimmt die Antwort, passt die Quelle, erkennt das System, wann es nichts weiß? Diese Tests laufen auch nach dem Start weiter.
Ist RAG DSGVO-konform?
Ja, wenn es richtig aufgesetzt ist. Die Dokumente liegen auf Servern in der EU, Berechtigungen werden beachtet, und für das Sprachmodell braucht es einen Auftragsverarbeitungsvertrag – oder ein Modell, das in der EU bzw. auf eigener Infrastruktur läuft. Ihre Daten dürfen nicht zum Training fremder Modelle verwendet werden.
Was kostet ein RAG-System?
Ein RAG-Chatbot auf Website und Dokumenten liegt bei mir meist zwischen 3.500 und 7.500 € einmalig, dazu kommen laufend Hosting und Nutzungskosten für das Sprachmodell – bei typischen Mittelstandsanwendungen ein zweistelliger Betrag im Monat. Umfangreiche interne Wissenssysteme mit vielen Quellen und Berechtigungen kosten mehr.